Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Important
Esta característica está en versión preliminar pública.
En esta página se describe cómo los proveedores configuran OpenSharing SecureConnect para compartir datos desde el almacenamiento en la nube que está detrás de un firewall o un punto de conexión privado, sin necesidad de incluir en la lista de permitidos la red de cada destinatario.
Funcionamiento de SecureConnect
Antes de habilitar SecureConnect en una cuenta de Azure Databricks, un proveedor realiza una configuración única. Esta configuración permite que Azure Databricks destinatarios accedan al almacenamiento del proveedor detrás de un firewall o un punto de conexión privado. Azure Databricks enruta las solicitudes de destinatario a través de un proxy administrado, por lo que el proveedor no necesita actualizar su firewall de almacenamiento al agregar un nuevo destinatario.
Los destinatarios acceden a los datos compartidos mediante su configuración de OpenSharing existente:
- Los receptores de Azure Databricks en cómputo sin servidor pueden acceder a recursos compartidos sin necesidad de cambios en el firewall por proveedor.
- Azure Databricks destinatarios en el proceso clásico y los destinatarios abiertos permiten incluir un único conjunto de direcciones IP del plano de control de Azure Databricks para la región del proveedor.
Sin SecureConnect, un proveedor debe agregar el identificador de red de cada destinatario a su firewall de almacenamiento, coordinando con el destinatario y un administrador de plataforma en la nube para cada nuevo destinatario.
Requisitos
- La versión preliminar de OpenSharing SecureConnect en la consola de la cuenta debe estar habilitada. Consulte Administrar versiones preliminares de Azure Databricks.
Configuración de SecureConnect como proveedor
La configuración de SecureConnect implica configurar el firewall de almacenamiento para permitir el acceso y habilitar SecureConnect para sus metastores y destinatarios.
Paso 1: Configuración del firewall de almacenamiento
Para los costos de red más bajos, mantenga la región de los recursos compartidos igual que la región de metastore del proveedor.
En las instrucciones siguientes se supone que los recursos compartidos y el metastore del proveedor están en la misma región.
SecureConnect accede al almacenamiento a través del plano de datos sin servidor. Para permitir que Azure Databricks acceda a sus recursos, asocie su recurso de Azure a un perímetro de seguridad de red en modo de transición y agregue la etiqueta de servicio AzureDatabricksServerless a la lista de permitidos. Consulte Configuración de un perímetro de seguridad de red de Azure para recursos de Azure.
(Opcional) Configuración de la conectividad privada con una configuración de conectividad de red (NCC)
Si el almacenamiento compartido está detrás de un punto de conexión privado y no es accesible desde la red pública, un administrador de la cuenta debe configurar una configuración de conectividad de red (NCC) y adjuntarla al metastore que hospeda los datos compartidos. Para obtener más información sobre las NCC, consulte ¿Qué es una configuración de conectividad de red (NCC)?.
Un NCC asociado a un área de trabajo no se puede asociar a una tienda de metadatos. Un NCC aplicado a un metastore para OpenSharing se aplica a todos los recursos compartidos adjuntos al metastore.
Cree un NCC y una regla de punto de conexión privado para la cuenta de almacenamiento, pero no adjunte el NCC a un área de trabajo. Consulte Configurar la conectividad privada a recursos de Azure para la configuración de NCC y del punto de conexión privado.
Adjunte el NCC al metastore de OpenSharing:
- Como administrador de cuentas de Azure Databricks, vaya a la consola de la cuenta.
- En la barra lateral, haga clic en
Catálogo. - Haga clic en el nombre del metastore openSharing para abrir sus detalles.
- En OpenSharing Network connectivity configuration (NCC) (Configuración de conectividad de red [NCC]) haga clic en Editar.
- Busque y seleccione el NCC que creó para OpenSharing.
- Haz clic en Guardar.
Important
Si no puede asociar un NCC a un metastore, póngase en contacto con el equipo de la cuenta de Databricks para habilitar la conectividad privada para OpenSharing SecureConnect mediante un NCC.
Paso 2: Habilitar SecureConnect en un metastore
Un administrador de metastore puede configurar la metastore para que los nuevos destinatarios usen SecureConnect automáticamente. De forma predeterminada, los destinatarios nuevos y existentes no están inscritos en SecureConnect. Debe configurar los destinatarios existentes por separado. Consulte Paso 3: Habilitar SecureConnect para destinatarios individuales.
Para habilitar SecureConnect en un metastore:
En el área de trabajo de Azure Databricks, haga clic en
Catalog para abrir el Explorador de catálogos.En la parte superior del panel Catálogo, haga clic en el
y seleccione OpenSharing.Como alternativa, en la esquina superior derecha, haga clic en Compartir > openSharing.
Haga clic en Configuración en la esquina superior derecha.
Active la configuración de Enable SecureConnect for new recipients (Habilitar SecureConnect para nuevos destinatarios).
Haz clic en Guardar.
Paso 3: Habilitar SecureConnect para destinatarios individuales
Los propietarios de destinatarios y los usuarios con el USE_RECIPIENT privilegio, activan o desactivan SecureConnect para cada destinatario. SecureConnect está deshabilitado en un destinatario de forma predeterminada, a menos que se establezca el metastore para habilitarlo para todos los nuevos destinatarios cuando se creó el destinatario.
Para configurar SecureConnect en un destinatario:
En el área de trabajo de Azure Databricks, haga clic en
Catalog.En la parte superior del panel Catálogo, haga clic en el
y seleccione OpenSharing.Como alternativa, en la esquina superior derecha, haga clic en Compartir > openSharing.
En la pestaña Compartido por mí , haga clic en la pestaña Destinatarios .
Active SecureConnect para cada destinatario deseado.
(Opcional) Paso 4: Restringir el acceso de destinatario abierto con ACL de IP
En el caso de los destinatarios abiertos, puede restringir qué direcciones IP de cliente pueden acceder a SecureConnect mediante listas de acceso IP. Las ACL de IP solo se aplican a los destinatarios abiertos.
Con SecureConnect, las ACL de IP se aplican tanto al acceso al punto de conexión de OpenSharing como al acceso de almacenamiento. Sin SecureConnect, las ACL de IP restringen solo el acceso al punto de conexión de OpenSharing; Las direcciones URL de almacenamiento permanecen accesibles desde cualquier dirección IP de cliente.
Para obtener instrucciones de configuración, consulte Restringir el acceso de destinatarios de OpenSharing mediante listas de acceso IP (Uso compartido de Databricks a Open).
Nota:
Los cambios de ACL de IP para los destinatarios abiertos habilitados para SecureConnect pueden tardar hasta 10 minutos en surtir efecto.
Escenarios de uso compartido admitidos
Important
Cualquier característica no admitida vuelve al acceso directo desde el proceso del destinatario al almacenamiento. El proveedor debe conceder manualmente acceso a direcciones IP de destinatarios en su firewall de almacenamiento. Consulte ¿Qué es el protocolo OpenSharing Databricks-to-Databricks? o ¿Qué es el protocolo OpenSharing Databricks-to-Open sharing?.
SecureConnect admite el uso compartido con AWS, Azure y GCP.
mTLS a SecureConnect solo se admite para clústeres de destinatarios sin servidor.
Soporte de funcionalidades
| Feature | D2O (token) | D2O (OIDC)* | D2O (Iceberg) | D2D (sin servidor) | D2D (clásico) |
|---|---|---|---|---|---|
| Tablas con historial y sin particiones | ✓ | ✓ | ✗ | ✓ ** | ✓ ** |
| Tablas sin historial o con particiones | ✓ | ✓ | ✗ | ✓ | ✓ |
| Views | ✓ | ✓ | ✗ | ✗ | ✓ |
| Tablas externas | ✓ | ✓ | ✗ | ✓ | ✓ |
| Vistas materializadas | ✓ | ✓ | ✗ | ✗ | ✓ |
| Tablas de streaming | ✓ | ✓ | ✗ | ✗ | ✓ |
| Volumes | ✗ | ✗ | ✗ | ✗ | ✗ |
| Notebooks | ✗ | ✗ | ✗ | ✗ | ✗ |
| Modelos de IA | ✗ | ✗ | ✗ | ✗ | ✗ |
* El uso compartido de OIDC no funciona actualmente cuando el destinatario también está en Azure Databricks.
** La optimización de tokens en la nube no está disponible para SecureConnect.
Limitaciones
- No se puede hacer una copia de seguridad de tus recursos en el almacenamiento Cloudflare R2.
Para conocer las limitaciones del lado destinatario, como la compatibilidad con mTLS y las restricciones de uso compartido de Databricks a Open, consulte Limitaciones.
Regiones no compatibles
SecureConnect no está disponible en Azure China, Azure Government ni en las siguientes regiones de Azure:
australiacentralaustraliacentral2australiasoutheastcanadaeastfrancecentraljapanwestkoreacentralmexicocentralnorthcentralusnorwayeastqatarcentralsouthafricanorthsouthindiaswitzerlandwestuaenorthukwestwestcentraluswestindiawestus3
Facturación
Azure Databricks no cobra actualmente por la transferencia de datos secureConnect. Consulte Próximos cambios de facturación Azure para OpenSharing SecureConnect para obtener más información.