Recomendaciones de redes para la federación de Lakehouse

Este artículo ofrece instrucciones para configurar una ruta de red funcional entre los clústeres de Azure Databricks o almacenes SQL y el sistema de base de datos externa al que se conecta mediante Lakehouse Federation.

Tenga en cuenta lo siguiente al configurar la conectividad de red para la federación de Lakehouse:

• Todo el tráfico de red para las consultas federadas está directamente entre los clústeres de Azure Databricks (o almacenes sql) y el sistema de base de datos externo. Ni Unity Catalog ni el plano de control de Azure Databricks están en la ruta de acceso de red.
• Las conexiones que usan OAuth tienen un requisito adicional. Cuando una conexión se autentica con OAuth, el intercambio de tokens de OAuth se produce desde el plano de control de Azure Databricks, no desde el plano de proceso. El plano de control debe poder acceder al punto de conexión de OAuth del sistema externo. Incluir en la lista de permitidos solo el plano de computación no es suficiente para estas conexiones. Para obtener instrucciones específicas del conector, consulte la sección redes o limitaciones de la página de conexión pertinente, como Ejecutar consultas federadas en Snowflake (OAuth) o Ejecutar consultas federadas en Microsoft SQL Server. Las conexiones HTTP son una excepción; dirigen el tráfico de OAuth a través del plano de proceso sin servidor en lugar del plano de control.
• El proceso de Azure Databricks (es decir, clústeres y almacenes de SQL) siempre se implementa en la nube, pero el sistema de base de datos externo puede ser local o hospedado en cualquier proveedor de nube, siempre que haya una ruta de acceso de red viable entre el proceso de Azure Databricks y la base de datos externa.
• Si tiene restricciones de red entrantes o salientes en el proceso de Azure Databricks o en el sistema de base de datos externo, consulte las secciones siguientes para obtener instrucciones generales que le ayuden a crear una ruta de acceso de red viable.

Para más información sobre las redes en áreas de trabajo de Azure Databricks, consulte Redes.

Sistema de bases de datos y capacidad de cómputo de Azure Databricks, ambos accesibles desde Internet

La conexión debe funcionar sin ninguna configuración.

El sistema de base de datos tiene restricciones de acceso a la red

Si el sistema de base de datos externo tiene restricciones de acceso de red entrantes o salientes y el clúster de Azure Databricks o SQL Warehouse es accesible desde Internet, configure una de las siguientes soluciones de red para conectarse desde los recursos de proceso clásicos:

• IP de salida estable en el proceso de cómputo de Azure Databricks.

  Desde el plano de proceso clásico, establezca una dirección IP estable con un equilibrador de carga, una puerta de enlace NAT, una puerta de enlace de Internet o equivalente, y conéctela a la subred en la que está implementado el proceso clásico de Azure Databricks. Esto permite que el recurso de computación comparta una dirección IP pública estable que se puede incluir en una lista de permitidos en el lado de la base de datos externa.

• Private Link (solo cuando la base de datos externa está en la misma nube que los recursos de proceso de Azure Databricks)

  Desde el plano de proceso clásico, configure una conexión de Private Link entre la red en la que está implementada la base de datos y la red en la que está implementado el proceso de Azure Databricks.

Desde el plano de proceso sin servidor, se admite Azure Private Link para el conector de SQL Server. Consulte Paso 3: Creación de reglas de punto de conexión privado.

Los recursos de proceso de Azure Databricks tienen restricciones de acceso a la red

Si el sistema de bases de datos externo es accesible desde Internet y el proceso de Azure Databricks tiene restricciones de acceso de red entrantes o salientes (lo que solo es posible si se encuentra en una red administrada por el cliente), realice una de las siguientes configuraciones:

• Agregue el nombre de host de la base de datos externa a la lista de permitidos en las reglas del firewall de la subred donde están implementados los recursos de proceso de Azure Databricks.

  Si decide añadir la dirección IP de la base de datos externa a la lista de permitidos en lugar del nombre de host, asegúrese de que la base de datos externa tenga una dirección IP estable.

• Private Link (solo cuando la base de datos externa está en la misma nube que el cómputo de Azure Databricks)

  Configure una conexión de Private Link entre la red donde se implementa la base de datos y la red donde se implementa el proceso de Azure Databricks.

El proceso de cómputo de Azure Databricks tiene un servidor DNS personalizado

Si el sistema de bases de datos externo es accesible desde Internet y el proceso de Azure Databricks tiene un servidor DNS personalizado (que solo es posible si se encuentra en una red administrada por el cliente), agregue el nombre de host del sistema de base de datos al servidor DNS personalizado para que se pueda resolver.

Consideraciones sobre redes de Snowflake

Snowflake admite el egreso de Private Link como función en versión preliminar. Snowflake no admite proporcionar direcciones IP estáticas, lo que impide la práctica de establecer listas de permitidos.