Recomendações de rede para a Federação do Lakehouse

Esse artigo fornece diretrizes para configurar um caminho de rede viável entre seus clusters do Azure Databricks ou SQL warehouses e o sistema de banco de dados externo ao qual você está se conectando usando a Federação do Lakehouse.

Considere o seguinte ao configurar a conectividade de rede para o Lakehouse Federation:

• Todo o tráfego de rede para consultas federadas é diretamente entre clusters Azure Databricks (ou sql warehouses) e o sistema de banco de dados externo. Nem o Catálogo do Unity nem o plano de controle Azure Databricks estão no caminho da rede.
• As conexões que usam o OAuth têm um requisito adicional. Quando uma conexão é autenticada com o OAuth, a troca de tokens OAuth ocorre no plano de controle Azure Databricks, não no plano de computação. O plano de controle deve ser capaz de acessar o endpoint OAuth do sistema externo. Incluir na lista de permissões apenas o plano de computação não é suficiente para essas conexões. Para obter diretrizes específicas do conector, consulte a seção de rede ou limitações da página de conexão relevante, como Executar consultas federadas no Snowflake (OAuth) ou executar consultas federadas em Microsoft SQL Server. As conexões HTTP são uma exceção; eles roteiam OAuth pelo plano de computação sem servidor em vez do plano de controle.
• A computação do Azure Databricks (ou seja, clusters e sql warehouses) sempre é implantada na nuvem, mas o sistema de banco de dados externo pode ser local ou hospedado em qualquer provedor de nuvem, desde que haja um caminho de rede viável entre a computação do Azure Databricks e o banco de dados externo.
• Se houver restrições de rede de entrada ou de saída na computação do Azure Databricks ou no sistema de banco de dados externo, consulte as seções a seguir para acessar as diretrizes gerais para ajudar você a criar um caminho de rede viável.

Para obter mais informações sobre sistema de rede nos workspaces do Azure Databricks, confira Rede.

O sistema de banco de dados e a computação do Azure Databricks podem ser acessados pela Internet

A conexão deve funcionar sem nenhuma configuração.

O sistema de banco de dados tem restrições de acesso à rede

Se o sistema de banco de dados externo tiver restrições de acesso de rede de entrada ou de saída e o cluster do Azure Databricks ou o SQL Warehouse estiver acessível pela Internet, configure uma das seguintes soluções de rede para se conectar a partir de recursos de computação clássicos:

• IP de saída estável na computação do Azure Databricks.

  Em um plano de computação clássica, configure um endereço IP estável com um balanceador de carga, um gateway NAT, um gateway de Internet ou equivalente e conecte-o à sub-rede em que a computação do Azure Databricks foi implantada. Isso permite que o recurso de computação compartilhe um endereço IP público estável que pode ser incluído na lista de permitidos no lado do banco de dados externo.

• Link Privado (somente quando o banco de dados externo estiver na mesma nuvem que a computação do Azure Databricks)

  No plano de computação clássica, configure uma conexão do Link Privado entre a rede em que o banco de dados está implantado e a rede em que a computação do Azure Databricks está implantada.

No plano de computação sem servidor, há suporte para o Link Privado do Azure para o conector do SQL Server. Consulte Etapa 3: Criar regras de ponto de extremidade privado.

A computação do Azure Databricks tem restrições de acesso à rede

Se o sistema de banco de dados externo estiver acessível pela Internet e a computação do Azure Databricks tiver restrições de acesso à rede de entrada ou de saída (o que só será possível se você estiver em uma rede gerenciada pelo cliente), defina uma das seguintes configurações:

• Adicione o nome do host do banco de dados externo à lista de permissões nas regras de firewall da sub-rede em que os recursos de computação do Azure Databricks estão implantados.

  Se você optar por incluir na lista de permitidos o endereço IP do banco de dados externo em vez do nome do host, verifique se o banco de dados externo tem um endereço IP estável.

• Link Privado (somente quando o banco de dados externo estiver na mesma nuvem que a computação do Azure Databricks)

  Configure uma conexão do Link Privado entre a rede em que o banco de dados está implantado e a rede em que a computação do Azure Databricks está implantada.

A computação do Azure Databricks tem um servidor DNS personalizado

Se o sistema de banco de dados externo estiver acessível pela Internet e a computação do Azure Databricks tiver um servidor DNS personalizado (o que só será possível se você estiver em uma rede gerenciada pelo cliente), adicione o nome de host do sistema de banco de dados ao servidor DNS personalizado para que ele possa ser resolvido.

Considerações sobre rede do Snowflake

O Snowflake dá suporte à saída do Link Privado como um recurso de visualização. O Snowflake não dá suporte ao fornecimento de IPs estáticos, o que impede a prática de definir listas de permissões.