Tutorial: Configurar bancos de dados espelhados do Microsoft Fabric a partir do Azure Databricks

O espelhamento de banco de dados no Microsoft Fabric é uma tecnologia SaaS, baseada em nuvem e de ETL zero. Este guia ajuda você a estabelecer um banco de dados espelhado do Azure Databricks, que cria uma cópia somente leitura e replicada continuamente de seus dados do Azure Databricks no OneLake.

Pré-requisitos

• Um espaço de trabalho do Fabric.
• Habilite o acesso a dados externos no metastore. Para obter mais informações, consulte Habilitar acesso a dados externos no metastore.
• Crie ou use um espaço de trabalho existente do Azure Databricks com o Unity Catalog habilitado.
• Ter o privilégio EXTERNAL USE SCHEMA no esquema do Unity Catalog que contém as tabelas às quais o Fabric acede.
• Use o modelo de permissões do Fabric para definir controles de acesso para catálogos, esquemas e tabelas no Fabric.

Criar um banco de dados espelhado a partir do Azure Databricks

Siga estas etapas para criar um novo banco de dados espelhado do seu Catálogo Unity do Azure Databricks.

1. Vai ao teu espaço de trabalho em Fabric.

2. Selecione Novo item>catálogo espelhado do Azure Databricks.

   

3. Selecione uma ligação existente, se tiver uma configurada, ou crie uma nova ligação.

   Para criar uma conexão, você deve ser um usuário ou um administrador do espaço de trabalho do Azure Databricks. Pode autenticar-se no seu espaço de trabalho do Azure Databricks através da autenticação com Conta da organização ou Principal de serviço.

   Note

   A escolha de autenticação que fizer aqui aplica-se à autenticação do Databricks e à autorização do Unity Catalog. Se precisar de aceder a contas do Azure Data Lake Storage (ADLS) Gen2 protegidas por uma firewall, siga os passos para Ativar o acesso à segurança de rede para a sua conta do Azure Data Lake Storage Gen2 mais adiante neste artigo. Quando o ADLS Gen2 está atrás de um firewall, é necessário o Fabric Workspace Identity para o acesso ao firewall de armazenamento, independentemente do método de autenticação escolhido para a ligação Databricks.

4. Depois de estabelecer ligação a uma área de trabalho do Azure Databricks, na página Escolher tabelas de um catálogo do Databricks, selecione o catálogo, os esquemas e as tabelas que pretende adicionar e aceder no Fabric, utilizando a lista de inclusão ou exclusão. Escolha o catálogo e seus esquemas e tabelas relacionados que você deseja adicionar ao seu espaço de trabalho do Fabric.

   Só podes ver os catálogos, esquemas e tabelas a que tens acesso. Para obter mais informações, consulte privilégios do Catálogo Unity e objetos securáveis.

   Por defeito, a opção Sincronizar automaticamente alterações futuras ao catálogo para o esquema selecionado está ativada. Para mais informações, consulte Espelhamento do Azure Databricks > sincronização de metadados.

5. Selecione Seguinte para continuar.

6. Na página Rever e criar, reveja os detalhes e, opcionalmente, altere o nome do item da base de dados em espelho, que deve ser único no seu espaço de trabalho. Por predefinição, o nome do item espelhado é o nome do catálogo.

7. Selecione Criar para continuar.

8. Um item de catálogo Databricks é criado e, para cada tabela, um atalho de tipo Databricks correspondente também é criado.

   Os esquemas que não têm tabelas não são mostrados.

9. Você também pode ver uma pré-visualização dos dados ao acessar um acesso rápido selecionando o endpoint de análise SQL. Abra o item de ponto de extremidade da análise SQL para iniciar a página do Explorer e do editor de consultas. Pode consultar as suas tabelas espelhadas do Azure Databricks usando o T-SQL no SQL Editor.

Criar atalhos do Lakehouse para o item de catálogo do Databricks

Você também pode criar atalhos do Lakehouse para o item do catálogo Databricks para usar os dados do Lakehouse e usar os Blocos de Anotações do Spark.

1. Primeiro, crie uma casa no lago. Se você já tem uma lakehouse neste espaço de trabalho, você pode usar uma lakehouse existente.
   1. Selecione seu espaço de trabalho no menu de navegação.
   2. Selecione + New>Lakehouse.
   3. Forneça um nome para sua casa do lago no campo Nome e selecione Criar.
2. Na vista Explorer do seu lakehouse, no menu Obter Dados no seu lakehouse, em Carregar Dados no seu lakehouse, selecione o botão Novo Atalho.
3. Selecione Microsoft OneLake. Selecione um catálogo. Este é o item de dados que você criou nas etapas anteriores. Em seguida, selecione Seguinte.
4. Selecione tabelas dentro do esquema e selecione Avançar.
5. Selecione Criar.
6. Os atalhos agora estão disponíveis na sua Lakehouse para serem utilizados com os outros dados do seu Lakehouse. Você também pode usar o Notebooks e o Spark para executar o processamento de dados nos dados dessas tabelas de catálogo que você adicionou do seu espaço de trabalho do Azure Databricks.

Criar um modelo semântico

Podes criar um modelo semântico do Power BI com base no item espelhado e adicionar ou remover tabelas manualmente. Para obter mais informações sobre como criar e gerenciar modelos semânticos, consulte Criar um modelo semântico do Power BI.

Para a melhor experiência, utilize o navegador Microsoft Edge para tarefas de modelação semântica.

Gerenciar suas relações de modelo semântico

Depois de criar um novo modelo semântico baseado na sua base de dados espelhada, configure as relações entre tabelas.

1. Selecione Layouts de modelo no Explorer em seu espaço de trabalho.
2. Depois de selecionar layouts de modelos, é apresentado um gráfico das tabelas incluídas como parte do modelo semântico.
3. Para criar relações entre tabelas, arraste um nome de coluna de uma tabela para outro nome de coluna de outra tabela. Aparece um pop-up para identificar a relação e cardinalidade das tabelas.

Habilite o acesso de segurança de rede para sua conta do Azure Data Lake Storage Gen2

Configure a segurança de rede para a sua conta Azure Data Lake Storage (ADLS) Gen2 quando tiver um firewall Armazenamento do Azure configurado. Esta secção aplica-se a contas de armazenamento ADLS Gen2 protegidas por uma firewall do Armazenamento do Azure. O armazenamento do espaço de trabalho do Azure Databricks protegido por um firewall do Armazenamento do Azure não é suportado.

Pré-requisitos

• Quando um firewall do Armazenamento do Azure protege o ADLS Gen2, o Fabric usa o Workspace Identity para aceder ao firewall. Mesmo que selecione Service principal para a autenticação do ADLS no separador Network Security, tem de permitir a identidade do espaço de trabalho na firewall da conta de Armazenamento do Azure.

  • A Identidade do Espaço de Trabalho é usada para o acesso a firewalls de armazenamento. Um principal de serviço ou OAuth é utilizado para a autenticação do Databricks e autorização do Unity Catalog.

  • Para ativar o tipo de autenticação de identidade do espaço de trabalho (recomendado), associe o espaço de trabalho do Fabric a uma capacidade F. Para criar uma identidade de espaço de trabalho, consulte Autenticar com identidade de espaço de trabalho.

• Só podes associar um catálogo a uma única conta de armazenamento.

Habilitar acesso de segurança de rede

1. Ao criar um novo Catálogo Espelhado do Azure Databricks, na etapa Escolher dados , selecione a guia Segurança de Rede .

   

2. Selecione uma conexão existente com a conta de armazenamento, se você tiver uma configurada. 

   • Se você não tiver uma conexão ADLS existente, crie uma nova conexão.  
   • A URL do ponto de extremidade de armazenamento é onde os dados do catálogo selecionado são armazenados. O ponto de extremidade deve ser a pasta específica onde os dados são armazenados, em vez de especificar o ponto de extremidade a ser no nível da conta de armazenamento. Por exemplo, fornecer https://<storage account>.dfs.core.windows.net/container1/folder1 em vez de https://<storage account>.dfs.core.windows.net/.
   • Forneça as credenciais de conexão. Os tipos de autenticação suportados são Conta da organização, Principal de serviço e Identidade de espaço de trabalho (recomendado).

   Note

   Quando o ADLS Gen2 está protegido por um firewall do Armazenamento do Azure, o Fabric usa o Workspace Identity para atravessar o firewall, independentemente do tipo de autenticação aqui selecionado. O tipo de autenticação (principal de serviço ou conta organizacional) controla a autenticação no Databricks e a autorização no Unity Catalog, enquanto a identidade do Workspace controla o acesso fidedigno por meio do firewall de armazenamento. A Identidade do Workspace deve ser permitida no firewall da conta Armazenamento do Azure, mesmo que selecione um tipo de autenticação diferente para a ligação ADLS.

3. No portal do Azure, forneça direitos de acesso à conta de armazenamento com base no tipo de autenticação escolhido na etapa anterior. Navegue até a conta de armazenamento no portal do Azure. Selecione Controle de acesso (IAM). Selecione +Adicionar e Adicionar atribuição de função. Para obter mais informações, consulte Atribuir funções do Azure usando o portal do Azure.

   Atribuir um papel com base no âmbito da ligação:

   • Conta de armazenamento: A identidade de autenticação escolhida necessita do papel Storage Blob Data Reader na conta de armazenamento.
   • Contentor: A identidade escolhida para autenticação tem de ter a função Storage Blob Data Reader no contentor.
   • Pasta dentro de um contentor (recomendada): A identidade de autenticação escolhida necessita de permissões de Leitura (R) e Execução (E) ao nível da pasta. Se estiveres a usar Service Principal ou Workspace Identity como tipo de autenticação, dá também permissões de Execução a essa identidade na pasta raiz do contentor e em cada pasta na hierarquia que conduz à pasta especificada.

   Para obter mais informações e etapas para conceder acesso ADLS, consulte Controle de acesso ADLS.

4. Ative o Trusted Workspace Access configurando uma regra de instância de recurso para o seu Fabric workspace na conta de armazenamento. Para obter passos detalhados, veja Acesso fiável à área de trabalho e Proteger bases de dados espelhadas do Fabric a partir do Azure Databricks.

Após a ligação ser estabelecida, é criado um atalho para as tabelas do Catálogo Unity para as tabelas cujo nome da conta de armazenamento corresponde ao especificado na ligação ADLS. Não são criados atalhos para tabelas cujo nome da conta de armazenamento não coincida.

Habilitar a segurança do OneLake no item Databricks espelhados

Mapeie as políticas do Unity Catalog (UC) para a segurança do Microsoft OneLake seguindo estas etapas:

1. Sincronize o Grupo Entra e aplique permissões no Unity Catalog. No Azure Databricks, use a Gestão Automática de Identidade para sincronizar um grupo de Microsoft Entra ID e conceder-lhe os privilégios necessários do Catálogo Unity (USE, BROWSE e SELECT) no catálogo e nas tabelas relevantes.
2. Atribua uma função de acesso a dados do OneLake. No espaço de trabalho Fabric, crie uma função de acesso a dados para os dados recém-espelhados. Adicione o mesmo grupo Entra a esta função e conceda-lhe acesso de leitura aos atalhos do OneLake correspondentes às tabelas do Azure Databricks. Para começar a utilizar a segurança ao nível das tabelas, selecione o botão Gerir a segurança do OneLake no friso. Certifique-se de manter as configurações de acesso sincronizadas à medida que as estruturas e permissões do catálogo evoluem. Para obter mais informações, consulte o modelo de controle de acesso a dados do OneLake (visualização).

Conteúdo relacionado

• Bancos de dados espelhados do Secure Fabric do Azure Databricks
• Blog: Proteger dados espelhados do Azure Databricks na Fabric com a segurança OneLake
• Limitações dos bancos de dados espelhados do Microsoft Fabric no Azure Databricks
• Perguntas frequentes sobre bancos de dados espelhados do Azure Databricks no Microsoft Fabric
• Espelhando o catálogo do Azure Databricks Unity
• Controle o acesso externo aos dados no Unity Catalog