Tutorial: Configurar bancos de dados espelhados do Microsoft Fabric do Azure Databricks

O espelhamento de banco de dados no Microsoft Fabric é uma tecnologia SaaS corporativa, baseada em nuvem, sem ETL. Este guia ajuda você a estabelecer um banco de dados espelhado do Azure Databricks, permitindo a criação de uma cópia somente leitura e replicada continuamente dos dados do Azure Databricks no OneLake.

Pré-requisitos

• Um espaço de trabalho do Fabric.
• Habilite o acesso a dados externos no metastore. Para obter mais informações, consulte Habilitar o acesso a dados externos no metastore.
• Crie ou use um workspace existente no Azure Databricks com o Unity Catalog habilitado.
• Tenha a permissão EXTERNAL USE SCHEMA no esquema do Unity Catalog que contém as tabelas que o Fabric acessa.
• Use o modelo de permissões do Fabric para definir controles de acesso para catálogos, esquemas e tabelas no Fabric.

Criar um banco de dados espelhado do Azure Databricks

Siga estas etapas para criar um novo banco de dados espelhado do catálogo do Azure Databricks Unity.

1. Acesse seu espaço de trabalho no Fabric.

2. Selecione Novo item>Catálogo espelhado do Azure Databricks.

   

3. Selecione uma conexão existente se você tiver uma configurada ou crie uma nova conexão.

   Para criar uma conexão, você deve ser um usuário ou um administrador do workspace do Azure Databricks. Você pode se autenticar no workspace do Azure Databricks usando a autenticação com conta organizacional ou entidade de serviço.

   Note

   A opção de autenticação que você faz aqui se aplica à autenticação do Databricks e à autorização do Catálogo do Unity. Se você precisar acessar contas do ADLS (Azure Data Lake Storage) Gen2 por trás de um firewall, siga as etapas para Abilitar o acesso à segurança de rede para sua conta Azure Data Lake Storage Gen2 posteriormente neste artigo. Quando o ADLS Gen2 está atrás de um firewall, a Identidade do Workspace do Fabric é necessária para acessar o firewall de armazenamento, independentemente do método de autenticação escolhido para a conexão do Databricks.

4. Depois de se conectar a um workspace do Azure Databricks, na página Escolher tabelas de um catálogo do Databricks, selecione o catálogo, os esquemas e as tabelas que você deseja adicionar e acessar no Fabric usando a lista de inclusão ou exclusão. Escolha o catálogo e seus esquemas e tabelas relacionados que você deseja adicionar ao workspace do Fabric.

   Você só pode ver os catálogos, esquemas e tabelas aos quais você tem acesso. Para obter mais informações, confira Privilégios e objetos protegíveis do Catálogo do Unity.

   Por padrão, a opção Sincronizar automaticamente futuras alterações no catálogo para o esquema selecionado está habilitada. Para obter mais informações, consulte Mirroring Azure Databricks > Metadata sync.

5. Selecione Avançar para continuar.

6. Na página Revisar e criar , examine os detalhes e, opcionalmente, altere o nome do item de banco de dados espelhado, que deve ser exclusivo em seu workspace. Por padrão, o nome do item espelhado é o nome do catálogo.

7. Selecione Criar para continuar.

8. Um item de catálogo do Databricks é criado e, para cada tabela, um atalho de tipo do Databricks correspondente também é criado.

   Esquemas que não têm tabelas não são mostrados.

9. Você também pode visualizar uma prévia dos dados ao acessar um atalho, selecionando o endpoint de análise SQL. Abra o item de endpoint de análise SQL para abrir a página do Explorador e do editor de consultas. Você pode consultar as tabelas de Azure Databricks espelhadas usando o T-SQL no Editor de SQL.

Criar atalhos do Lakehouse para o item de catálogo do Databricks

Você também pode criar atalhos de seu Lakehouse para o item de catálogo do Databricks, permitindo o uso dos dados do Lakehouse e do Spark Notebooks.

1. Primeiro, crie uma casa no lago. Se você já tiver uma lakehouse neste workspace, poderá usar uma lakehouse existente.
   1. Selecione seu workspace no menu de navegação.
   2. Selecione + New>Lakehouse.
   3. Forneça um nome para o lakehouse no campo Nome e selecione Criar.
2. No modo de exibição do Explorer da sua lakehouse, no menu Obter dados na sua lakehouse, sob Carregar dados na sua lakehouse, selecione o botão Novo atalho.
3. Selecione Microsoft OneLake. Selecione um catálogo. Este é o item de dados que você criou nas etapas anteriores. Em seguida, selecione Avançar.
4. Selecione tabelas dentro do esquema e selecione Avançar.
5. Selecione Criar.
6. Os atalhos agora estão disponíveis em seu Lakehouse para usar com seus outros dados do Lakehouse. Você também pode usar Notebooks e Spark para processar os dados das tabelas de catálogo que você adicionou do Azure Databricks workspace.

Criar um modelo semântico

Você pode criar um modelo semântico Power BI com base no item espelhado e adicionar ou remover tabelas manualmente. Para obter mais informações sobre como criar e gerenciar modelos semânticos, consulte Criar um modelo semântico do Power BI.

Para obter a melhor experiência, use o navegador Microsoft Edge para tarefas de modelagem semântica.

Gerenciar suas relações de modelo semântico

Depois de criar um novo modelo semântico com base no banco de dados espelhado, configure as relações entre tabelas.

1. Selecione Layouts de Modelo no Explorer em seu workspace.
2. Depois de selecionar layouts de modelo, você receberá um gráfico das tabelas incluídas como parte do modelo semântico.
3. Para criar relações entre tabelas, arraste um nome de coluna de uma tabela para outro nome de coluna de outra tabela. Um pop-up é exibido para identificar a relação e a cardinalidade das tabelas.

Habilitar o acesso à segurança de rede para sua conta do Azure Data Lake Storage Gen2

Configure a segurança de rede para sua conta do ADLS (Azure Data Lake Storage) Gen2 quando você tiver um firewall Armazenamento do Azure configurado. Esta seção se aplica às contas de armazenamento do ADLS Gen2 por trás de um firewall de Armazenamento do Azure. O armazenamento do workspace do Azure Databricks protegido por um firewall do Armazenamento do Azure não é compatível.

Pré-requisitos

• Quando um firewall de Armazenamento do Azure protege o ADLS Gen2, Fabric usa a Identidade do Workspace para acessar o firewall. Mesmo que você selecione Serviço principal para autenticação do ADLS na guia Network Security, você deve permitir a Identidade do Workspace no firewall da conta Armazenamento do Azure.

  • A Identidade do Workspace é usada para acesso ao firewall de armazenamento. Uma principal de serviço ou OAuth é usada para autenticação no Databricks e autorização no Unity Catalog.

  • Para habilitar o tipo de autenticação de identidade do espaço de trabalho (recomendado), associe o espaço de trabalho do Fabric a uma capacidade F. Para criar uma identidade de workspace, consulte Autenticar com identidade de workspace.

• Você só pode associar um catálogo a uma única conta de armazenamento.

Habilitar o acesso à segurança de rede

1. Ao criar um novo Catálogo do Azure Databricks espelhado, na etapa Escolher dados , selecione a guia Segurança de Rede .

   

2. Selecione uma conexão existente com a conta de armazenamento se você tiver uma configurada. 

   • Se você não tiver uma conexão ADLS existente, crie uma nova conexão.  
   • A URL do ponto de extremidade de armazenamento é onde os dados do catálogo selecionado são armazenados. O ponto de extremidade deve ser a pasta específica em que os dados são armazenados, em vez de especificar o ponto de extremidade a ser no nível da conta de armazenamento. Por exemplo, forneça https://<storage account>.dfs.core.windows.net/container1/folder1 em vez de https://<storage account>.dfs.core.windows.net/.
   • Forneça as credenciais de conexão. Os tipos de autenticação com suporte são conta organizacional, principal de serviço e Workspace Identity (recomendado).

   Note

   Quando o ADLS Gen2 é protegido por um firewall Armazenamento do Azure, Fabric usa a Identidade do Workspace para atravessar o firewall, independentemente do tipo de autenticação selecionado aqui. O tipo de autenticação (principal de serviço ou conta organizacional) controla a autenticação do Databricks e a autorização do Unity Catalog, enquanto a Identidade do workspace controla o acesso confiável por meio do firewall de armazenamento. A Identidade do Workspace deve ser permitida no firewall da conta Armazenamento do Azure mesmo se você selecionar um tipo de autenticação diferente para a conexão do ADLS.

3. No portal do Azure, forneça direitos de acesso à conta de armazenamento com base no tipo de autenticação escolhido na etapa anterior. Navegue até a conta de armazenamento no portal do Azure. Selecione Controle de Acesso (IAM). Selecione +Adicionar e Adicionar atribuição de função. Para obter mais informações, confira Atribuir funções do Azure usando o portal do Azure.

   Atribua uma função com base no escopo da conexão:

   • Conta de armazenamento: a identidade de autenticação escolhida precisa da função Leitor de Dados do Blob de Armazenamento na conta de armazenamento.
   • Contêiner: A identidade de autenticação escolhida precisa da função Leitor de Dados do Blob de Armazenamento no contêiner.
   • Pasta dentro de um contêiner (recomendado): a identidade de autenticação escolhida precisa de permissões de Leitura (R) e Executar (E) no nível da pasta. Se você estiver usando entidade de serviço ou identidade do workspace como tipo de autenticação, conceda também a essa identidade permissão de Executar na pasta raiz do contêiner e em cada pasta na hierarquia que leva até a pasta especificada.

   Para obter mais informações e etapas para conceder acesso ao ADLS, consulte o controle de acesso do ADLS.

4. Habilite Trusted Workspace Access configurando uma regra de instância de recurso para seu workspace Fabric na conta de armazenamento. Para obter etapas detalhadas, consulte Trusted workspace access and Secure Fabric bancos de dados espelhados do Azure Databricks.

Depois que a conexão é estabelecida, um atalho para tabelas do Catálogo do Unity é criado para as tabelas cujo nome de conta de armazenamento corresponde à conta de armazenamento especificada na conexão do ADLS. Os atalhos não são criados para tabelas cujo nome da conta de armazenamento não coincide.

Habilitar a segurança do OneLake no item Mirrored Databricks

Mapeie as políticas do Uc (Catálogo do Unity) para a segurança do Microsoft OneLake seguindo estas etapas:

1. Sincronize o Entra Group e aplique permissões no Unity Catalog. No Azure Databricks, use o Gerenciamento Automático de Identidades para sincronizar um grupo do Microsoft Entra ID e conceder a ele os privilégios necessários do Unity Catalog (USE, BROWSE e SELECT) no catálogo e nas tabelas pertinentes.
2. Atribuir uma função de acesso a dados do OneLake. No workspace do Fabric, crie uma função de acesso a dados para os dados espelhados recentemente. Adicione o mesmo grupo Entra a essa função e conceda-lhe acesso de leitura aos atalhos do OneLake correspondentes às tabelas do Azure Databricks. Para começar a usar a segurança no nível da tabela, selecione o botão Gerenciar segurança do OneLake na faixa de opções. Verifique se você mantém as configurações de acesso sincronizadas à medida que as estruturas e permissões do catálogo evoluem. Para obter mais informações, consulte o modelo de controle de acesso a dados do OneLake (versão prévia).

Conteúdo relacionado

• Bancos de dados espelhados do Secure Fabric do Azure Databricks
• Blog: Proteger dados espelhados do Azure Databricks no Fabric com segurança do OneLake
• Limitações dos bancos de dados espelhados do Microsoft Fabric no Azure Databricks
• Perguntas frequentes sobre bancos de dados espelhados do Azure Databricks no Microsoft Fabric
• Espelhamento do Unity Catalog do Azure Databricks
• Controlar o acesso externo aos dados no Catálogo do Unity