Usar dados do Azure Databricks no Microsoft Power Platform

Esta página explica como usar seus dados do Azure Databricks das seguintes plataformas depois de criar uma conexão:

• Power Apps: crie aplicativos que podem ler e gravar no Azure Databricks, preservando os controles de governança do Azure Databricks.
• Power Automate: crie fluxos e adicione ações que permitem executar o SQL personalizado ou um trabalho existente e obter de volta os resultados.
• Copilot Studio: crie agentes personalizados usando seus dados Azure Databricks como uma fonte de conhecimento ou conecte o Genie Spaces como ferramentas. Consulte Usar dados do Azure Databricks no Microsoft Copilot Studio.

Pré-requisitos

Antes de se conectar ao Azure Databricks por meio do Power Platform, você deve criar uma conexão com o Azure Databricks no Microsoft Power Platform.

Use seus dados do Azure Databricks para construir aplicativos canvas do Power

Para adicionar seus dados do Azure Databricks ao seu aplicativo, faça o seguinte:

1. Na barra de navegação mais à esquerda no Power Apps, clique em Criar.
2. Clique em Iniciar com uma tela em branco e escolha o tamanho de tela desejado para criar um novo aplicativo de tela.
3. Em seu aplicativo, clique em Adicionar conectores > de dados > do Azure Databricks. Clique na conexão do Azure Databricks que você criou.
4. Selecione um catálogo na barra lateral Escolher um conjunto de dados .
5. Na barra lateral Escolher um dataset, selecione todas as tabelas às quais você deseja conectar seu aplicativo Canvas.
6. Clique em Conectar.

Operações de dados no Power Apps:

O conector dá suporte a operações de criação, atualização e exclusão, mas apenas para tabelas que têm uma chave primária definida. Ao executar operações de criação, você deve sempre especificar a chave primária.

O Azure Databricks dá suporte a colunas de identidade geradas. Nesse caso, os valores de chave primária são gerados automaticamente no servidor durante a criação da linha e não podem ser especificados manualmente.

Usar seus dados do Azure Databricks para criar fluxos do Power Automate

A API de Execução de Instrução do Azure Databricks e a API de Trabalhos são expostas no Power Automate, permitindo que você escreva instruções SQL e execute trabalhos existentes. Para criar um fluxo do Power Automate usando o Azure Databricks como uma ação, faça o seguinte:

1. Na barra de navegação mais à esquerda no Power Automate, clique em Criar.

2. Crie um fluxo e adicione qualquer tipo de gatilho.

3. No novo fluxo, clique + e pesquise "Databricks" para ver as ações disponíveis.

4. Para gravar uma consulta SQL, selecione uma das seguintes ações:

   • Execute uma instrução SQL: escreva e execute uma instrução SQL. Insira o seguinte:

     • Para Body/warehouse_id, insira a ID do armazém sobre o qual a instrução SQL deve ser executada.
     • Para Body/statement_id, insira a ID da instrução SQL a ser executada.

     Para obter mais informações sobre parâmetros avançados, consulte a documentação da API.

   • Verificar o status e obter resultados: verifique o status de uma instrução SQL e colete os resultados. Insira o seguinte:

     • Para ID da Declaração, insira o ID retornado quando a declaração SQL foi executada.

     Para obter mais informações sobre o parâmetro, consulte a documentação da API.

   • Cancele a execução de uma instrução: Encerrar a execução de uma instrução SQL. Insira o seguinte:

     • Para ID da instrução, insira a ID da instrução SQL a ser encerrada.

     Para obter mais informações sobre o parâmetro, consulte a documentação da API.

   • Obter resultado por índice de partes: Obtenha resultados por índice de partes, que é adequado para grandes conjuntos de resultados. Insira o seguinte:

     • Para ID da Instrução SQL, insira o ID da instrução SQL cujos resultados você deseja obter.
     • Para Índice da parte, insira o índice da parte de destino.

     Para obter mais informações sobre os parâmetros, consulte a documentação da API.

5. Para interagir com um trabalho existente do Azure Databricks, selecione uma das seguintes ações:

   • Listar trabalhos: Recupera uma lista de trabalhos. Para obter mais informações, consulte a documentação da API.
   • Disparar uma nova execução de trabalho: executa um trabalho e retorna o run_id da execução disparada. Para obter mais informações, consulte a documentação da API.
   • Obtenha uma única execução de trabalho: Retorna metadados sobre uma execução, incluindo o status da execução (por exemplo, RUNNING, , SUCCESS), FAILEDhora de início e término, durações de execução, informações do cluster e assim por diante. Para obter mais informações, consulte a documentação da API.
   • Cancelar uma execução: Cancela uma execução de trabalho ou uma execução de tarefa. Para obter mais informações, consulte a documentação da API.
   • Obtenha a saída para uma única execução: Recupera a saída e os metadados de um único trabalho ou execução de tarefa. Para obter mais informações, consulte a documentação da API.

Criar tabelas virtuais do Dataverse com seus dados do Azure Databricks

Você também pode criar tabelas virtuais do Dataverse com o conector do Azure Databricks. As tabelas virtuais, também conhecidas como entidades virtuais, integram dados de sistemas externos ao Microsoft Dataverse. Uma tabela virtual define uma tabela no Dataverse sem armazenar a tabela física no banco de dados dataverse. Para saber mais sobre tabelas virtuais, consulte Introdução às tabelas virtuais (entidades).

Você deve ter a função Personalizador do Sistema ou Administrador do Sistema. Para obter mais informações, consulte as funções de segurança do Power Platform.

Siga estas etapas para criar uma tabela virtual do Dataverse:

1. No Power Apps, na barra lateral, clique em Tabelas.
2. Clique em + Nova Tabela na barra de menus e selecione Criar uma tabela virtual.
3. Selecione uma conexão existente do Azure Databricks ou crie uma nova conexão com o Azure Databricks. Para adicionar uma nova conexão, consulte Criar uma conexão do Azure Databricks no Microsoft Power Platform.
   • O Databricks recomenda usar uma conexão da entidade de serviço para criar uma tabela virtual.
4. Clique em Próximo.
5. Selecione as tabelas a serem representadas como uma tabela virtual do Dataverse.

   Observação

   As tabelas virtuais do Dataverse exigem uma chave primária. A chave deve ser um GUID (cadeia de caracteres), bigInt ou um inteiro. Exibições não podem ser tabelas virtuais, mas exibições materializadas podem ser.

6. Clique em Próximo.
7. Configure a tabela virtual atualizando os detalhes da tabela, se necessário.
8. Clique em Próximo.
9. Confirme os detalhes da fonte de dados e clique em Concluir.
10. Use a tabela virtual do Dataverse no Power Apps, no Power Automate e no Copilot Studio.

Para obter uma lista de limitações conhecidas das tabelas virtuais do Dataverse, consulte limitações conhecidas e solução de problemas.

Você deve usar tabelas virtuais ou uma conexão direta?

Tabelas virtuais do Dataverse e uma conexão direta oferecem vantagens diferentes. O método escolhido depende do caso de uso. A tabela a seguir resume os principais recursos de cada método.

Realizar atualizações em lote

Se você precisar executar operações de criação, atualização ou exclusão em massa em resposta a entradas do Power Apps, o Databricks recomenda implementar um fluxo do Power Automate. Para realizar esta tarefa, faça o seguinte:

1. Crie um aplicativo de tela usando sua conexão com o Azure Databricks no Power Apps.

2. Crie um fluxo do Power Automate usando a conexão do Azure Databricks e defina o Power Apps como gatilho.

3. No gatilho do Power Automate, adicione os campos de entrada que você deseja passar do Power Apps para o Power Automate.

4. Crie um objeto de coleção no Power Apps para coletar todas as suas alterações.

5. Adicione o fluxo do Power Automate ao aplicativo Canvas.

6. Chame o fluxo do Power Automate pelo seu aplicativo de tela e itere pela coleção usando um comando ForAll.

   ForAll(collectionName, FlowName.Run(input field 1, input field 2, input field 3, …)
   

Gravações simultâneas

A simultaneidade no nível de linha reduz conflitos entre operações de gravação simultâneas, detectando alterações no nível da linha e resolvendo automaticamente conflitos que ocorrem quando gravações simultâneas atualizam ou excluem linhas diferentes no mesmo arquivo de dados.

A simultaneidade de nível de linha está disponível no Databricks Runtime 14.2 ou superior. A simultaneidade de nível de linha tem suporte por padrão para os seguintes tipos de tabelas:

• Tabelas com vetores de exclusão habilitados e sem particionamento
• Tabelas com agrupamento líquido, a menos que os vetores de exclusão estejam desabilitados

Para habilitar vetores de exclusão, execute o comando SQL a seguir.

ALTER TABLE table_name SET TBLPROPERTIES ('delta.enableDeletionVectors' = true);

Para obter mais informações sobre conflitos de gravação simultâneos no Azure Databricks, consulte os níveis de isolamento e os conflitos de gravação.

Limitações

Limitações do Power Apps

As fórmulas do PowerFx a seguir calculam valores usando apenas os dados recuperados localmente: