Usar um fluxo de dados num pipeline

Neste tutorial, crias um pipeline para mover dados OData de uma fonte Northwind para um destino lakehouse e envias uma notificação por e-mail quando o pipeline é concluído.

Pré-requisitos

Para começar, você deve preencher os seguintes pré-requisitos:

Criar uma casa no lago

Para começar, primeiro você precisa criar uma casa no lago. Um lakehouse é um data lake otimizado para análises. Neste tutorial, você cria uma casa de lago que é usada como destino para o fluxo de dados.

  1. Acede ao teu espaço de trabalho compatível com o Fabric.

    Captura de ecrã do espaço de trabalho com Fabric ativado em destaque.

  2. Selecione Lakehouse no menu de criação.

    Captura de tela do menu de criação com Create Lakehouse enfatizado.

  3. Insira um Nome para a casa do lago.

  4. Selecione Criar.

Agora você criou uma casa de lago e agora pode configurar o fluxo de dados.

Criar um fluxo de dados

Um fluxo de dados é uma transformação de dados reutilizável que pode ser usada num pipeline. Neste tutorial, você cria um fluxo de dados que obtém dados de uma fonte OData e grava os dados em um destino lakehouse.

  1. Aceda ao seu espaço de trabalho com o Fabric ativado.

    Captura de ecrã do espaço de trabalho com o Fabric ativado.

  2. Selecione Dataflow Gen2 no menu criar.

    Captura de tela da seleção Dataflow Gen2 no novo menu.

  3. Ingerir os dados da fonte OData.

    1. Selecione Obter dados e, em seguida, selecione Mais.

      Captura de ecrã do menu Obter dados com o Mais em destaque.

    2. Em Escolher fonte de dados, procure OData e selecione o conector OData.

      Captura de tela do menu Obter dados com OData enfatizado.

    3. Insira a URL da fonte OData. Para este tutorial, use o serviço de exemplo OData.

    4. Selecione Seguinte.

    5. Selecione a Entidade que pretende ingerir. Neste tutorial, use a entidade Orders.

      Captura de ecrã da pré-visualização do OData.

    6. Selecione Criar.

Agora que você ingeriu os dados da fonte OData, você pode configurar o destino lakehouse.

Para ingerir dados no destino lakehouse:

  1. Selecione Adicionar destino de dados.

  2. Selecione Lakehouse.

    Captura de ecrã do menu Adicionar destino de saída com lakehouse destacado.

  3. Configure a conexão que você deseja usar para se conectar à casa do lago. As configurações padrão são boas.

  4. Selecione Seguinte.

  5. Navegue até o espaço de trabalho onde você criou a casa do lago.

  6. Selecione a casa do lago que você criou nas etapas anteriores.

    Screenshot da casa do lago selecionada.

  7. Confirme o nome da tabela.

  8. Selecione Seguinte.

  9. Confirme o método de atualização e selecione Salvar configurações.

    Captura de ecrã dos métodos de atualização, com a opção de substituição selecionada.

  10. Publique o fluxo de dados.

    Importante

    Quando o primeiro Dataflow Gen2 é criado num espaço de trabalho, os itens Lakehouse e Warehouse são aprovisionados juntamente com o respetivo ponto final de análise SQL e os respetivos modelos semânticos. Esses itens são compartilhados por todos os fluxos de dados no espaço de trabalho e são necessários para que o Dataflow Gen2 funcione, não devem ser excluídos e não se destinam a ser usados diretamente pelos usuários. Os itens são um detalhe de implementação do Dataflow Gen2. Os itens não são visíveis no espaço de trabalho, mas podem ser acessíveis em outras experiências, como as experiências Notebook, SQL-endpoint, Lakehouse e Warehouse. Você pode reconhecer os itens por seu prefixo no nome. O prefixo dos itens é 'DataflowsStaging'.

Agora que você ingeriu os dados para o destino lakehouse, você pode configurar seu pipeline.

Criar uma canalização

Um pipeline é um fluxo de trabalho que pode ser usado para automatizar o processamento de dados. Neste tutorial, você cria um pipeline que executa o Dataflow Gen2 criado no procedimento anterior.

  1. Navegue de volta para a página de visão geral do espaço de trabalho e selecione Pipelines no menu criar.

    Captura de ecrã da seleção de pipeline.

  2. Forneça um Nome para o pipeline.

  3. Selecione a atividade Fluxo de dados.

    Captura de tela da atividade de fluxo de dados enfatizada.

  4. Selecione o Dataflow que criou no procedimento anterior na lista pendente Dataflow, em Definições.

    Captura de ecrã da lista pendente do fluxo de dados.

  5. Adicione uma atividade do Office 365 Outlook .

    Captura de tela enfatizando como selecionar uma atividade do Office 365 Outlook.

  6. Configure a atividade do Office 365 Outlook para enviar notificações por email.

    1. Autentique-se com a sua conta do Office 365.

    2. Selecione o endereço de e-mail para o qual deseja enviar a notificação.

    3. Insira um Assunto para o e-mail.

    4. Insira um Corpo para o e-mail.

      Captura de ecrã a mostrar as definições de atividade do Office 365 Outlook.

Executar e agendar o fluxo de trabalho

Nesta seção, você executa e agenda o pipeline.

  1. Vá para a área de trabalho.

  2. Abra o menu suspenso do pipeline que você criou no procedimento anterior e selecione Agendar.

    Captura de tela do menu de pipeline com cronograma enfatizado.

  3. Em Execução agendada, selecione Ativo.

    Captura de ecrã da execução agendada definida como Ativada.

  4. Forneça o agendamento que você deseja usar para executar o pipeline.

    1. Repita, por exemplo, todos os dias ou todos os minutos.
    2. Quando selecionado Diariamente, você também pode selecionar a Hora.
    3. Comece em uma data específica.
    4. Terminar numa data específica.
    5. Selecione o fuso horário.

  5. Selecione Aplicar para aplicar as alterações.

Agora criou um pipeline que é executado em horário programado, atualiza os dados no lakehouse e envia uma notificação por e-mail. Você pode verificar o status do pipeline acessando o Hub do Monitor. Você também pode verificar o estado do pipeline ao aceder a Pipeline e selecionar a guia Histórico de execução no menu suspenso.

Conteúdos relacionados

  • Last updated on