Usar um fluxo de dados em um pipeline

Neste tutorial, você criará um pipeline para mover OData de uma fonte Northwind para um destino Lakehouse e enviar uma notificação por e-mail quando o pipeline for concluído.

Pré-requisitos

Para começar, você deve concluir os seguintes pré-requisitos:

Criar uma casa no lago

Para começar, primeiro você precisa criar um lakehouse. Um lakehouse é um data lake otimizado para análises. Neste tutorial, você criará um lakehouse usado como destino do fluxo de dados.

  1. Vá para o workspace habilitado para Fabric.

    Captura de tela do espaço de trabalho com o Fabric habilitado em destaque.

  2. Selecione Lakehouse no menu criar.

    Captura de tela do menu de criação com Create Lakehouse enfatizado.

  3. Insira um Nome para o lakehouse.

  4. Selecione Criar.

Agora que você criou um lakehouse, pode configurar o fluxo de dados.

Criação de um fluxo de dados

Um fluxo de dados é uma transformação de dados reutilizável que você pode usar em um pipeline. Neste tutorial, você criará um fluxo de dados que obtém dados de uma fonte OData e grava os dados em um destino lakehouse.

  1. Acesse seu espaço de trabalho habilitado para o Fabric.

    Captura de tela do espaço de trabalho habilitado para Fabric.

  2. Selecione Fluxo de Dados Gen2 no menu criar.

    Captura de tela da seleção do Dataflow Gen2 no novo menu.

  3. Ingerir os dados da fonte OData.

    1. Selecione Obter dados e, em seguida, selecione Mais.

      Captura de tela do menu Obter dados com Mais destacado.

    2. Em Escolher fonte de dados, pesquise OData e selecione o conector OData.

      Captura de tela do menu Obter dados com OData enfatizado.

    3. Insira a URL da fonte OData. Para este tutorial, use o serviço de exemplo OData.

    4. Selecione Avançar.

    5. Selecione a Entidade que você deseja ingerir. Neste tutorial, use a entidade Orders.

      Captura de tela da visualização do OData.

    6. Selecione Criar.

Agora que você importou os dados da fonte OData, pode configurar o destino do lakehouse.

Para ingerir os dados no destino lakehouse:

  1. Selecione Adicionar destino de dados.

  2. Selecione Lakehouse.

    Captura de tela do menu Adicionar destino de saída com o lakehouse em destaque.

  3. Configure a conexão que você deseja usar para se conectar ao lakehouse. As configurações padrão são boas.

  4. Selecione Avançar.

  5. Navegue até o workspace no qual você criou o lakehouse.

  6. Selecione o lakehouse que você criou na etapa anterior.

    Captura de tela do lakehouse selecionado.

  7. Confirme o nome da tabela.

  8. Selecione Avançar.

  9. Confirme o método de atualização e selecione Salvar configurações.

    Captura de tela dos métodos de atualização, com a opção

  10. Publique o fluxo de dados.

    Importante

    Quando o primeiro Dataflow Gen2 for criado em um espaço de trabalho, os itens de Lakehouse e Warehouse serão provisionados juntamente com o endpoint de análise SQL e os modelos semânticos relacionados. Esses itens são compartilhados por todos os fluxos de dados no espaço de trabalho e são necessários para a operação do Fluxo de Dados Gen2, não devem ser excluídos e não devem ser usados diretamente pelos usuários. Os itens são um detalhe de implementação do Fluxo de Dados Gen2. Os itens não estão visíveis no espaço de trabalho, mas podem estar acessíveis em outras experiências, como Notebook, endpoint SQL, Lakehouse e Warehouse. Você pode reconhecer os itens pelo prefixo no nome. O prefixo dos itens é "DataflowsStaging".

Agora que você carregou os dados para o destino *lakehouse*, você pode configurar seu pipeline.

Criar um pipeline

Um pipeline é um fluxo de trabalho que pode ser usado para automatizar o processamento de dados. Neste tutorial, você criará um pipeline que executa o Dataflow Gen2 criado no procedimento anterior.

  1. Navegue de volta à página de Visão Geral do Workspace e selecione Pipelines no menu criar.

    Captura de tela da seleção do pipeline.

  2. Forneça um nome para o fluxo de trabalho.

  3. Selecione a atividade Fluxo de dados.

    Captura de tela da atividade de fluxo de dados em destaque.

  4. Selecione o Fluxo de dados que você criou no procedimento anterior na lista suspensa Fluxo de dados em Configurações.

    Captura de tela da lista suspensa do fluxo de dados.

  5. Adicione uma atividade do Outlook do Office 365.

    Captura de tela enfatizando como selecionar uma atividade do Outlook do Office 365.

  6. Configure a atividade do Outlook do Office 365 para enviar notificação por email.

    1. Autentique com sua conta do Office 365.

    2. Selecione o Endereço de email para o qual você deseja enviar a notificação.

    3. Insira um Assunto para o email.

    4. Insira um Corpo para o email.

      Captura de tela mostrando as configurações da atividade do Outlook do Office 365.

Executar e agendar o pipeline

Nesta seção, você executa e agenda o pipeline.

  1. Acesse seu espaço de trabalho.

  2. Abra o menu suspenso do pipeline que você criou no procedimento anterior e selecione Agendar.

    Captura de tela do menu pipeline com o agendamento enfatizado.

  3. Em Execução agendada, selecione Ativada.

    Captura de tela de execução agendada configurada como Ativada.

  4. Forneça o cronograma que você deseja usar para rodar o pipeline.

    1. Repita, por exemplo, a cada Dia ou a cada Minuto.
    2. Se selecionar Diariamente, você também pode selecionar a Hora.
    3. Iniciar em uma data específica.
    4. Terminar em uma Data específica.
    5. Selecione o Fuso horário.

  5. Selecione Aplicar para aplicar as alterações.

Agora você criou um pipeline que é executado de forma agendada, atualiza os dados no lakehouse e envia uma notificação por e-mail. Você pode verificar o status do pipeline acessando o Hub Monitor. Você também pode verificar o status do pipeline acessando Pipeline e selecionando a guia Histórico de Execuções no menu suspenso.

Conteúdo relacionado

  • Last updated on