Filtrar e ingerir no Azure Data Explorer usando o Stream Analytics sem editor de código

Este artigo descreve como você pode usar o editor sem código para criar facilmente um trabalho do Stream Analytics. Ele lê continuamente seus Hubs de Eventos, filtra os dados de entrada e grava os resultados continuamente no Azure Data Explorer.

Pré-requisitos

  • Seus Hubs de Eventos do Azure e recursos do Azure Data Explorer devem estar acessíveis publicamente e não protegidos em um firewall ou protegidos em uma Rede Virtual do Azure
  • Os dados em seus Hubs de Eventos devem ser serializados no formato JSON, CSV ou Avro.

Desenvolver uma tarefa de Stream Analytics para filtrar e ingerir dados em tempo real

  1. No portal do Azure, localize e selecione a instância dos Hubs de Eventos do Azure.

  2. Selecione Recursos>Processar Dados e, em seguida, selecione Iniciar no cartão Filtrar e armazenar dados no Azure Data Explorer.

    Captura de ecrã a mostrar o Filtrar e ingerir no cartão Azure Data Lake Storage Gen2 onde seleciona Iniciar.

  3. Insira um nome para o trabalho do Stream Analytics e selecione Criar.

    Captura de ecrã a mostrar onde introduzir um nome de trabalho.

  4. Especifique o tipo de serialização de seus dados na janela Hubs de Eventos e o método de Autenticação que o trabalho usará para se conectar aos Hubs de Eventos. Em seguida, selecione Conectar.
    Captura de tela mostrando a configuração de conexão dos Hubs de Eventos.

  5. Quando a conexão for estabelecida com êxito e você tiver fluxos de dados fluindo para sua instância de Hubs de Eventos, você verá imediatamente duas coisas:

    • Campos que estão presentes nos dados de entrada. Você pode escolher Adicionar campo ou selecionar o símbolo de três pontos ao lado de um campo para remover, renomear ou alterar seu tipo.
      Captura de tela mostrando a lista de campos Hubs de Eventos onde você pode remover, renomear ou alterar o tipo de campo.
    • Uma amostra dinâmica de dados de entrada na tabela de visualização de dados sob o modo de exibição de diagrama. Ele é atualizado automaticamente periodicamente. Você pode selecionar Pausar pré-visualização de streaming para ver uma exibição estática dos dados de entrada de exemplo.
      Captura de ecrã a mostrar dados de exemplo em Pré-visualização de Dados.

  6. Selecione o bloco Filtro para agregar os dados. Na área Filtro, selecione um campo para filtrar os dados recebidos com uma condição.

    Captura de tela que mostra a configuração do operador de filtro.

  7. Selecione o azulejo Gerenciar. No painel de configuração Gerenciar campos , escolha os campos que você deseja enviar para o hub de eventos. Se quiser adicionar todos os campos, selecione Adicionar todos os campos.

    Captura de tela que mostra a configuração do operador de campo de gerenciamento.

  8. Selecione o azulejo Azure Data Explorer. No painel de configuração, preencha os parâmetros necessários e conecte-se.

    Nota

    A tabela deve existir no banco de dados selecionado e o esquema da tabela deve corresponder exatamente ao número de campos e seus tipos gerados pela visualização de dados.

    Captura de tela que mostra a configuração de saída do Kusto.

  9. Opcionalmente, selecione Obter pré-visualização estática/Atualizar pré-visualização estática para ver a pré-visualização dos dados que será ingerida no hub de eventos.
    Captura de ecrã a mostrar a opção Obter pré-visualização estática/Atualizar pré-visualização estática.

  10. Selecione Salvare, em seguida, selecione Iniciar o trabalho do Stream Analytics.
    Captura de ecrã a mostrar as opções Guardar e Iniciar.

  11. Para iniciar o trabalho, especifique:

    • O número de unidades de streaming (SUs) com que o trabalho é executado. SUs representa a quantidade de computação e memória alocada para o trabalho. Recomendamos que comece com três e depois ajuste conforme necessário.
    • Tratamento de erros de dados de saída – Permite especificar o comportamento desejado quando a saída de um trabalho para o seu destino falha devido a erros de dados. Por padrão, o trabalho tenta novamente até que a operação de gravação seja bem-sucedida. Você também pode optar por descartar esses eventos de saída.
      Captura de tela mostrando as opções de trabalho do Start Stream Analytics onde você pode alterar o tempo de saída, definir o número de unidades de streaming e selecionar as opções de tratamento de erros de dados de saída.

  12. Depois de selecionar Iniciar, o trabalho começa a ser executado em dois minutos e as métricas serão abertas na seção da guia abaixo.

    Captura de tela que mostra os dados de métricas de trabalho depois que ele é iniciado.

    Você também pode ver o trabalho na seção Dados do processo na guia Trabalhos do Stream Analytics. Selecione Abrir métricas para monitorá-lo ou parar e reiniciá-lo, conforme necessário.

    Captura de ecrã do separador de trabalhos do Stream Analytics onde visualiza o estado dos trabalhos em execução.

Considerações ao usar o recurso de replicação geográfica de Hubs de Eventos

Os Hubs de Eventos do Azure lançaram recentemente o recurso de Replicação Geográfica em visualização pública. Esse recurso é diferente do recurso de Recuperação de Desastres Geográficos dos Hubs de Eventos do Azure.

Quando o tipo de failover é Forçado e a consistência da replicação é assíncrona, a tarefa do Stream Analytics não garante exatamente uma saída única para os Hubs de Eventos do Azure.

O Azure Stream Analytics, como produtor tendo um hub de eventos como saída, pode observar um atraso na marca d'água no trabalho durante a duração do failover e durante a limitação pelos Hubs de Eventos, caso o atraso de replicação entre o primário e o secundário atinja o máximo atraso configurado.

O Azure Stream Analytics, como consumidor com Hubs de Eventos como Entrada, pode observar atraso de marca d'água no trabalho durante a duração do failover e pode ignorar dados ou localizar dados duplicados após a conclusão do failover.

Devido a estas ressalvas, reinicie o trabalho de Análise de Fluxos com a hora de início adequada logo após a conclusão do failover do Event Hubs. Além disso, como a funcionalidade de Geo-replicação do Event Hubs está em pré-visualização pública, não use este padrão para trabalhos de Análise de Fluxo de produção neste momento. O comportamento atual do Stream Analytics melhorará antes que o recurso de replicação geográfica dos Hubs de Eventos esteja disponível em geral e possa ser usado em trabalhos de produção do Stream Analytics.

Próximos passos

Saiba mais sobre o Azure Stream Analytics e como monitorar o trabalho que você criou.

  • Last updated on