Análise de IoT com o Azure Data Explorer e o Hub IoT do Azure

Esta ideia de solução descreve como o Azure Data Explorer fornece análises quase em tempo real para dados de fluxo rápido e de grande volume provenientes de dispositivos e sensores da Internet das Coisas (IoT). Este fluxo de dados faz parte de uma solução global de IoT que integra cargas de trabalho operacionais e analíticas com o Azure Cosmos DB e o Azure Data Explorer.

Jupyter é uma marca comercial de sua respetiva empresa. O uso desta marca não implica qualquer endosso. Apache® e Apache Kafka® são marcas registadas ou marcas comerciais da Apache Software Foundation nos Estados Unidos e/ou noutros países. Nenhum endosso da Apache Software Foundation está implícito no uso dessas marcas.

Arquitetura

Descarregue um ficheiro do Visio desta arquitetura.

Fluxo de dados

O seguinte fluxo de dados corresponde ao diagrama anterior:

1. Hubs de Eventos do Azure, Hub IoT do Azure ou Apache Kafka ingerem uma vasta gama de dados em fluxo rápido, como registos, eventos empresariais e atividades dos utilizadores.

2. O Funções do Azure ou Azure Stream Analytics processam os dados quase em tempo real.

3. O Azure Cosmos DB armazena mensagens transmitidas no formato JSON para servir um aplicativo operacional em tempo real.

4. Azure Data Explorer ingere dados para análises utilizando os seus conectores para Event Hubs, Hub IoT ou Kafka para baixa latência e alto rendimento.

   Em alternativa, podes ingerir blobs da tua conta Armazenamento de Blobs do Azure ou Azure Data Lake Storage para Azure Data Explorer usando uma ligação de dados Azure Event Grid.

   Também pode exportar continuamente dados para Armazenamento do Azure em formato comprimido e particionado Apache Parquet e consultar os dados de forma fluida com Azure Data Explorer. Para mais informações, consulte Visão geral da exportação contínua de dados.

5. Para servir tanto os casos de uso operacionais como analíticos, encaminhe os dados para o Azure Data Explorer e Azure Cosmos DB em paralelo, ou do Azure Cosmos DB para o Azure Data Explorer.

   As transações do Azure Cosmos DB podem acionar o Funções do Azure por meio do feed de alterações. Funções do Azure transmite dados para Event Hubs para ingestão no Azure Data Explorer. Em alternativa, o Funções do Azure pode invocar o Azure Digital Twins através da sua API, que depois transmite dados para Event Hubs para ingestão no Azure Data Explorer.

6. As interfaces a seguir obtêm insights de dados armazenados no Azure Data Explorer:

   • Aplicativos de análise personalizados que mesclam dados de Gêmeos Digitais do Azure e APIs do Azure Data Explorer

   • Painéis de análise quase em tempo real que usam painéis do Azure Data Explorer, Power BI ou Grafana

   • Alertas e notificações do conector do Azure Data Explorer para Azure Logic Apps

   • A interface web do Azure Data Explorer, Kusto.Explorer, e Jupyter notebooks

7. Azure Data Explorer integra-se com Azure Databricks e Azure Machine Learning para fornecer serviços de aprendizagem automática. Também pode construir modelos de aprendizagem automática usando outras ferramentas e serviços, e exportá-los para o Azure Data Explorer para pontuação dos dados.

Componentes

Esta ideia de solução usa os seguintes componentes do Azure.

Azure Data Explorer

• A deteção e previsão de anomalias é uma funcionalidade de análise incorporada no Azure Data Explorer. Deteta valores anómalos e prevê valores futuros para apoiar a monitorização proativa e a tomada de decisões. Nesta arquitetura, identifica padrões invulgares em dados de IoT e prevê o comportamento esperado ao longo do tempo.

• O diagnóstico de anomalias para análise de raízes é uma capacidade KQL que ajuda a identificar as causas raízes das anomalias. Ele analisa dimensões e métricas de contribuição para agilizar a solução de problemas. Nesta arquitetura, isola a fonte das anomalias que são detetadas nos dados do dispositivo.

• Azure Data Explorer é um serviço de análise totalmente gerido e de alto desempenho. Processa grandes volumes de dados em streaming de aplicações, websites e dispositivos IoT em tempo quase real. Nesta arquitetura, serve como o motor central de análise para a ingestão, consulta e visualização de dados IoT.

• Azure Data Explorer dashboards são uma funcionalidade de visualização na interface web Azure Data Explorer. Pode usar dashboards do Azure Data Explorer para exportar consultas Kusto para painéis interativos para exploração de dados em tempo real. Nessa arquitetura, eles exibem insights de fluxos de dados de IoT e resultados de deteção de anomalias.

• Azure Data Explorer web UI é uma interface baseada em navegador para clusters de Azure Data Explorer. Suporta utilizadores que escrevem, executam e partilham comandos e consultas KQL. Nesta arquitetura, oferece um espaço de trabalho para os analistas consultarem e explorarem dados de IoT.

• A análise de séries temporais é um recurso interno no Azure Data Explorer. Ajuda os utilizadores a explorar padrões temporais, tendências e sazonalidade em dados baseados no tempo. Nesta arquitetura, revela tendências de longo prazo e comportamento cíclico nas leituras de sensores IoT.

Outros componentes do Azure

• O Azure Cosmos DB é um banco de dados NoSQL rápido e totalmente gerenciado com APIs abertas para qualquer escala. Nessa arquitetura, ele armazena dados operacionais de dispositivos IoT para acesso escalável e de baixa latência.

• O Azure Digital Twins é uma plataforma para modelar ambientes físicos como representações digitais. Nessa arquitetura, ele mantém modelos digitais de ativos conectados à IoT para dar suporte à análise espacial e insights contextuais.

• Hub IoT permite comunicação bidirecional entre dispositivos IoT e a cloud Azure. Nesta arquitetura, serve como o centro central de mensagens para dados de dispositivos e operações de comando e controlo.

• Os Hubs de Eventos são um serviço de ingestão de dados em tempo real totalmente gerenciado. Nesta arquitetura, ingere dados de dispositivos IoT e transfere-os para o pipeline de análise.

• Kafka no HDInsight é um serviço empresarial e económico para o Apache Kafka no Azure. Nesta arquitetura, oferece uma infraestrutura alternativa de streaming para a ingestão e distribuição de dados IoT.

Detalhes do cenário

Esta solução utiliza o Azure Data Explorer para obter análises de dados IoT quase em tempo real sobre dados de fluxo rápido e alto volume de dados de uma vasta gama de dispositivos IoT.

Potenciais casos de utilização

• Gestão de frotas, para manutenção preditiva de peças de veículos. Esta solução é ideal para a indústria automóvel e de transportes.

• Gestão de instalações, para otimização energética e ambiental.

• Combinando condições de estrada em tempo real com dados meteorológicos para uma condução autónoma mais segura.

Contribuidores

A Microsoft mantém este artigo. Os seguintes colaboradores escreveram este artigo.

Autor principal:

• Shlomo Sagir | Desenvolvedor de Conteúdo Senior

Outros contribuidores:

• Sreedhar Pelluru | Desenvolvedor Sénior de Conteúdos

Para ver perfis não públicos do LinkedIn, faça login no LinkedIn.

Próximos passos

• O que é o Azure Data Explorer?
• Visualizar dados com dashboards do Azure Data Explorer

Recurso relacionado

• Design de arquitetura do Google Analytics