Análise de IoT com o Azure Data Explorer e o Hub IoT do Azure

Essa ideia de solução descreve como o Azure Data Explorer oferece análise quase em tempo real para dados de alto volume e fluxo rápido de streaming de dispositivos e sensores da Internet das Coisas (IoT). Esse fluxo de dados faz parte de uma solução de IoT geral que integra cargas de trabalho operacionais e analíticas com Azure Cosmos DB e Azure Data Explorer.

Jupyter é uma marca registrada da sua respectiva empresa. Nenhum endosso é implícito pelo uso dessa marca. Apache® e Apache Kafka® são marcas registradas ou marcas comerciais da Apache Software Foundation nos Estados Unidos e/ou em outros países. O uso desta marca não implica aprovação por parte da Apache Software Foundation.

Arquitetura

Baixe um Arquivo Visio dessa arquitetura.

Fluxo de dados

O fluxo de dados a seguir corresponde ao diagrama anterior:

1. Hubs de Eventos do Azure, Hub IoT do Azure ou Apache Kafka ingere uma ampla gama de dados de streaming de fluxo rápido, como logs, eventos de negócios e atividades do usuário.

2. Azure Functions ou Azure Stream Analytics processa os dados quase em tempo real.

3. O Azure Cosmos DB armazena mensagens transmitidas no formato JSON para servir um aplicativo operacional em tempo real.

4. Azure Data Explorer ingere dados para análise usando seus conectores para Event Hubs, Hub IoT ou Kafka para baixa latência e alta taxa de transferência.

   Como alternativa, você pode ingerir blobs de sua conta Armazenamento de Blobs do Azure ou Azure Data Lake Storage em Azure Data Explorer usando uma conexão de dados Grade de Eventos do Azure.

   Você também pode exportar continuamente dados para Armazenamento do Azure no formato compactado e particionado Apache Parquet e consultar perfeitamente os dados com Azure Data Explorer. Para obter mais informações, consulte a visão geral da exportação contínua de dados.

5. Para atender aos casos de uso operacional e analítico, encaminhe dados para o Azure Data Explorer e o Azure Cosmos DB em paralelo ou do Azure Cosmos DB para o Azure Data Explorer.

   As transações do Azure Cosmos DB podem acionar o Azure Functions por meio do feed de alterações. Azure Functions transmite dados aos Hubs de Eventos para ingestão em Azure Data Explorer. Como alternativa, Azure Functions pode invocar Gêmeos Digitais do Azure por meio de sua API, que, em seguida, transmite dados para Os Hubs de Eventos para ingestão em Azure Data Explorer.

6. As interfaces a seguir obtêm insights de dados armazenados no Azure Data Explorer:

   • Aplicativos de análise personalizados que combinam dados de Gêmeos Digitais do Azure e APIs do Azure Data Explorer

   • Painéis de análise quase em tempo real que usam painéis do Azure Data Explorer, Power BI, ou Grafana

   • Alertas e notificações do conector do Azure Data Explorer para Aplicativos Lógicos do Azure

   • Interface de usuário da web do Azure Data Explorer, Kusto.Explorer e notebooks Jupyter

7. Azure Data Explorer integra-se com Azure Databricks e Azure Machine Learning para fornecer serviços de machine learning. Você também pode criar modelos de machine learning usando outras ferramentas e serviços e exportá-los para Azure Data Explorer para pontuar dados.

Componentes

Essa ideia de solução usa os seguintes componentes do Azure.

Azure Data Explorer

• A detecção e a previsão de anomalias são um recurso de análise interno no Azure Data Explorer. Ele detecta exceções e prevê valores futuros para dar suporte ao monitoramento proativo e à tomada de decisões. Nessa arquitetura, ela identifica padrões incomuns em dados de IoT e prevê o comportamento esperado ao longo do tempo.

• O diagnóstico de anomalias para análise raiz é uma funcionalidade KQL que ajuda a identificar as causas raiz de anomalias. Ele analisa dimensões e métricas que contribuem para simplificar a solução de problemas. Nessa arquitetura, ela isola a fonte de anomalias detectadas nos dados do dispositivo.

• Azure Data Explorer é um serviço de análise de alto desempenho totalmente gerenciado. Ele processa grandes volumes de dados de streaming de aplicativos, sites e dispositivos IoT quase em tempo real. Nessa arquitetura, ela serve como o mecanismo de análise central para ingestão, consulta e visualização de dados de IoT.

• Azure Data Explorer dashboards são um recurso de visualização na interface do usuário da Web Azure Data Explorer. Você pode usar os painéis do Azure Data Explorer para exportar consultas do Kusto para dashboards interativos, permitindo a exploração de dados em tempo real. Nessa arquitetura, eles exibem insights de fluxos de dados IoT e resultados de detecção de anomalias.

• Azure Data Explorer web UI é uma interface baseada em navegador para clusters Azure Data Explorer. Ele dá suporte a usuários que gravam, executam e compartilham consultas e comandos KQL. Nessa arquitetura, ele fornece um workspace para analistas consultarem e explorarem dados de IoT.

• A análise de série temporal é uma funcionalidade interna no Azure Data Explorer. Ele ajuda os usuários a explorar padrões temporais, tendências e sazonalidade em dados baseados em tempo. Nessa arquitetura, ela revela tendências de longo prazo e comportamento cíclico em leituras de sensor de IoT.

Outros componentes do Azure

• OAzure Cosmos DB é um banco de dados NoSQL rápido e totalmente gerenciado com APIs abertas para qualquer escala. Nessa arquitetura, ela armazena dados operacionais de dispositivos IoT para acesso escalonável e de baixa latência.

• Os Gêmeos Digitais do Azure são uma plataforma para modelar ambientes físicos como representações digitais. Nessa arquitetura, ele mantém modelos digitais de ativos conectados à IoT para dar suporte à análise espacial e insights contextuais.

• Hub IoT permite a comunicação bidirecional entre dispositivos IoT e a nuvem Azure. Nessa arquitetura, ele serve como o hub central de mensagens para dados do dispositivo e operações de comando e controle.

• Os Hubs de Eventos são um serviço de ingestão de dados em tempo real totalmente gerenciado. Nessa arquitetura, ele ingere dados de dispositivos IoT e os transmite para o pipeline de análise.

• Kafka no HDInsight é um serviço econômico e de nível empresarial para Apache Kafka no Azure. Nessa arquitetura, ele fornece um backbone de streaming alternativo para ingestão e distribuição de dados de IoT.

Detalhes do cenário

Essa solução usa Azure Data Explorer para obter análise de dados de IoT quase em tempo real em dados de streaming de alto volume e de fluxo rápido de uma ampla gama de dispositivos IoT.

Possíveis casos de uso

• Gestão de frota, para manutenção preditiva de peças de veículos. Essa solução é ideal para os setores automotivo e de transporte.

• Gestão de instalações, para otimização energética e ambiental.

• Combinando condições de estrada em tempo real com dados meteorológicos para uma condução autônoma mais segura.

Colaboradores

A Microsoft mantém este artigo. Os colaboradores a seguir escreveram este artigo.

Autor principal:

• Shlomo Sagir | Desenvolvedor de Conteúdo Sênior

Outros colaboradores:

• Sreedhar Pelluru | Desenvolvedor sênior de conteúdo

Para ver perfis de LinkedIn não públicos, entre em LinkedIn.

Próximas etapas

• O que é o Gerenciador de dados do Azure?
• Visualizar dados com painéis do Azure Data Explorer

Recurso relacionado

• Design da arquitetura do Analytics