Azure Data Explorer 및 Azure IoT Hub를 사용하는 IoT 분석

Azure Cosmos DB
Azure Data Explorer
Azure Digital Twins
Azure IoT Hub

솔루션 아이디어

이 문서는 솔루션 아이디어 설명입니다. 클라우드 설계자는 이 지침을 사용하여 이 아키텍처의 일반적인 구현을 위한 주요 구성 요소를 시각화할 수 있습니다. 이 문서를 시작점으로 사용하여 워크로드의 특정 요구 사항에 맞는 잘 설계된 솔루션을 디자인할 수 있습니다.

이 솔루션 아이디어는 Azure Data Explorer IoT(사물 인터넷) 디바이스 및 센서에서 빠르게 흐르는 대용량 스트리밍 데이터를 거의 실시간으로 분석하는 방법을 설명합니다. 이 데이터 흐름은 운영 및 분석 워크로드를 Azure Cosmos DB 및 Azure Data Explorer 통합하는 전체 IoT 솔루션의 일부입니다.

Jupyter는 해당 회사의 상표입니다. 이 상표의 사용은 어떠한 보증도 의미하지 않습니다. Apache® 및 Apache Kafka®는 미국 및/또는 기타 국가에서 Apache Software Foundation의 등록 상표 또는 상표입니다. 이러한 표시의 사용은 Apache Software Foundation에 의한 보증을 암시하지 않습니다.

아키텍처

Azure Data Explorer Azure IoT Hub, Azure Event Hubs 및 Apache Kafka.

이 아키텍처의 Visio 파일을 다운로드합니다.

데이터 흐름

다음 데이터 흐름은 이전 다이어그램에 해당합니다.

  1. Azure Event Hubs, Azure IoT Hub 또는 Apache Kafka는 로그, 비즈니스 이벤트 및 사용자 활동과 같은 광범위한 빠르게 흐르는 스트리밍 데이터를 수집합니다.

  2. Azure Functions 또는 Azure Stream Analytics 거의 실시간으로 데이터를 처리합니다.

  3. Azure Cosmos DB는 실시간 운영 애플리케이션을 제공하기 위해 스트리밍된 메시지를 JSON 형식으로 저장합니다.

  4. Azure Data Explorer 짧은 대기 시간과 높은 처리량에 대해 Event Hubs, IoT Hub 또는 Kafka 커넥터를 사용하여 분석을 위해 데이터를 수집합니다.

    또는 Azure Blob Storage 또는 Azure Data Lake Storage 계정에서 Azure Event Grid 데이터 연결을 사용하여 blob을 Azure Data Explorer로 수집할 수 있습니다.

    또한 압축되고 분할된 Apache Parquet 형식으로 데이터를 Azure Storage 지속적으로 내보내고 Azure Data Explorer 사용하여 데이터를 원활하게 쿼리할 수 있습니다. 자세한 내용은 연속 데이터 내보내기 개요를 참조하세요.

  5. 운영 및 분석 사용 사례를 모두 제공하려면 데이터를 Azure Data Explorer 및 Azure Cosmos DB로 병렬로 라우팅하거나 Azure Cosmos DB에서 Azure Data Explorer로 라우팅합니다.

    Azure Cosmos DB 트랜잭션은 변경 피드를 통해 Azure Functions를 트리거할 수 있습니다. Azure Functions는 데이터를 Event Hubs로 스트리밍하여 Azure Data Explorer로 수집 및 통합합니다. 또는 Azure Functions API를 통해 Azure Digital Twins 호출한 다음, 데이터를 Event Hubs로 스트리밍하여 Azure Data Explorer 수집할 수 있습니다.

  6. 다음 인터페이스는 Azure Data Explorer에 저장된 데이터로부터 인사이트를 얻습니다.

  7. Azure Data Explorer Azure Databricks 및 Azure Machine Learning 통합되어 기계 학습 서비스를 제공합니다. 다른 도구와 서비스를 사용하여 기계 학습 모델을 빌드하고 데이터를 채점하기 위해 Azure Data Explorer 내보낼 수도 있습니다.

구성 요소

이 솔루션 아이디어는 다음 Azure 구성 요소를 사용합니다.

Azure Data Explorer(아주르 데이터 탐색기)

  • 변칙 검색 및 예측 은 Azure Data Explorer의 기본 제공 분석 기능입니다. 이상값을 감지하고 향후 값을 예측하여 사전 모니터링 및 의사 결정을 지원합니다. 이 아키텍처에서는 IoT 데이터의 비정상적인 패턴을 식별하고 시간이 지남에 따라 예상되는 동작을 예측합니다.

  • 루트 분석을 위한 변칙 진단 은 변칙의 근본 원인을 식별하는 데 도움이 되는 KQL 기능입니다. 기여 차원 및 메트릭을 분석하여 문제 해결을 간소화합니다. 이 아키텍처에서는 디바이스 데이터에서 검색되는 변칙의 원본을 격리합니다.

  • Azure Data Explorer 완전히 관리되는 고성능 분석 서비스입니다. 애플리케이션, 웹 사이트 및 IoT 디바이스에서 대량의 스트리밍 데이터를 거의 실시간으로 처리합니다. 이 아키텍처에서는 IoT 데이터의 수집, 쿼리 및 시각화를 위한 중앙 분석 엔진 역할을 합니다.

  • Azure Data Explorer 대시보드는 Azure Data Explorer 웹 UI의 시각화 기능입니다. Azure Data Explorer 대시보드를 사용하여 실시간 데이터 탐색을 위해 Kusto 쿼리를 대화형 대시보드로 내보낼 수 있습니다. 이 아키텍처에서는 IoT 데이터 스트림의 인사이트와 변칙 검색 결과를 표시합니다.

  • Azure Data Explorer 웹 UI는 Azure Data Explorer 클러스터에 대한 브라우저 기반 인터페이스입니다. KQL 명령 및 쿼리를 작성, 실행 및 공유하는 사용자를 지원합니다. 이 아키텍처에서는 분석가가 IoT 데이터를 쿼리하고 탐색할 수 있는 작업 영역을 제공합니다.

  • 시계열 분석은 Azure Data Explorer의 기본 제공 기능입니다. 사용자가 시간 기반 데이터의 임시 패턴, 추세 및 계절성을 탐색하는 데 도움이 됩니다. 이 아키텍처에서는 IoT 센서 판독값에서 장기적인 추세와 주기적 동작을 보여줍니다.

기타 Azure 구성 요소

  • Azure Cosmos DB는 모든 규모의 개방형 API가 포함된 빠른 완전 관리형 NoSQL 데이터베이스입니다. 이 아키텍처에서는 확장 가능하고 짧은 대기 시간 액세스를 위해 IoT 디바이스의 운영 데이터를 저장합니다.

  • Azure Digital Twins 는 물리적 환경을 디지털 표현으로 모델링하기 위한 플랫폼입니다. 이 아키텍처에서는 공간 분석 및 컨텍스트 인사이트를 지원하기 위해 IoT 연결 자산의 디지털 모델을 유지 관리합니다.

  • IoT Hub를 사용하면 IoT 디바이스와 Azure 클라우드 간에 양방향 통신이 가능합니다. 이 아키텍처에서는 디바이스 데이터 및 명령 및 제어 작업의 중앙 메시징 허브 역할을 합니다.

  • Event Hubs 는 완전 관리형 실시간 데이터 수집 서비스입니다. 이 아키텍처에서는 IoT 디바이스에서 데이터를 수집하고 분석 파이프라인으로 스트리밍합니다.

  • HDInsight의Kafka는 Azure Apache Kafka에 대한 엔터프라이즈급 비용 효율적인 서비스입니다. 이 아키텍처에서는 IoT 데이터 수집 및 배포를 위한 대체 스트리밍 백본을 제공합니다.

시나리오 정보

이 솔루션은 Azure Data Explorer 사용하여 광범위한 IoT 디바이스에서 빠르게 흐르는 대용량 스트리밍 데이터에 대한 거의 실시간 IoT 데이터 분석을 가져옵니다.

잠재적인 사용 사례

  • 차량 부품의 예측 유지 관리를 위한 차량 관리. 이 솔루션은 자동차 및 운송 업계에 이상적입니다.

  • 에너지 및 환경 최적화를 위한 시설 관리

  • 더 안전한 자율 주행을 위해 실시간 도로 조건과 날씨 데이터를 결합합니다.

기여자

Microsoft는 이 문서를 유지 관리합니다. 이 문서를 작성한 기여자는 다음과 같습니다.

주요 작성자:

기타 기여자:

LinkedIn 비공개 프로필을 보려면, LinkedIn에 로그인하세요.

다음 단계