데이터 흐름은 데이터 이동, 변환 및 보강을 위한 데이터 경로 설정을 간소화합니다. 데이터 흐름을 사용하여 다양한 데이터 원본을 연결하고 데이터 작업을 수행할 수 있습니다. 데이터 흐름 구성 요소는 Azure Arc 확장으로 배포하는 Azure IoT 작업 일부입니다. 작업 환경 웹 UI, Azure CLI 또는 Azure Resource Manager 템플릿을 사용하여 데이터 흐름을 구성합니다.
다음과 같은 다양한 사용 사례에 대한 구성을 작성할 수 있습니다.
- 데이터를 변환하고 MQTT로 다시 보냅니다.
- 데이터를 변환하고 클라우드로 보냅니다.
- 변환 없이 클라우드 또는 에지로 데이터를 보냅니다.
데이터 흐름은 IoT Operations 인스턴스를 배포하는 지역으로 제한되지 않습니다. 데이터 흐름을 사용하여 여러 지역의 클라우드 엔드포인트로 데이터를 전송할 수 있습니다.
메모
데이터 흐름은 초기 Azure IoT 작업 릴리스에서 미리 보기 전용 데이터 프로세서 구성 요소를 대체합니다.
az iot ops init의 --include-dp 매개변수가 제거되었으며 더 이상 필요하지 않습니다. 데이터 흐름 구성 요소는 자동으로 배포됩니다.
주요 기능
이 섹션에서는 데이터 흐름의 주요 기능에 대해 설명합니다.
데이터 처리 및 라우팅
데이터 흐름을 통해 메시지를 수집, 처리하고 지정된 싱크로 라우팅할 수 있습니다. 다음을 지정할 수 있습니다.
- 원본: 메시지를 수집하는 위치입니다.
- 대상: MQTT 엔드포인트에 대한 메시지 콘텐츠를 기반으로 하는 동적 토픽 라우팅 지원을 포함하여 메시지를 드레이닝하는 위치입니다.
- 변환(선택 사항): 데이터 처리 작업에 대한 구성입니다.
변환 기능
처리 단계 중에 데이터에 변환을 적용하여 다양한 작업을 수행할 수 있습니다. 이러한 작업에는 다음이 포함될 수 있습니다.
- 새 속성 컴퓨팅: 메시지의 기존 속성을 기반으로 합니다.
- 속성 이름 바꾸기: 데이터를 표준화하거나 명확하게 지정합니다.
- 단위 변환: 값을 다른 측정 단위로 변환합니다.
- 값 표준화: 속성 값을 사용자 정의 범위로 크기 조정합니다.
- 데이터 컨텍스트화: 보강 및 인사이트 구동을 위해 메시지에 참조 데이터를 추가합니다.
팁 (조언)
조건부 라우팅, 시간 기반 집계 및 구성 가능한 변환 파이프라인을 비롯한 다양한 처리 기능은 데이터 흐름 그래프를 참조하세요.
구성 및 배포
작업 환경 웹 UI, Azure CLI 또는 Azure Resource Manager 템플릿을 사용하여 구성을 지정합니다. 이러한 구성을 기반으로 데이터 흐름 운영자는 고가용성과 안정성을 보장하기 위해 데이터 흐름 인스턴스를 만듭니다.
이점
- 간소화된 설정: 데이터 원본 및 대상을 쉽게 연결합니다.
- 유연한 변환: 광범위한 데이터 작업을 수행합니다.
- Scalable 구성: 확장 가능하고 관리 가능한 구성에 Azure 도구를 사용합니다.
- 고가용성: Kubernetes 네이티브 리소스는 안정성을 보장합니다.
데이터 흐름을 사용하면 데이터 경로를 효율적으로 관리할 수 있습니다. 운영 요구 사항에 맞게 데이터를 정확하게 보내고, 변환하고, 보강할 수 있습니다.
스키마 레지스트리
Azure Device Registry에서 제공하는 기능인 스키마 레지스트리는 클라우드 및 에지에서 동기화된 리포지토리입니다. 스키마 레지스트리는 에지 자산에서 들어오는 메시지의 정의를 저장한 다음, 에지에서 해당 스키마에 액세스할 수 있는 API를 제공합니다. OPC UA용 커넥터와 같은 사우스바운드 커넥터는 메시지 스키마를 만들고 스키마 레지스트리에 추가하거나 작업 환경 웹 UI에 스키마를 업로드할 수 있습니다.
데이터 흐름은 메시지 스키마를 사용하여 메시지를 대상 엔드포인트에서 예상하는 형식으로 변환합니다.
자세한 내용은 메시지 스키마 이해를 참조하세요.
데이터 버퍼링 및 디스크 지속성
데이터 흐름이 대상 엔드포인트로 메시지를 보내면 대상 또는 네트워크를 사용할 수 없게 될 수 있습니다. 배달을 완료할 수 없는 경우 데이터 흐름은 원본 메시지를 승인하지 않습니다. MQTT 브로커는 메시지를 구독자 큐에 유지하고 데이터 흐름은 배달을 다시 시도합니다.
대상 중단 동작, 브로커 구독자 큐, 브로커 지속성, 디스크 기반 메시지 버퍼 및 데이터 흐름에 대한 자세한 내용은 requestDiskPersistence을 참조하세요.