Procesar y enrutar datos con flujos de datos

Los flujos de datos simplifican la configuración de rutas de acceso de datos para mover, transformar y enriquecer datos. Mediante el uso de flujos de datos, puede conectar varios orígenes de datos y realizar operaciones de datos. El componente de flujo de datos forma parte de Operaciones de IoT de Azure, que se implementa como una extensión de Azure Arc. Configure un flujo de datos mediante la interfaz web de la experiencia operativa, la CLI de Azure o las plantillas de Azure Resource Manager.

Puede escribir configuraciones para varios casos de uso, como:

• Transforme los datos y envíelos de nuevo a MQTT.
• Transforme los datos y envíelos a la nube.
• Envíe datos a la nube o al borde sin transformación.

Los flujos de datos no se limitan a la región donde se implementa la instancia de operaciones de IoT. Puede usar flujos de datos para enviar datos a puntos de conexión en la nube en diferentes regiones.

Características clave

En esta sección se describen las características clave de los flujos de datos.

Procesamiento y enrutamiento de datos

Los flujos de datos permiten la ingestión, el procesamiento y el enrutamiento de los mensajes a los receptores especificados. Puede especificar:

• Orígenes: dónde ingiere mensajes.
• Destinos: donde se redirigen los mensajes, incluida la compatibilidad con el enrutamiento dinámico de temas en función del contenido del mensaje para los endpoints MQTT.
• Transformaciones (opcional): configuración para las operaciones de procesamiento de datos.

Funcionalidades de transformación

Puede aplicar transformaciones a los datos durante la fase de procesamiento para realizar varias operaciones. Estas operaciones pueden incluir:

• Calcular nuevas propiedades: en función de las propiedades existentes en el mensaje.
• Cambiar el nombre de las propiedades: para estandarizar o aclarar los datos.
• Convertir unidades: convierta valores en unidades de medida diferentes.
• Estandarizar valores: escale los valores de propiedad a un intervalo definido por el usuario.
• Contextualizar datos: agregue datos de referencia a los mensajes para el enriquecimiento y la obtención de insights.

Configuración e implementación

Especifique la configuración mediante la interfaz de usuario web de la experiencia de operaciones, el CLI de Azure o las plantillas de Azure Resource Manager. En función de esta configuración, el operador de flujo de datos crea instancias de flujo de datos para garantizar una alta disponibilidad y confiabilidad.

Ventajas

• Configuración simplificada: conecte fácilmente orígenes de datos y destinos.
• Transformaciones flexibles: realice una amplia gama de operaciones de datos.
• Configuración escalable: use herramientas de Azure para configuraciones escalables y administrables.
• Alta disponibilidad: el recurso nativo de Kubernetes garantiza la confiabilidad.

Mediante el uso de flujos de datos, puede administrar de forma eficaz las rutas de acceso de datos. Puede asegurarse de que los datos se envían, transforman y enriquecen con precisión para satisfacer sus necesidades operativas.

Registro de esquema

Registro de esquema, una característica proporcionada por el Registro de dispositivos de Azure, es un repositorio sincronizado tanto en la nube como en el perímetro. El registro de esquema almacena las definiciones de mensajes procedentes de recursos perimetrales y, a continuación, expone una API para acceder a esos esquemas en el perímetro. Los conectores southbound, como el conector para OPC UA, pueden crear esquemas de mensaje y agregarlos al registro de esquema, o puede cargar esquemas en la interfaz de usuario web de la experiencia de operaciones.

Los flujos de datos usan esquemas de mensaje para transformar el mensaje en el formato esperado por el punto de conexión de destino.

Para obtener más información, consulte Descripción de los esquemas de mensaje.

Bufferización de datos y persistencia en disco

Cuando un flujo de datos envía mensajes a un punto de conexión de destino, es posible que el destino o la red no estén disponibles. Si la entrega no se puede completar, el flujo de datos no reconoce el mensaje de origen. El broker MQTT mantiene el mensaje en la cola del suscriptor y el flujo de datos reintenta la entrega.

Para obtener información sobre el comportamiento ante interrupciones del destino, las colas de suscriptores del broker, el búfer de mensajes respaldado por disco, la persistencia del broker y el flujo de datos, consulte Configuración del almacenamiento en búfer de datos y persistencia de disco para flujos de datos.

Contenido relacionado

• Flujos de datos frente a gráficos de flujo de datos
• Introducción a los gráficos de flujo de datos
• Crear un flujo de datos
• Configuración de un origen de flujo de datos
• Crear un punto de conexión de flujo de datos
• Tutorial: Envío de mensajes de recursos a la nube mediante un flujo de datos