Traiter et acheminer des données avec des flux de données

Les flux de données simplifient la configuration des chemins de données pour déplacer, transformer et enrichir des données. En utilisant des flux de données, vous pouvez connecter différentes sources de données et effectuer des opérations de données. Le composant de flux de données fait partie de Opérations Azure IoT, que vous déployez en tant qu’extension Azure Arc. Vous configurez un flux de données à l’aide de l’interface utilisateur web de l’expérience des opérations, du Azure CLI ou des modèles Azure Resource Manager.

Vous pouvez rédiger des configurations pour différents cas d’utilisation, comme par exemple :

  • Transformez les données et renvoyez-les à MQTT.
  • Transformez les données et envoyez-les au cloud.
  • Envoyez des données au cloud ou à la périphérie sans transformation.

Les flux de données ne sont pas limités à la région où vous déployez l’instance Des opérations IoT. Vous pouvez utiliser des flux de données pour envoyer des données à des points de terminaison du cloud dans différentes régions.

Note

Les flux de données remplacent le composant uniquement en préversion Data Processor à partir des premières versions d'Opérations Azure IoT. Le paramètre --include-dp sur az iot ops init a été supprimé et n’est plus nécessaire. Les composants de flux de données sont déployés automatiquement.

Fonctionnalités clés

Cette section décrit les principales fonctionnalités des flux de données.

Traitement et acheminement des données

Les flux de données permettent l’ingestion, le traitement et l’acheminement des messages vers des récepteurs spécifiques. Vous pouvez spécifier les valeurs suivantes :

  • Sources : Où vous ingérez les messages.
  • Destinations : vers lesquels vous déversez les messages, y compris la prise en charge du routage dynamique des sujets en fonction du contenu des messages des points de terminaison MQTT.
  • Transformations (facultatif) : configuration des opérations de traitement des données.

Fonctionnalités de transformation

Vous pouvez appliquer des transformations aux données pendant la phase de traitement pour effectuer différentes opérations. Ces opérations peuvent inclure :

  • Calcul de nouvelles propriétés : en fonction des propriétés existantes dans le message.
  • Renommage des propriétés : pour normaliser ou clarifier les données.
  • Conversion d’unités : convertir des valeurs en différentes unités de mesure.
  • Normalisation des valeurs : Mettez à l’échelle les valeurs de propriété vers une plage définie par l’utilisateur.
  • Contextualisation des données : ajoutez des données de référence aux messages pour l’enrichissement et la conduite d’insights.

Conseil / Astuce

Pour obtenir des fonctionnalités de traitement plus riches, notamment le routage conditionnel, l’agrégation basée sur le temps et les pipelines de transformation composables, consultez graphiques de flux de données.

Configuration et déploiement

Spécifiez la configuration à l’aide de l’interface utilisateur web de l’expérience des opérations, du Azure CLI ou des modèles Azure Resource Manager. Sur la base de cette configuration, l’opérateur de flux de données crée des instances de flux de données pour garantir une disponibilité et une fiabilité élevées.

Avantages

  • Configuration simplifiée : connectez facilement les sources de données et les destinations.
  • Transformations flexibles : effectuez un large éventail d’opérations de données.
  • Configuration évolutive : utilisez des outils Azure pour des configurations évolutives et gérables.
  • Haute disponibilité : la ressource native Kubernetes garantit la fiabilité.

En utilisant des flux de données, vous pouvez gérer efficacement vos chemins de données. Vous pouvez vous assurer que les données sont correctement envoyées, transformées et enrichies pour répondre à vos besoins opérationnels.

Registre de schémas

Le Registre de schémas, une fonctionnalité fournie par Azure Device Registry, est un référentiel synchronisé dans le cloud et à la périphérie. Le registre de schémas stocke les définitions des messages provenant des ressources de périphérie, puis expose une API pour accéder à ces schémas à la périphérie. Les connecteurs sud-nord, tels que le connecteur pour OPC UA, peuvent générer des schémas de messages et les enregistrer dans le registre des schémas. Vous pouvez également téléverser des schémas dans l’interface utilisateur.

Les flux de données utilisent des schémas de message pour transformer le message dans le format attendu par le point de terminaison de destination.

Pour plus d’informations, consultez Comprendre les schémas de message.

Mise en mémoire tampon des données et persistance de disque

Lorsqu’un flux de données envoie des messages à un point de terminaison de destination, la destination ou le réseau peut devenir indisponible. Si la remise ne peut pas se terminer, le flux de données ne reconnaît pas le message source. Le courtier MQTT conserve le message dans la file d’attente de l’abonné et le flux de données recommence la remise.

Pour plus d’informations sur le comportement en cas de panne de destination, les files d'attente des abonnés du broker, la mémoire tampon de message sur disque, la persistance du répartiteur et le flux de requestDiskPersistencedonnées, consultez Configurer la mise en mémoire tampon des données et la persistance de disque pour les flux de données.

Contenu connexe

  • Last updated on