Gegevens verwerken en routeren met gegevensstromen

Gegevensstromen vereenvoudigen de installatie van gegevenspaden voor het verplaatsen, transformeren en verrijken van gegevens. Met behulp van gegevensstromen kunt u verschillende gegevensbronnen verbinden en gegevensbewerkingen uitvoeren. Het gegevensstroomonderdeel maakt deel uit van Azure IoT-bewerkingen, die u als een Azure Arc-extensie implementeert. U configureert een gegevensstroom met behulp van de webgebruikersinterface van de bewerkingservaring, de Azure CLI of Azure Resource Manager-sjablonen.

U kunt configuraties schrijven voor verschillende gebruiksvoorbeelden, zoals:

• Gegevens transformeren en terugsturen naar MQTT.
• Gegevens transformeren en verzenden naar de cloud.
• Gegevens verzenden naar de cloud of edge zonder transformatie.

Gegevensstromen zijn niet beperkt tot de regio waar u het IoT Operations-exemplaar implementeert. U kunt gegevensstromen gebruiken om gegevens naar cloudeindpunten in verschillende regio's te verzenden.

Belangrijkste functies

In deze sectie worden de belangrijkste functies van gegevensstromen beschreven.

Gegevensverwerking en routering

Met gegevensstromen kunt u de opname, verwerking en routering van de berichten naar opgegeven sinks inschakelen. U kunt het volgende opgeven:

• Bronnen: waar u berichten van opneemt.
• Bestemmingen: Waarnaar u berichten stuurt, met ondersteuning voor dynamische topicrouting op basis van berichtinhoud voor MQTT-eindpunten.
• Transformaties (optioneel): configuratie voor gegevensverwerkingsbewerkingen.

Transformatiemogelijkheden

U kunt transformaties toepassen op gegevens tijdens de verwerkingsfase om verschillende bewerkingen uit te voeren. Deze bewerkingen kunnen het volgende omvatten:

• Nieuwe eigenschappen berekenen: op basis van bestaande eigenschappen in het bericht.
• Eigenschappen hernoemen: gegevens standaardiseren of verduidelijken.
• Eenheden converteren: waarden converteren naar verschillende maateenheden.
• Waarden standaardiseren: eigenschapswaarden schalen naar een door de gebruiker gedefinieerd bereik.
• Gegevens contextualiseren: Voeg referentiegegevens toe aan berichten voor verrijking en het stimuleren van inzichten.

Configuratie en implementatie

Geef de configuratie op met behulp van de webgebruikersinterface voor bewerkingen, de Azure CLI of Azure Resource Manager sjablonen. Op basis van deze configuratie maakt de gegevensstroomoperator gegevensstroomexemplaren om hoge beschikbaarheid en betrouwbaarheid te garanderen.

Vergoedingen

• Vereenvoudigde installatie: eenvoudig verbinding maken met gegevensbronnen en bestemmingen.
• Flexibele transformaties: voer een breed scala aan gegevensbewerkingen uit.
• Schaalbare configuratie: gebruik Azure hulpprogramma's voor schaalbare en beheerbare configuraties.
• Hoge beschikbaarheid: De systeemeigen Kubernetes-resource zorgt voor betrouwbaarheid.

Door gegevensstromen te gebruiken, kunt u uw gegevenspaden efficiënt beheren. U kunt ervoor zorgen dat gegevens nauwkeurig worden verzonden, getransformeerd en verrijkt om te voldoen aan uw operationele behoeften.

Schemaregister

Schemaregister, een functie van Azure Device Registry, is een gesynchroniseerde opslagplaats in de cloud en aan de rand. In het schemaregister worden de definities opgeslagen van berichten die afkomstig zijn van edge-assets en wordt vervolgens een API beschikbaar gemaakt voor toegang tot deze schema's aan de rand. Zuidkomende connectors, zoals de connector voor OPC UA, kunnen berichtschema's maken en toevoegen aan het schemaregister, of u kunt schema's uploaden naar de webgebruikersinterface voor bewerkingen.

Gegevensstromen gebruiken berichtschema's om het bericht te transformeren in de indeling die wordt verwacht door het doeleindpunt.

Zie Berichtschema's begrijpen voor meer informatie.

Gegevensbuffering en schijfpersistentie

Wanneer een gegevensstroom berichten naar een doeleindpunt verzendt, is het doel of netwerk mogelijk niet beschikbaar. Als de bezorging niet kan worden voltooid, bevestigt de gegevensstroom het bronbericht niet. De MQTT-broker bewaart het bericht in de wachtrij voor abonnees en de gegevensstroom probeert opnieuw te leveren.

Zie requestDiskPersistence voor informatie over het gedrag bij uitval van bestemmingen, wachtrijen voor abonnees van brokers, schijfgebaseerde berichtbuffers, brokerpersistentie en gegevensstromen.

Gerelateerde inhoud

• Gegevensstromen versus gegevensstroomgrafieken
• Overzicht van gegevensstroomgrafieken
• Een gegevensstroom maken
• Een gegevensstroombron configureren
• Een gegevensstroomeindpunt maken
• Zelfstudie: Berichten verzenden van assets naar de cloud met behulp van een gegevensstroom