Läsa in och bearbeta data stegvis med Lakeflow Spark deklarativa pipeline-flöden

Data bearbetas i pipelines via flöden. Varje flöde består av en fråga och vanligtvis ett mål. Flödet bearbetar frågan, antingen som en batch eller stegvis som en dataström till målet. Ett flöde lever inom en pipeline i Lakeflow Spark Deklarativa Pipelines.

Normalt definieras flöden automatiskt när du skapar en fråga i en pipeline som uppdaterar ett mål, men du kan också uttryckligen definiera ytterligare flöden för mer komplex bearbetning, till exempel lägga till ett enda mål från flera källor.

Uppdateringar

Ett flöde körs varje gång den definierande pipelinen uppdateras. Flödet skapar eller uppdaterar tabeller med de senaste tillgängliga data. Beroende på typen av flöde och tillståndet för ändringarna av data kan uppdateringen utföra en inkrementell uppdatering, som endast bearbetar nya poster eller utför en fullständig uppdatering som bearbetar alla poster från datakällan igen.

Standardflöden och tilläggsflöden

När du skapar en fråga i en pipeline som uppdaterar ett mål definieras ett standardflöde automatiskt. För en strömmande tabell är standardflödet ett tilläggsflöde som lägger till nya rader med varje uppdatering och har samma namn som målet. Att skapa ett flöde och dess mål i ett enda steg är det vanligaste sättet att använda pipelines och du kan använda det för att mata in eller transformera data.

Du kan också definiera flöden separat från ett mål, vilket gör att flera flöden kan lägga till data till ett enda mål. Detta är användbart när du behöver:

  • Lägg till strömmande källor som läggs till i en befintlig strömmande tabell utan att en fullständig uppdatering krävs.
  • Fyll i en strömmande tabell med saknade historiska data.
  • Kombinera data från flera källor utan att använda en UNION sats.

Exempel på hur du skapar standardflöden och explicita flöden finns i Använd flöden i Lakeflow Spark deklarativa pipelines.

Typer av flöden

Standardflödena för strömmande tabeller och materialiserade vyer är tilläggsflöden. Du kan också skapa flöden att läsa från datakällor för ändringsdatainsamling . I följande tabell beskrivs de olika typerna av flöden.

Flödestyp Description
Lägg till Tilläggsflöden är den vanligaste typen av flöde, där nya poster i källan läggs till mål med varje uppdatering. De motsvarar tilläggsläget i strukturerad direktuppspelning. Du kan lägga till ONCE flaggan som anger en batchfråga vars data bara ska infogas i målet en gång, såvida inte målet har uppdaterats fullständigt. Valfritt antal påläggsflöden kan skriva till ett specifikt mål.
Standardflöden (som skapas med den målinriktade strömmatabellen eller den materialiserade vyn) har samma namn som målet. Andra mål har inte standardflöden.
Auto CDC (tidigare tillämpa ändringar) Ett automatiskt CDC-flöde matar in en fråga som innehåller CDC-data (Change Data Capture). Automatiska CDC-flöden kan bara riktas mot strömningstabeller och källan måste vara en strömmande källa (även när det gäller ONCE flöden). Flera automatiska CDC-flöden kan fokusera på en enda streamingtabell. En streamingtabelle som fungerar som mål för ett automatiskt CDC-flöde kan endast användas som mål av andra automatiska CDC-flöden.
Mer information om CDC-data finns i API:er för AUTOMATISK CDC: Förenkla insamling av ändringsdata med pipelines.
Uppdatera (offentlig förhandsversion) Uppdatera flödenas utdata globala, icke-vattenmärkta strömningsaggregeringar till en mottagare, vilket endast genererar de poster som har ändrats i varje batch.
Uppdateringsflöden är endast tillgängliga i Python. Se update_flow.

Ytterligare resurser

Mer information om flöden och deras användning finns i följande avsnitt:

  • Last updated on