Övervaka pipelines i användargränssnittet

Övervaka Lakeflow Spark-deklarativa pipelinear i Azure Databricks-användargränssnitt för att följa uppdateringsförloppet, få aviseringar om pipelinehändelser och visa mått för strömningskällor. Dessa inbyggda funktioner stöder uppgifter som:

• Övervaka förloppet och statusen för pipelineuppdateringar. Se Pipelineinformation som är tillgänglig på övervakningssidan.
• Aviseringar om pipelinehändelser, till exempel lyckade eller misslyckade pipelineuppdateringar. Se Lägga till e-postaviseringar för pipelinehändelser.
• Visa mått för strömmande källor som Apache Kafka och Auto Loader (offentlig förhandsversion). Visa strömmande mätvärden.

Lägga till e-postaviseringar för pipelinehändelser

Du kan konfigurera en eller flera e-postadresser för att ta emot meddelanden när följande inträffar:

• Pipelineuppdateringen har slutförts framgångsrikt.
• En pipelineuppdatering misslyckas, antingen med ett återförsöksbart fel eller ett fel som inte kan åtgärdas med ett nytt försök. Välj det här alternativet om du vill få ett meddelande om alla pipelinefel.
• En pipelineuppdatering misslyckas med ett fel som inte går att försöka igen (allvarligt). Välj det här alternativet om du bara vill få ett meddelande när ett fel som inte kan försökas igen inträffar.
• Ett enskilt dataflöde misslyckas.

Om du vill konfigurera e-postaviseringar redigerar du inställningarna för en pipeline. Se Meddelanden.

Visa pipelines i användargränssnittet

Hitta din pipeline från Alternativet Jobb och pipelines i sidofältet för arbetsytan. Då öppnas sidan Jobb och pipelines där du kan se information om varje jobb och pipeline som du har åtkomst till. Klicka på namnet på en pipeline för att öppna övervakningssidan för pipelinen. Om du vill redigera jobbet eller pipelinen klickar du på Välj sedan Redigera.

Använd listan Jobb och pipelines

Om du vill visa listan över pipelines som du har åtkomst till klickar du på Jobb och pipelines i sidofältet. Fliken Jobb och pipelines innehåller information om alla tillgängliga jobb och pipelines, till exempel skaparen, utlösaren (om sådan finns) och resultatet av de senaste fem körningarna.

Om du klickar på namnet på en pipeline eller ett jobb kommer du till övervakningssidan för pipelinen eller jobbet. Om du vill redigera pipelinen eller jobbet klickar du på Välj sedan Redigera.

Om du vill ändra kolumnerna som visas i listan klickar du på och väljer eller avmarkerar kolumner. Om du till exempel vill lägga till Pipeline Type som en kolumn väljer du den kolumn som ska visas.

Du kan filtrera jobb i listan Jobb och pipelines som visas i skärmdumpen nedan.

1. Textsökning: nyckelordssökning stöds för fälten Namn och ID . Om du vill söka efter en tagg som skapats med en nyckel och ett värde kan du söka efter nyckeln, värdet eller både nyckeln och värdet. Om du till exempel har en tagg med nyckeln department och värdet finance, kan du söka efter department eller finance för att hitta matchande jobb. Om du vill söka efter nyckeln och värdet anger du nyckeln och värdet avgränsat med ett kolon (till exempel department:finance).
2. Typ: filtrera efter jobb, pipelines eller Alla. Om du väljer Pipelines kan du också filtrera efter pipelinetyp, som innehåller ETL- och inmatningspipelines.
3. Ägare: visa bara de jobb du äger.
4. Favoriter: visa jobb som du har markerat som favoriter.
5. Taggar: Använd taggar. Om du vill söka efter tagg kan du använda den nedrullningsbara menyn taggar för att filtrera efter upp till fem taggar samtidigt eller använda nyckelordssökningen direkt.
6. Kör som: Filtrera med upp till två run as värden.

Om du vill starta ett jobb eller en pipeline klickar du på uppspelningsknappen . Om du vill stoppa ett jobb eller en pipeline klickar du på stoppknappen . Om du vill komma åt andra åtgärder klickar du på Du kan till exempel redigera eller ta bort jobbet eller pipelinen, eller komma åt inställningar för en pipeline från den menyn.

Pipelineinformation tillgänglig på övervakningssidan

När du klickar på namnet på en pipeline på sidan Jobb och Pipelines visas övervakningssidan för den pipelinen. Härifrån kan du starta en pipelinekörning och visa tidigare körningsinformation.

Pipelinediagrammet, även kallat den riktade acykliska grafen (DAG), visas så snart en uppdatering av en pipeline har startat framgångsrikt. Pilar representerar beroenden mellan datauppsättningar i pipelinen. Som standardinställning visar pipelineövervakningssidan den senaste uppdateringen för tabellen, men du kan välja äldre uppdateringar från en rullgardinsmeny.

Den högra rutan visar pipelineinformation högst upp, inklusive pipeline-ID, beräkningskostnad, produktutgåva och kanal. Uppdateringsdetaljer visas under pipelineinformationen. Om du vill komma åt pipelinens källkod klickar du på Redigera pipeline överst på sidan. Om du vill navigera till koden för en specifik tabell hovra över tabellen i pipelinediagrammet och klicka på Navigera till kod.

Om du vill se en tabellvy över datauppsättningar klickar du på fliken Lista . Med listvyn kan du se alla datauppsättningar i pipelinen som representeras som en rad i en tabell och är användbart när pipelinediagrammet är för stort för att visualisera i grafvyn . Du kan styra de datauppsättningar som visas i tabellen med hjälp av flera filter, till exempel datauppsättningens namn, typ och status. Om du vill växla tillbaka till pipelinediagrammet klickar du på Graph.

Kör som-användaren är pipelineägaren och pipelineuppdateringar körs med den här användarens behörigheter. För att ändra informationen för run as användaren klickar du på Behörigheter och byter ut pipelineägaren.

Ändringar i förhandsversionen av Unified Runs List

Om förhandsversionen av Enhetlig körningslista är aktiverad kan du se uppdateringar av pipelinekörningar på sidan Jobb och Pipelines.

Om du vill komma åt listan med enhetliga körningar väljer du Körningar från arbetsytans sidofält, eller klicka på Jobb och pipelines och välj sedan fliken Körningar.

Fliken visar en lista över de senaste körningarna under de senaste 60 dagarna. Ett diagram som visar lyckade och misslyckade körningar under de senaste 48 timmarna visas först, i följande fall:

• Du filtreras bara till Jobb eller Pipelines.
• Du är administratör eller filtrerar till endast körningar Run as: Me
• Det kan ta upp till en timme innan körningar visas i diagrammet.

Du kan filtrera listan och diagrammet efter:

• Namnet på jobbet eller pipelinen.
• Alla, Jobb eller Pipelines.
• Pipelinetyp (ETL, inmatning, MV/ST eller databastabellsynkronisering).
• Kör som användare.
• Körningens starttid (inom de senaste 48 timmarna).
• Körningsstatus.
• Felkoden för misslyckade körningar.

Förutom ovanstående kan du visa följande kolumner i listan:

• Sluttid
• Verifikations-ID
• Om det kördes manuellt eller enligt ett schema.
• Kör Varaktighet.
• Kör parametrar.

Om du vill ändra kolumnerna som visas i listan med körningar klickar du på väljer eller avmarkerar kolumner.

När du klickar på Starttid, Sluttid eller Namn på en pipelinekörning kommer du till övervakningssidan för pipelinen.

När en pipeline körs aktivt kan du stoppa körningen genom att klicka på När som helst kan du också klicka på menyknapp på raden för körningen och välja Redigera pipeline för att visa pipelinen i redigeraren.

Visa information om datamängd

Om du klickar på en datauppsättning i pipelinediagrammet eller datamängdslistan visas information om datamängden i det nedre fönstret. Det högra fönstret fortsätter att visa information om pipeline och uppdateringar.

• Schema: Välj tabellen på fliken Tabeller i det nedre fönstret och välj sedan Kolumner.
• Datakvalitetsmått: Kan visas i det nedre fönstret när en tabell har valts.
• Källkod: Om du vill navigera till koden för en specifik tabell hovra över tabellen i pipelinediagrammet och klicka på Gå till kodknappen .
• Frågehistorik: Välj Prestanda i det nedre fönstret.
• Tabellkommentarer: Tabellkommentarer är inte tillgängliga på sidan med pipelineinformation. Om du vill visa tabellkommenteringar öppnar du tabellen i Katalogutforskaren. Om du vill navigera direkt till tabellen hovrar du över den i pipelinegrafen, klickar på och klickar sedan på Visa i katalogen. Om du vill komma åt Katalogutforskaren från tabelllistan i det nedre fönstret klickar du på

Visa uppdateringshistorik

Om du vill visa historik och status för pipelineuppdateringar klickar du på den nedrullningsbara menyn uppdateringshistorik i det övre fältet.

Välj uppdateringen i den nedrullningsbara menyn för att visa grafen, informationen och händelserna för en uppdatering. Om du vill återgå till den senaste uppdateringen klickar du på Visa den senaste uppdateringen.

Visa strömningsstatistik

Du kan visa strömmande mått från de datakällor som stöds av Spark Structured Streaming, till exempel Apache Kafka, Amazon Kinesis, Auto Loader och Delta-tabeller, för varje direktuppspelningsflöde i din pipeline. Mätenheterna visas som diagram i pipelinegränssnittets högra panel och inkluderar eftersläntrande sekunder, eftersläntrande byte, eftersläntrande poster och eftersläntrande filer. Diagrammen visar de maximala värdena aggregerade per minut och ett verktygstips visar maximala värden när du för muspekaren över diagrammet. Data är begränsade till de senaste 48 timmarna från den aktuella tiden.

Tabeller i din pipeline med tillgängliga strömningsmått visar ikonen när du visar pipelinegrafen i användargränssnittets Graph-vy. Om du vill visa strömningsmåtten klickar du på för att visa det strömmande måttdiagrammet på fliken Flöden i den högra rutan. Du kan också använda ett filter för att endast visa tabeller med strömmande mått genom att klicka på List och sedan klicka på Har strömningsmått.

Varje strömmande källa stöder endast specifika mått. Mått som inte stöds av en strömmande källa är inte tillgängliga för visning i användargränssnittet. I följande tabell visas de mått som är tillgängliga för strömmande källor som stöds: