Använd Genie Code för pipelineutveckling

Genie Code i agentläge är AI-datateknikpartnern för utvecklare i Lakeflow Pipelines-redigeraren. Den utforskar data, genererar och kör pipelinekod för Lakeflow Spark Declarative Pipelines (SDP), och åtgärdar fel med en enda prompt.

Vad är Genie Code för pipelineutveckling?

Genie Code i agentläge är en autonom partner som kan automatisera hela arbetsflöden för datateknik i flera steg i SDP och Lakeflow Pipelines Editor.

Jämfört med Genie Code-chattläget har agentläget utökat funktionerna: planera en lösning, hämta relevanta tillgångar, köra kod, använda pipelineutdata för att förbättra resultaten, åtgärda fel automatiskt och mycket mer.

Genie Code i agentläge kan planera och generera hela pipelines från början till slutpunkt, eller påskynda arbetet med en befintlig pipeline. Agenten samarbetar med dig för att godkänna planerna och bekräfta dess nästa steg innan du fortsätter. Med ditt godkännande kan Genie Code använda verktyg för att utföra uppgifter som att söka i tabeller, redigera en SQL- eller Python källfil, köra pipelineuppdateringar och läsa pipelinedatauppsättningar.

Genie Codes åtkomst och åtgärder styrs av användarens behörigheter. Den kan bara komma åt data som du har åtkomst till och utföra åtgärder som du har behörighet för.

Kravspecifikation

Om du vill använda Genie Code för datateknik behöver din arbetsyta följande:

• Partnerdrivna AI-funktioner aktiverade för både kontot och arbetsytan. Se Partnerdrivna AI-funktioner.
• Din arbetsyta måste finnas i en region som stöds. Genie Code är en utsedd tjänst som använder Geos för att hantera datahemvist. Se Geo-tillgänglighet för Genie Code-funktioner.

Använd Genie Code för pipelineutveckling

Så här använder du Genie Codes agentiska funktioner för pipelineutveckling:

1. Öppna sidopanelen för Genie Code i Lakeflow Pipelines-redigeraren genom att klicka på Genie Code uppe till höger i arbetsytan.

2. I det nedre högra hörnet väljer du Agent. Detta växlar över Genie Code-agentläget så att du kan använda Genie Codes agentiska datateknikfunktioner.

3. Ange en fråga för Genie Code. Du kan till exempel ställa frågor om din pipeline, till exempel "beskriv den här pipelinen". Du kan också be den att lägga till nya datauppsättningar, till exempel "skapa silver_sales_data i en ny fil som läser från bronze_sales_data och rensar data och lägger till användbara kvalitetsförväntningar".

   Anmärkning

   Genie Code respekterar användarens behörigheter för Unity-katalogen, så att den bara kan komma åt data och pipelinekällan som du har åtkomst till.

4. När Genie Code genererar sitt svar pausas det ofta för att hämta dina indata:

   • För mer komplexa uppgifter kan Genie Code skapa en stegvis plan och ställa klargörande frågor. Svara på dess klargörande frågor för att hjälpa den att finslipa sin plan.

   • När Genie Code behöver köra kod eller uppdatera en pipeline ber den om ditt godkännande innan du fortsätter. Tillåt eller avvisa dess begäran. Du kan också välja Tillåt i den här tråden (refererar till konversationstråden Genie Code) eller Tillåt alltid.

     Viktigt!

     Genie Code i agentläge kan generera och köra kod i din pipeline. Även om den har skyddsräcken för att förhindra farliga åtgärder, finns det fortfarande risk. Du bör bara använda den med data som du litar på, och du bör granska koden innan du kör den.

   • När Genie Code fortsätter sitt arbete kan du uppmanas att välja Fortsätt eller Avvisa. Granska dess befintliga arbete och välj sedan Fortsätt för att tillåta att det fortsätter till nästa steg eller Avvisa för att be det att prova något annat.

   • Om du vill stoppa Genie Code medan den fungerar klickar du på den röda .

Genie Code kan skapa nya filer, generera text, frågor och kod, köra filer eller pipelines och komma åt utdatauppsättningarna för att tolka resultatet.

Funktioner i agentläge

I agentläge kan Genie Code hjälpa till med de flesta pipelineutvecklingsuppgifter. Exempel på viktiga funktioner:

• Dataidentifiering: Genie Code kan söka i tabeller på arbetsytan för att hjälpa dig att hitta nödvändiga data för en arbetsuppgift.
• Redigering av pipelinekod: Genie Code kan skapa och redigera flera filer i taget. Det håller dig informerad om vilka filer som ändras och visar koddiffet i varje fil, så att du kan granska ändringarna individuellt eller alla tillsammans i slutet.
• Pipelinekörning: Genie Code kan köra enskilda filer, torrköra/köra pipelinen eller göra en fullständig uppdatering. När Genie Code vill fortsätta ber den om din bekräftelse innan du gör det.
• Förstå och förbättra pipelinebeteendet: Genie Code kan inspektera datauppsättningar och pipelineutdata som hjälper dig att förstå vad en pipeline gör från slutpunkt till slutpunkt och varför. Den kan till exempel sammanfatta transformeringar, spåra hur data flödar till underordnade tabeller och markera oväntade ändringar i radantal eller scheman. När det uppstår potentiella problem med datakvaliteten kan Genie Code hjälpa dig att resonera kring orsaken och föreslå var och hur du kan åtgärda dem i pipelinen.

De här funktionerna stöder vanliga användningsfall, till exempel:

• Redigera en ny pipeline: Genie Code kan hjälpa dig med alla steg för att skapa en ny pipeline för medallionarkitektur, från att mata in data, standardisera och rensa data, till att transformera och analysera data.
• Förklara en pipeline: Genie Code kan analysera och förklara en befintlig pipeline för att hjälpa dig att snabbt sätta dig in i den.
• Åtgärda problem: När du har fel kan Genie Code hjälpa dig att diagnostisera och åtgärda problemen och iterera genom flera filer tills problemet har lösts.

Migrera från andra ETL-ramverk till Lakeflow Spark declarative pipelines

Genie Code kan migrera ett befintligt datatransformeringsprojekt till en pipeline för Lakeflow Spark Declarative Pipelines (SDP). Du anger ditt uppladdade projekt, och den planerar och kör migreringen från början till slut. Den här migreringsfunktionen är en del av Lakebridge och är också tillgänglig via Lakebridge Switch-transpilern .

Migrera ett projekt

1. Ladda upp projektet till Databricks. Använd något av följande:

   • Katalog: öppna en volym och ladda sedan upp till den här volymen.
   • Arbetsyta: öppna en katalog och klicka sedan på >Importera.

2. Skapa en tom SDP-pipeline. Gå till Jobs & Pipelines och skapa en ETL-pipeline.

3. Be Genie Code att migrera den. Öppna Genie Code och mata in sökvägen till ditt uppladdade projekt, till exempel:

   Tips/Råd

   Migrera projektet till /Volumes/my_catalog/my_schema/my_volume/my_project

Så här fungerar migreringen

När du har startat migreringen genererar Genie Code en plan och kör den sedan:

1. Läs källan. Den läser källprojektet för att förstå dess modeller, transformeringar och beroenden.
2. Samla indata. Den pausar för att be om nödvändiga indata, till exempel om du vill generera SQL eller Python pipelinekälla.
3. Analysera och generera en mellanliggande representation (IR). Den analyserar projektet och skapar en mellanliggande representation som samlar in pipelinens logik oberoende av källverktyget.
4. Konvertera, validera och reparera. Den konverterar IR till SDP-källa, validerar resultatet och itererar i en reparationsloop tills pipelinen är korrekt.

Examples

Prova följande uppmaningar för att komma igång:

• "Skapa och kör en pipeline för medaljongarkitektur för identifiering av bedrägerier med hjälp av tabelltransaktioner och kunder i my_catalog.my_schema."
• "Förklara varje steg i den här pipelinen."
• "Åtgärda felet i den här pipelinen."

Ytterligare resurser

• Läs mer om databricks AI-hjälpmedelsfunktioner
• Få tips på tips för att förbättra Genie Code-svar
• Använd Genie Code för datavetenskap för dataupptäckning och utforskning
• Använda Genie Code för instrumentpanelsredigering
• Utforska Lakeflow Pipelines-redigeraren