Få åtkomst till materialiserade vyer och strömmande tabeller med hjälp av externa system

Som standard är materialiserade vyer och strömmande tabeller inte tillgängliga för åtkomst från externa system. Azure Databricks innehåller två funktioner som gör att du kan göra dina datauppsättningar tillgängliga för Delta Lake- eller Iceberg-klienter:

  • Extern dataåtkomst (offentlig förhandsversion) – Om du aktiverar extern dataåtkomst för pipelinedatauppsättningar skapas en kopia av metadata för datauppsättningen som gör att klienter kan använda Unity Catalog- eller Iceberg REST-API:er, utan att kräva en fullständig datakopiering eller separat uppdateringsschema. Klienterna måste använda katalogens REST-API:er och måste ha stöd för antingen Delta 4.0.0 eller senare eller Iceberg v3-specifikationen.

    Mer information om extern dataåtkomst för pipelinedatauppsättningar finns i Aktivera extern dataåtkomst till strömmande tabeller och materialiserade vyer.

  • Kompatibilitetsläge (offentlig förhandsversion) – Om du aktiverar kompatibilitetsläge för en datauppsättning genereras en skrivskyddad version av dina data på en vald plats, som måste uppdateras när tabellerna uppdateras. Kompatibilitetsversionen innehåller v1-metadata för både Delta Lake- och Iceberg-format tillsammans med den skrivskyddade kopian av data, vilket ger åtkomst till ett bredare antal klienter (inklusive klienter som måste läsa tabelldata direkt, snarare än via ett API) på bekostnad av fördröjning av datauppdateringar och kostnader för datakopiering.

    Mer information om kompatibilitetsläget finns i Kompatibilitetsläge.

Om dina externa klienter stöder REST-API:er rekommenderar Azure Databricks att du använder extern dataåtkomst för att ge dessa klienter åtkomst till materialiserade vyer eller strömmande tabeller. Använd kompatibilitetsläge för ett bredare antal klienter, särskilt äldre klienter och andra hanterade Unity Catalog-tabeller.

Capability Åtkomst till externa data Kompatibilitetsläge
Datakopia Ingen datakopiering krävs. Datakopiering krävs.
Consistency Läs-efter-skriv-konsistens Externa klienter ser ändringar så snart de inträffar i datauppsättningen. Uppdateringar sker enligt ett schema. Som standard uppdateras kompatibilitetstabellen varje timme. Detta kan ställas in på att uppdateras omedelbart efter en ändring av källtabellen, men det fördröjs fortfarande av datakopieringstiden.
Åtkomst Kräver "modern" REST API-åtkomst. Stöder katalog-API:er för Delta 4.0.0 eller senare eller API:er för Iceberg v3-specifikationen (kräver stöd för borttagningsvektorer). Kompatibel med alla Delta Lake- eller Iceberg-klienter.
Objekt med en enda tabell Materialiserade vyer och strömmande tabeller visas som hanterade tabeller med samma namn som den ursprungliga datamängden för de externa klienterna. Kompatibilitetstabeller visas som en ny tabell på en ny plats för de externa klienterna.
Stöd för tabelltyp Har stöd för materialiserade vyer och streamingtabeller som hanteras av Lakeflow Spark Declarative Pipelines. Har stöd för materialiserade vyer och streamande tabeller, oavsett om de hanteras av Lakeflow Spark Declarative Pipelines eller är fristående, samt alla andra tabeller som hanteras av Unity Catalog.
Cost Kostnaden för att underhålla externa metadata är en del av uppdateringskostnaden för den materialiserade vyn eller strömningstabellen. Detta är vanligtvis under 1% av kostnaden och tiden för uppdateringen. Merparten av kostnaden för kompatibilitetsläget är kostnaden för att överföra äldre data till den nya platsen.

Ytterligare resurser

  • Last updated on