Vad är OpenSharing Databricks-to-Databricks-protokollet?

Den här sidan ger en översikt över hur du använder Databricks-till-Databricks OpenSharing för att dela data på ett säkert sätt med alla Databricks-användare, oavsett konto eller molnvärd, så länge användaren har åtkomst till en arbetsyta som är aktiverad för Unity Catalog.

Vem ska använda Databricks-to-Databricks OpenSharing?

Det finns tre sätt att dela data med hjälp av OpenSharing.

1. Databricks-till-Databricks-delningsprotokollet, som beskrivs i den här artikeln, kan du dela data från din Unity Catalog-aktiverade arbetsyta med användare som också har åtkomst till en Unity Catalog-aktiverad Databricks-arbetsyta.

   Den här metoden använder OpenSharing-servern som är inbyggd i Azure Databricks och ger stöd för delning av notebook-filer, Datastyrning i Unity Catalog, granskning och användningsspårning för både leverantörer och mottagare. Integreringen med Unity Catalog förenklar konfigurationen och styrningen för både leverantörer och mottagare och förbättrar prestandan.

2. Med delningsprotokollet Databricks-to-Open kan du dela data som du hanterar på en Unity Catalog-aktiverad Databricks-arbetsyta med användare på alla databehandlingsplattformar.

   Se Vad är delningsprotokollet OpenSharing Databricks-to-Open?.

3. Med en kundhanterad implementering av OpenSharing-servern med öppen källkod kan du dela från valfri plattform till valfri plattform, oavsett om det är Databricks eller inte.

   Se projektet open-source.

En introduktion till OpenSharing och mer information om dessa tre metoder finns i Vad är OpenSharing?.

Databricks-till-Databricks OpenSharing-arbetsflöde

Det här avsnittet innehåller en översikt på hög nivå över databricks-till-Databricks-delningsarbetsflödet, med länkar till detaljerad dokumentation för varje steg.

I Databricks-to-Databricks OpenSharing-modellen:

1. En mottagare ger en dataleverantör den unika delningsidentifieraren för metaarkivet i Databricks Unity Catalog som är kopplat till Databricks-arbetsytan som mottagaren (som representerar en användare eller grupp av användare) använder för att få tillgång till de data som delas av dataleverantören.

   Mer information finns i Steg 1: Begär mottagarens delningsidentifierare.

2. Dataprovidern skapar en andel i leverantörens Unity Catalog-metaarkiv. Det här namngivna objektet innehåller en samling tabeller, vyer, volymer och notebook-filer som registrerats i metaarkivet.

   Mer information finns i Skapa resurser för OpenSharing.

3. Dataprovidern skapar ett mottagarobjekt i providerns Unity Catalog-metaarkiv. Det här namngivna objektet representerar den användare eller grupp av användare som kommer åt data som ingår i resursen, tillsammans med delningsidentifieraren för Unity Catalog-metaarkivet som är kopplat till arbetsytan som användaren eller gruppen av användare kommer att använda för att komma åt resursen. Delningsidentifieraren är nyckelidentifieraren som aktiverar den säkra anslutningen.

   Mer information finns i Steg 2: Skapa mottagaren.

4. Dataleverantören ger mottagaren åtkomst till resursen.

   Mer information finns i Hantera åtkomst till OpenSharing-dataresurser (för leverantörer).

5. Delningen blir tillgänglig i mottagarens Databricks-arbetsyta, och mottagaren kan komma åt den via Catalog Explorer, Databricks CLI eller SQL-kommandon i en Azure Databricks-notebook eller frågeredigeraren i Databricks SQL.

   För att få åtkomst till tabeller, vyer, volymer och notebook-filer i en resurs måste en metaarkivadministratör eller privilegierad användare skapa en katalog från resursen. Sedan kan den användaren eller en annan användare som beviljas rätt behörighet ge andra användare åtkomst till katalogen och objekten i katalogen. Att bevilja behörigheter för delade kataloger och datatillgångar fungerar precis som med andra tillgångar som är registrerade i Unity Catalog, och den viktiga skillnaden är att användare endast kan beviljas läsåtkomst för objekt i kataloger som skapas från OpenSharing-resurser.

   Delade notebook-filer finns på katalognivå och alla användare med USE CATALOG behörighet i katalogen kan komma åt dem.

   Mer information finns i Läs data som delas via Databricks-to-Databricks OpenSharing (för mottagare).

Förbättra tabellläsningsprestanda med historikdelning

Databricks-till-Databricks-tabellresurser kan förbättra prestanda genom att aktivera historikdelning. Delningshistoriken förbättrar prestandan genom att utnyttja tillfälliga säkerhetsautentiseringsuppgifter från din molnlagring, som är begränsad till rotkatalogen i providerns delade Delta-tabell, vilket resulterar i prestanda som är jämförbar med direkt åtkomst till källtabeller.

• För nya tabellresurser anger du WITH HISTORY när du skapar tabellresursen. Se Lägg till tabeller i en delning. När du delar en tabell med beräkning på Databricks Runtime 16.2 och senare är WITH HISTORY standardvärdet.
• För befintliga tabellandelar måste du ändra andelen för att möjliggöra delning av tabellhistorik. Se Uppdatering aktier. När du delar en tabell med beräkning på Databricks Runtime 16.2 och senare är WITH HISTORY standardvärdet.

När du delar ett helt schema delas alla tabeller i schemat med historiken som standard.

Information om behörighetskrav för molntoken och överväganden för datasekretess finns i Behörighet för molntoken.

Databricks-till-Databricks-stödmatris för Open Sharing i molnmiljöer

Databricks-to-Databricks OpenSharing stöder delning inom samma miljötyp. Kommersiella moln omfattar arbetsytor med efterlevnadskontroller aktiverade, till exempel FedRAMP Moderate. Delning med Azure Government miljöer stöds inte.

I den här matrisen representerar varje rad providermiljön (metaarkivets delningsdata) och varje kolumn representerar mottagarmiljön (metaarkivet som tar emot delade data).

Limitations

Följande begränsningar gäller för delning av domäner mellan regler:

• Cloud-token används såvida inte en delning flyttas in i eller ut ur AWS GovCloud eller AWS GovCloud DoD. I följande fall delas tabeller med försignerade URL:er i stället:
  • Ett kommersiellt moln delar till eller tar emot resurser från antingen AWS GovCloud eller AWS GovCloud DoD.
  • AWS GovCloud och AWS GovCloud DoD delar med varandra.