Wat is OneLake?

Microsoft OneLake is een geïntegreerde data lake voor uw hele organisatie. Elke Microsoft Fabric tenant bevat automatisch OneLake en het is de enige plaats voor al uw analysegegevens. Het is een centrale opslagplaats waar u al uw gegevens voor analyses en AI-workloads in de hele organisatie kunt opslaan, beheren en beheren.

OneLake is gebouwd op Azure Data Lake Storage en slaat tabellen op in Delta Parquet- of Iceberg-indeling, twee open standaarden die elk hulpprogramma kan lezen. Deze aanpak betekent dat uw gegevens niet vastzitten aan propriëtaire formaten.

OneLake biedt:

  • Geïntegreerde gegevensopslag voor de hele organisatie met ingebouwde governance en beveiliging
  • Eén kopie van gegevens die moeten worden gebruikt met meerdere analytische engines zonder duplicatie
  • Flexibele connectiviteit via verkenner, ADLS Gen2-API's en Azure service-integraties
  • Gegevensbescherming en -bewaking met ingebouwde redundantie, herstel na noodgevallen en diagnostische gegevens over toegang

Geïntegreerde gegevensopslag

Vóór OneLake hebben organisaties vaak meerdere meren gemaakt voor verschillende bedrijfsgroepen, wat leidde tot extra overhead voor het beheren van meerdere resources. Deze silo-benadering maakte het moeilijk om samen te werken tussen teams, vertraagde gegevensprojecten en verhoogde het risico op duplicatie.

OneLake lost deze uitdagingen op door u een centraal gegevenstoegangspunt te geven voor de hele organisatie. Elke Fabric-tenant wordt geleverd met één OneLake-exemplaar. U kunt OneLake niet verwijderen of meerdere OneLakes maken en er is geen infrastructuur om in te richten of te beheren. Afdelingen, teams en projecten kunnen hun gegevens opslaan of er verbinding mee maken in deze unified lake en deze organiseren met behulp van Fabric domeinen, subdomeinen en werkruimten, elk met hun eigen beheerder. Dit model behoudt het eigendom van gegevens en maakt federatieve governance mogelijk, terwijl geautoriseerde gebruikers gegevens zonder wrijving kunnen detecteren en gebruiken.

Centraal beheerd met gedistribueerd eigendom

Fabric gegevens bestaan in de volgende hiërarchie voor organisatie en governance:

  • Tenant: beleidsregels op tenantniveau beschermen automatisch alle gegevens die in OneLake terechtkomen voor beveiliging, naleving en gegevensbeheer.
  • Werkruimte: U kunt een willekeurig aantal werkruimten in uw tenant maken om uw gegevens te ordenen. Met werkruimten kunnen verschillende onderdelen van de organisatie eigendom en toegangsbeleid distribueren. Elke werkruimte maakt deel uit van een capaciteit die is gekoppeld aan een specifieke regio en afzonderlijk wordt gefactureerd.
  • Data-items: Werkruimten bevatten data-items zoals lakehouses, warehouses, eventhouses en KQL-databases. Elk itemtype is speciaal ontworpen voor specifieke workloads, zoals op Spark gebaseerde analyses, T-SQL-query's, realtime streaming en meer.

Diagram met de functie en structuur van OneLake.

Zie Werkruimten voor meer informatie.

Ontdekken en beheren met de OneLake-catalogus

De OneLake-catalogus is de centrale plek waar dataprofessionals en businessgebruikers de gegevens die zij bezitten en waartoe zij in heel OneLake toegang hebben, kunnen ontdekken, beheren en besturen.

Gebruikers kunnen filteren op domein, werkruimte, itemtype, goedkeuringen en meer om precies te vinden wat ze nodig hebben, waarbij elk gegevensitem verrijkt is met metagegevens zoals beschrijvingen, eigenaren, schema, herkomst en gebruiksgegevens.

Eigenaren van gegevens kunnen inzichten en aanbevolen acties krijgen om de kwaliteit en naleving van gegevens te verbeteren, waaronder inzicht in vertrouwelijkheidslabeldekking, taggen, goedkeuringen en gegevenslocatie.

Zie de OneLake-catalogus voor meer informatie.

Security

Met het beveiligingsmodel van OneLake kunt u gegevens breed delen zonder gevoelige informatie bloot te leggen. Met behulp van OneLake-beveiligingsrollen kunt u gedetailleerde machtigingen definiëren voor gegevensitems, omlaag naar specifieke mappen, tabellen of zelfs rijen en kolommen. U kunt bijvoorbeeld een verkoopgegevensset delen met een team, maar de toegang tot de Cost kolom beperken, of u kunt toestaan dat een partner alleen rijen ziet waar Region = "US". OneLake slaat deze rollen op en dwingt deze automatisch af in alle analyseomgevingen. Als een gebruiker dus alleen toegang heeft tot een deel van een gegevensset, is die regel van toepassing of ze query's uitvoeren via SQL, een Spark-notebook uitvoeren of een Power BI rapport weergeven. OneLake zorgt ervoor dat ze alleen zien wat ze mogen zien.

Deze uniforme benadering van beveiliging betekent dat gebruikers geen afzonderlijke machtigingen hoeven te onderhouden voor verschillende engines. Dit betekent ook dat de oorspronkelijke gegevenseigenaren altijd controle houden over wie toegang heeft tot de gegevensbron, zelfs als de gegevens worden doorgegeven aan een lakehouse of werkruimte die eigendom is van iemand anders.

U kunt vertrouwelijkheidslabels toepassen op OneLake-items, net zoals in een document, en deze labels dwingen versleuteling of toegangsbeperkingen af, zelfs als de gegevens worden geëxporteerd naar Excel of een ander hulpprogramma. Op dezelfde manier kan beleid voor preventie van gegevensverlies (DLP) gevoelige uploads of downloads van OneLake detecteren en potentiële gegevenslekken voorkomen of waarschuwen.

Zie Aan de slag met het beveiligen van uw gegevens in OneLake voor meer informatie.

Eén kopie van gegevens

Alle Fabric analyse-engines werken rechtstreeks met gegevens in OneLake. U hoeft geen gegevens te kopiëren om deze te gebruiken met een andere engine of gegevens uit meerdere bronnen te analyseren.

Snelkoppelingen

Een snelkoppeling is een verwijzing naar gegevens die zijn opgeslagen op andere bestandslocaties. Deze bestandslocaties kunnen zich in dezelfde werkruimte bevinden, een andere werkruimte in OneLake of buiten OneLake. U kunt sneltoetsen gebruiken voor OneLake, Azure Data Lake Storage, Azure Blob Storage, amazon S3- en S3-compatibele bronnen, IJsberg-compatibele bronnen, Microsoft Dataverse, on-premises bronnen en meer. Snelkoppelingen maken bestanden en mappen, ongeacht de locatie, alsof ze lokaal zijn opgeslagen.

Met snelkoppelingen kan uw organisatie gegevens in clouds en domeinen samenvoegen zonder deze te kopiëren. Teams kan onafhankelijk werken in afzonderlijke werkruimten en snelkoppelingen gebruiken om gegevens met elkaar te delen in plaats van deze te dupliceren. Eén team kan bijvoorbeeld een snelkoppeling maken naar een gegevensset in de werkruimte van een ander team of naar een externe S3-bucket en die gegevens vervolgens combineren met hun eigen gegevens in OneLake. De snelkoppeling verwijst naar de bron, dus wanneer de brongegevens worden bijgewerkt, zijn deze wijzigingen onmiddellijk zichtbaar via OneLake. Op deze manier kunt u virtuele producten of weergaven maken die gegevens uit meerdere bedrijfsgroepen samenbrengen om aan een specifieke behoefte te voldoen, zonder de gegevens te verplaatsen of te dupliceren. Met behulp van snelkoppelingstransformaties kunt u zelfs automatische wijzigingen toepassen op de gegevens, zoals het converteren van de gegevensindeling of het verwijderen van persoonlijk identificeerbare informatie (PII).

Diagram waarin wordt getoond hoe snelkoppelingen gegevens verbinden tussen werkruimten en items.

Bekijk OneLake-snelkoppelingen voor meer informatie over het gebruik van snelkoppelingen.

Spiegeling

Spiegelen in Fabric is een oplossing met lage latentie die continu gegevens van verschillende systemen naar OneLake repliceert. U kunt veilig verbinding maken met een externe gegevensbron en geselecteerde databases of tabellen automatisch spiegelen (kopiëren) naar de open indeling van OneLake, zodat deze in nagenoeg realtime gesynchroniseerd blijven. De gespiegelde gegevens worden opgeslagen als Delta Parquet in OneLake, zodat deze direct klaar zijn voor analyse door elke Fabric engine.

Mirroring ondersteunt bronnen zoals Azure SQL Database, Azure Cosmos DB, Azure Database for PostgreSQL, Azure Databricks (Unity Catalog), Snowflake en meer. Wijzigingen in de bron worden continu doorgegeven, zodat uw OneLake-kopie up-to-date blijft zonder handmatige ETL-taken. U kunt analyses, AI of Power BI rapporten uitvoeren op nieuwe gegevens zonder rechtstreeks een query uit te voeren op de productiebron.

Zie Wat is spiegeling in Fabric? voor meer informatie.

Samenwerken in meerdere analytische engines

De analytische engines van Fabric (T-SQL, Apache Spark, Analysis Services en andere) slaan allemaal gegevens op in OneLake in het open Delta Parquet-formaat. Met deze standaardisatie kunt u dezelfde gegevens in meerdere engines gebruiken. U hoeft geen gegevens alleen te kopiëren om deze te gebruiken met een andere engine of als u vastloopt met het gebruik van een bepaalde engine, omdat daar uw gegevens zich bevinden.

Een team van SQL-engineers bouwt bijvoorbeeld een volledig transactioneel datawarehouse. Ze gebruiken de T-SQL-engine om tabellen te maken, gegevens te transformeren en de gegevens in tabellen te laden. Als een data scientist deze gegevens wil gebruiken, kan deze een Spark-notebook koppelen aan OneLake en deze tabellen rechtstreeks lezen. Omdat OneLake de tabellen in Delta-formaat opslaat, kan Spark ze laden zonder speciale connectors of data-export. Zowel de SQL-query's als de Spark-taken werken op de ene kopie van de gegevens in OneLake.

Daarnaast kunnen zakelijke gebruikers Power BI rapporten maken boven op OneLake met behulp van de Direct Lake-modus in de Analysis Services-engine. Direct Lake-modus is een modus voor gegevenstoegang waarmee grote hoeveelheden gegevens snel worden geladen en vernieuwd zonder een kopie te maken. Zie Direct Lake-overzicht voor meer informatie.

Voorbeelddiagram van het laden van gegevens met Spark, het uitvoeren van query's met behulp van T-SQL en het weergeven van de gegevens in een Power BI-rapport.

Interoperabiliteit van tabelindeling openen

OneLake ondersteunt zowel Delta Lake- als Apache Iceberg-tabelindelingen via metagegevensvirtualisatie. Met deze functie worden automatisch virtuele metagegevens gegenereerd, zodat Iceberg-tabellen kunnen worden gelezen als Delta Lake-tabellen in Fabric workloads en Delta Lake-tabellen kunnen worden gelezen door externe Iceberg-lezers. U kunt Iceberg-tabellen rechtstreeks naar OneLake schrijven of snelkoppelingen maken naar Iceberg-tabellen die extern zijn opgeslagen, en OneLake maakt ze beschikbaar voor alle Fabric engines zonder handmatige conversie. Op dezelfde manier kan elke Delta Lake-tabel in OneLake worden benaderd door Iceberg-compatibele services zoals Snowflake.

Zie Iceberg-tabellen gebruiken met OneLake voor meer informatie.

Verbinding maken met OneLake

U kunt toegang krijgen tot OneLake-gegevens vanuit de Fabric-portal, Windows, bestaande Azure-hulpprogramma's of toepassingen die ONDERSTEUNING bieden voor ADLS Gen2-API's.

OneLake-bestandsverkenner voor Windows

U kunt OneLake-gegevens uit Windows verkennen met behulp van de Bestandenverkenner van OneLake voor Windows. U kunt door al uw werkruimten en gegevensitems navigeren, eenvoudig bestanden uploaden, downloaden of wijzigen, net zoals in Office. De OneLake-bestandenverkenner vereenvoudigt het werken met data lakes, dus zelfs niet-technische zakelijke gebruikers kunnen ze gebruiken.

Zie OneLake-verkenner voor meer informatie.

ADLS Gen2 API's en SDK's

OneLake ondersteunt Azure Data Lake Storage (ADLS) Gen2-API's en SDK's, zodat u bestaande ADLS Gen2-toepassingen kunt gebruiken. Elke werkruimte wordt weergegeven als een container en gegevensitems worden weergegeven als mappen in die containers. Zie OneLake-toegang en API's voor meer informatie.

Diagram waarin wordt getoond hoe u toegang hebt tot OneLake-gegevens met API's en SDK's.

Omdat OneLake compatibel is met ADLS Gen2-toepassingen, kunt u vanuit Azure services verbinding maken met OneLake. Voorbeeld:

Gegevensbescherming en -bewaking

OneLake bevat ingebouwde mogelijkheden om uw gegevens veilig te houden en u inzicht te geven in hoe deze worden gebruikt.

Herstel na noodgevallen en gegevensbeveiliging

OneLake beveiligt uw gegevens automatisch met ingebouwde redundantie. In regio's die beschikbaarheidszones ondersteunen, maakt OneLake gebruik van zone-redundante opslag (ZRS) om gegevens in meerdere datacenters te repliceren. In andere regio's wordt lokaal redundante opslag (LRS) gebruikt. Voor extra beveiliging tegen storingen in de hele regio kunt u BCDR (bedrijfscontinuïteit en herstel na noodgevallen) inschakelen voor een capaciteit om uw gegevens te repliceren naar een gekoppelde Azure regio. OneLake biedt ook ondersteuning voor voorlopig verwijderen, waardoor verwijderde bestanden zeven dagen worden bewaard, zodat u kunt herstellen van onbedoelde verwijderingen.

Zie Herstel na noodgevallen en gegevensbeveiliging voor OneLake voor meer informatie.

Diagnostiek

Diagnostische gegevens van OneLake bieden inzicht in hoe gegevens worden geopend en gebruikt in uw Fabric-omgeving. Wanneer u diagnostiek inschakelt op werkruimteniveau, worden gebeurtenissen voor gegevenstoegang als logboeken naar een lakehouse doorgestuurd. U kunt bijhouden wie toegang heeft tot welke gegevens, wanneer en hoe. Deze logboekregistratie behandelt gebruikersacties in de gebruikersinterface van Fabric, programmatische toegang via API's en analyse-engines en toegang tussen werkruimten via snelkoppelingen.

Zie Diagnostische gegevens van OneLake voor meer informatie.

Gerelateerde inhoud

  • Last updated on