Wat zijn gerealiseerde uitzichten op het meer in Microsoft Fabric?

Een gematerialiseerde lake-weergave in Fabric is een opgeslagen weergave die automatisch wordt vernieuwd en is gedefinieerd in Spark SQL of PySpark. Het vereenvoudigt Lakehouse-transformaties in meerdere fasen — doorgaans de bronzen-naar-zilver-naar-gouden medaillonarchitectuur — door ze uit te drukken als declaratieve definities in plaats van aangepaste Spark-jobs. Eenmaal gerealiseerd, gedraagt een MLV zich als een standaard Lakehouse-tabel in termen van opslag, toegangspatronen en beveiliging. U kunt query's uitvoeren via elke Fabric-engine met dezelfde machtigingen en hetzelfde governancemodel. Fabric houdt afhankelijkheden tussen MLV's bij, organiseert vernieuwingen in de juiste volgorde en dwingt beperkingen van de gegevenskwaliteit af in elke fase. Hierdoor kunnen data engineers betrouwbare, onderhoudbare pijplijnen bouwen met minder code en operationele overhead.

Wanneer u gematerialiseerde datalake-weergaven gebruikt

Gerealiseerde uitzichten op het meer zijn een goede keuze wanneer u het volgende hebt:

• Veelgebruikte aggregaties (dagelijkse verkooptotalen, maandelijkse metrische gegevens) waarbij vooraf berekende resultaten de prestaties verbeteren ten opzichte van het herhaaldelijk uitvoeren van dure query's
• Complexe joins in meerdere grote tabellen die vaak worden opgevraagd en consistente resultaten nodig hebben voor alle consumenten
• Transformaties van gegevenskwaliteit die uniform moeten worden toegepast, met regels die declaratief zijn gedefinieerd in plaats van in aangepaste code
• Rapportagedatasets die gegevens uit meerdere bronnen combineren en profiteren van automatische vernieuwing wanneer brongegevens worden gewijzigd
• Medallion-architectuur waarbij je transformaties van brons → zilver → goud in SQL moet definiëren

Gerealiseerde lakeweergaven zijn niet de juiste keuze voor elk scenario. Overweeg alternatieven wanneer u het volgende hebt:

• Eenmalige of zelden geopende query's die niet profiteren van vooraf samengestelde resultaten
• On-SQL-logica zoals ML-deductie, API-aanroepen of complexe Python verwerking: gebruik in plaats daarvan Spark-notebooks
• Streaminggegevens met een hoge frequentie waarvoor subseconde-updates zijn vereist. Overweeg in plaats daarvan Real-Time Intelligence

Aan de slag met gematerialiseerde meerweergaven

Zie Aan de slag met gematerialiseerde Lake-weergaven om in Microsoft Fabric een gematerialiseerde Lake-weergave te maken. Zie Tutorial: Build a medallion architecture with materialized lake views (Een medallion-architectuur bouwen met geëmaterialiseerde meerweergaven) voor een volledig overzicht van de medallion-architectuur.

Hoe werken gerealiseerde lakeweergaven?

Gerealiseerde lake-weergaven maken gebruik van declaratieve benadering: Schrijf een SQL-query om de transformatie te definiëren en laat Fabric uitvoering, opslag en vernieuwing verwerken. Het resultaat wordt behouden als een Delta-tabel in uw lakehouse, zodat de downstreamgebruikers deze rechtstreeks kunnen doorzoeken zonder de transformatie opnieuw uit te voeren.

De levenscyclus van een gematerialiseerde lakeview volgt vier fasen.

• Maken: Een SQL-query schrijven waarmee uw transformatie wordt gedefinieerd. Fabric slaat de definitie op en materialiseert de resultaten als een Delta-tabel.
• Refresh: wanneer brongegevens worden gewijzigd, bepaalt Fabric de optimale vernieuwingsstrategie ( alleen nieuwe of gewijzigde gegevens verwerken), volledig (volledig opnieuw opbouwen) of overslaan (geen wijzigingen gedetecteerd).
• Query: Toepassingen en rapporten voeren een query uit op de gerealiseerde Lake-weergave, net als elke andere Delta-tabel, zonder dat u zich bewust bent van de onderliggende transformatielogica.
• Monitor: Vernieuwingsgeschiedenis, uitvoeringsstatus, metrische gegevens over gegevenskwaliteit en afhankelijkheidsherkomst bijhouden via ingebouwde Fabric-hulpprogramma's.

Auteur opties

Gerealiseerde lake-weergaven ondersteunen twee ontwerpmethoden:

• SQL-creatie: Definieer weergaven met behulp van standaard SQL CREATE MATERIALIZED LAKE VIEW-instructies rechtstreeks in de Fabric Lakehouse-editor.

• PySpark-schrijven (preview): Maak, vernieuw en vervang weergaven van de Fabric-notebooks met behulp van DataFrameWriter. Ondersteuning voor door PySpark geschreven weergaven:

  • Beperkingen voor gegevenskwaliteit
  • Tabeleigenschappen
  • Geplande vernieuwingen

  Opmerking

  PySpark geschreven weergaven voeren momenteel alleen een volledige verversing uit.

Belangrijkste mogelijkheden

Gematerialiseerde lake-weergaven bevatten ingebouwde functies die de operationele complexiteit verwerken die u anders in notebooks en pijplijnen zou beheren.

Optimalisatie van automatische vernieuwing

Fabric bepaalt automatisch wanneer en hoe materialized lake views worden vernieuwd. Een beslissingsengine selecteert de meest efficiënte vernieuwingsstrategie en wijzigingen in brongegevens worden standaard gedetecteerd via wijzigingenfeed:

• Incrementeel vernieuwen: alleen nieuwe of gewijzigde gegevens verwerken
• Volledig vernieuwen: herbouwt de volledige gematerialiseerde lake-view wanneer nodig
• Vernieuwen overslaan: er is geen vernieuwing nodig wanneer de brongegevens niet zijn gewijzigd

Optimale vernieuwing ondersteunt een reeks algemene querypatronen, waaronder:

• Aggregaties met GROUP BY
• Left outer- en semijoins
• Algemene tabelexpressies (CTE's)

Ingebouwde gegevenskwaliteit

Gegematerialiseerde lake-weergaven faciliteren declaratieve gegevenskwaliteitsregels. Definieer beperkingen rechtstreeks in uw SQL en geef op hoe schendingen moeten worden afgehandeld:

CONSTRAINT valid_sales CHECK (sales_amount > 0) ON MISMATCH DROP

Beheer van afhankelijkheden

Wanneer gerealiseerde lake-weergaven verwijzen naar andere gerealiseerde lakeweergaven of -tabellen, detecteert Fabric deze relaties automatisch en beheert de uitvoeringsvolgorde voor u.

• Visualiseren hoe uw gerealiseerde lakeweergaven afhankelijk zijn van elkaar
• Volgorde van automatische vernieuwing op basis van afhankelijkheden
• Verwerking volgt de afhankelijkheidsketen om gegevensconsistentie te garanderen

Bewaking en inzichten

Fabric biedt ingebouwde tools voor het volgen van de status en prestaties van uw gematerialiseerde lake-views.

• Bijhouden van vernieuwingsprestaties en uitvoeringsstatus voor elke gematerialiseerde lake view
• Gegevenskwaliteitsmeetsystemen en schendingen weergeven in afstamming
• Taakexemplaren en vernieuwingsgeschiedenis monitoren

Beveiliging

Fabric gematerialiseerde lake views volgen dezelfde beveiligings- en governancemaatregelen als Lakehouse-tabellen. U kunt MLV's ook gebruiken in lakehouses met Private Link ingeschakeld. Lees meer over private link in Fabric op Security.

Verwante inhoud

• Aan de slag met gematerialiseerde lake-weergaven
• Spark SQL-referentie voor gematerialiseerde lake weergaven
• Bewaken van gematerialiseerde meeruitzichten
• Gerealiseerde lake views openbare API