Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
ACZ (Analytics Consumption Zone) exporterar valda entitetsdata från Azure Data Manager for Energy till ditt Azure Data Lake Storage (ADLS) Gen2-konto. ACZ skriver Azure Data Manager for Energy-data i öppet Delta Parquet-format. Tjänster som Microsoft Fabric och Azure Databricks kan läsa det här formatet direkt.
Viktigt!
Analytics Consumption Zone är för närvarande i förhandsversion. Se Tilläggsvillkor för användning av Microsoft Azure-förhandsversioner för juridiska villkor som gäller för Azure-funktioner som är i beta, förhandsvisning eller på annat sätt ännu inte släppta för allmän tillgänglighet.
Note
Under förhandsversionen är ACZ endast tillgängligt på instanser på utvecklarnivå och kräver allowlisting. Följ riktlinjerna i Så här aktiverar du ACZ (Analytics Consumption Zone) och kontaktar din Microsoft representant.
Vad är ACZ?
ACZ är ett hanterat synkroniseringslager. Den exporterar entitetsdata från din Azure Data Manager for Energy-instans till ett ADLS Gen2-lagringskonto som du äger. Du kan sedan ansluta dessa data till analys-, rapporterings- och maskininlärningsverktyg.
Viktiga egenskaper för ACZ:
- Kundägd lagring: Data går till ett ADLS Gen2-lagringskonto som du skapar och hanterar. Du ansvarar för att välja ett lagringskonto för målplatsen inom samma geografiska område om du har krav på datalagringsplats.
- Öppet format: Dataexporter i Delta Parquet-format. Analysmotorer har brett stöd för det här formatet.
- Selective sync: Du väljer vilka entitetstyper som ska synkroniseras. Alternativen omfattar katalogtyper och DDMS-typer (Wellbore Domain Data Management Service).
- Historisk och inkrementell synkronisering: ACZ tar en första ögonblicksbild av befintliga data och synkroniserar sedan ändringar när de sker.
- API-driven: Du konfigurerar och hanterar ACZ helt och hållet via REST-API:er.
Arkitektur
Det här diagrammet visar ACZ-dataflödet:
Så här fungerar ACZ
Entitetstyper som stöds
ACZ synkroniserar två kategorier av Azure Data Manager för entitetstyper för energi:
| Kategori | Description | Exempeltyper |
|---|---|---|
| Katalogtyper | Primära data och referensdata från lagringstjänsten |
osdu:wks:master-data--Well:*, osdu:wks:reference-data--UnitOfMeasure:* |
| Typer av Wellbore DDMS | Entiteter från Wellbore Domain Data Management Service | osdu:wks:work-product-component--WellLog:* |
När du skapar en ACZ anger du vilka entitetstyper som ska synkroniseras genom att ange:
-
catalogKinds: En lista över mönster för katalogtyp (till exempel
osdu:wks:master-data--Well:*) -
wellboreDDMSKinds: En lista över Wellbore DDMS-typmönster (till exempel
osdu:wks:work-product-component--WellLog:*)
Dessa typmönster fungerar som filter som avgör vilka Azure Data Manager för energi registrerar ACZ-exporter och håller synkroniserade.
Versionstyper
När du skapar en ACZ väljer du hur du ska hantera entitetsversioner:
| Type | Description |
|---|---|
| LATEST_VERSION | Exporterar endast den senaste versionen av varje entitet. Standard och rekommenderad. |
| ALL_VERSIONS | Exporterar alla versioner av varje entitet. Behåller den fullständiga versionshistoriken. |
Livscykeltillstånd
Varje ACZ går igenom dessa tillstånd:
| Status | Description |
|---|---|
| AKTIVA | Operativa. ACZ synkroniserar ändringar stegvis. |
| misslyckades | Ett fel stoppade installationen eller synkroniseringen. |
| ACCESS_DENIED | ACZ kan inte nå mål-ADLS-lagringskontot. |
Historisk ögonblicksbild
När du skapar en ny ACZ tar tjänsten en historisk ögonblicksbild. Den här ögonblicksbilden exporterar alla befintliga poster som matchar de konfigurerade entitetstyperna (catalogKinds och wellboreDDMSKinds). Ögonblicksbilden går igenom följande tillstånd:
| Status | Description |
|---|---|
| BEARBETNING | Exporterar data aktivt. |
| KLAR | Alla historiska data som exporteras. |
| misslyckades | Ett fel inträffade. |
När ögonblicksbilden är klar växlar ACZ till inkrementellt läge. Den fångar upp nya och uppdaterade poster i nära realtid.
Så hanterar ACZ dataändringar
ACZ överför skapade, uppdaterade och borttagna poster från Azure Data Manager for Energy till Delta-tabellerna.
- Skapa och uppdatera: När du skapar en post eller ändrar dess datablock skapar Azure Data Manager for Energy en ny version. ACZ identifierar ändringen och skriver en ny rad till Delta-tabellen.
- Uppdateringar med endast metadata: En PATCH-åtgärd kan ändra åtkomstkontrollistan (ACL), Legal eller Tags utan att skapa en ny version. ACZ upptäcker den här ändringen och kör en merge-upsert på den befintliga raden.
-
Mjuk borttagning: När du utför mjuk borttagning av en post i Azure Data Manager för energi anger ACZ värdet
Falsei fältetisActivei raden i stället för att ta bort den. Mjuka borttagningar bevarar historiken för gransknings- och tidsresefrågor. - Rensningar: När du rensar bort en post i Azure Data Manager for Energy tar ACZ permanent bort posten från Delta-tabellen. Raden tas bort och kan inte återställas från ACZ-data.
Varning
ACZ är en envägs-, skrivskyddad synkronisering från Azure Data Manager for Energy till ADLS Gen2.
- Dataflöden endast från Azure Data Manager för energi till ADLS Gen2
- Ändra, ta inte bort eller lägg inte till filer direkt i ACZ-mapparna i ADLS Gen2
- Manuella ändringar av ACZ-data skadar synkroniseringen och orsakar datainkonsekvenser
- ACZ hanterar alla Delta Lake-åtgärder (transaktionsloggar, kontrollpunkter, komprimering)
För analys och rapportering ska du behandla de exporterade data som skrivskyddade. Alla dataändringar måste ske i Azure Data Manager for Energy.
Utdataformat
ACZ skriver data i Delta Lake-format med Parquet-kodade filer (DELTA_PARQUET). Delta Lake stöder ACID-transaktioner, time travel-funktionalitet och effektiv inkrementell läsning.
Mappstruktur för ADLS Gen2
ACZ organiserar data i ditt ADLS Gen2-lagringskonto efter mapp. Varje ACZ får en egen mapp under containern eller under bassökvägen om du har angett en. ACZ partitionerar katalogens Delta Lake-tabeller efter kategori. En mapp per entitetstyp i DDMS och post-ID.
Mapplayout
Viktig information
| Element | Description |
|---|---|
| Mapp på den översta nivån | Namnges under <acz-id> i behållaren, eller under <base-path> om det anges. En mapp per ACZ. |
osducatalog/ |
En Delta-tabell för alla katalogtyper. Partitionerad efter typ (till exempel kind=osdu:wks:master-data--Well:1.0.0). |
_delta_log/ |
Delta Lake-transaktionsloggen. Spårar alla tabelländringar för ACID-transaktioner och tidsresor. |
| DDMS-entitetsmappar | En mapp per DDMS-entitetstyp (till exempel work-product-component--WellLog). Innehåller DDMS-specifika Parquet-filer indelade efter entitetstyp och post-ID. |
| Parquet-filer | Snabbkomprimerade datafiler. Uppdateringar skapar nya filer. ACZ kör VACUUM och OPTIMIZE för att komprimera små filer och ta bort gamla. |
Deltatabellschema
Delta-tabellen innehåller följande fält:
| Fält | Type | Description |
|---|---|---|
id |
String | OSDU®-post-ID. |
version |
String | Versionsnummer. |
kind |
String | Fullständigt kvalificerad OSDU-typ®. |
data |
String | Datablock (JSON). |
meta |
String | Metadata (JSON). |
acl |
String | Åtkomstkontrollista. |
legal |
String | Juridiska taggar. |
tags |
String | Användardefinierade taggar. |
createUser |
String | Användaren som skapade posten. |
createTime |
Tidsstämpel | När posten skapades |
ingestTime |
Tidsstämpel | När ACZ importerade posten |
isActive |
Boolean |
True om den är aktiv.
False om mjuk borttagning. |
Note
Wellbore DDMS-entiteter har också fileDownloadTime, fileDownloadState och fileDownloadFolder fält för spårning av filer.
Gränser och åtkomst
Förhandsgranskningsgränser
| Begränsning | Gräns |
|---|---|
| Maximalt antal ACZ per datapartition | Three |
| Unika ACZ-namn | Måste vara unikt inom en datapartition |
| Målformat | Delta Parquet endast |
| Lagringstyp | Endast ADLS Gen2 |
| Stöd för instansnivå | Utvecklarnivå endast under förhandsversion |
Autentisering och auktorisering
ACZ kräver:
-
API-åtkomst: Du måste tillhöra
users@{data-partition-id}.dataservices.energygruppen för att anropa ACZ-API:er. - Lagringsåtkomst: Den hanterade identiteten behöver rollen Storage Blob Data Contributor (eller motsvarande) i ADLS Gen2-containern. Under förhandsversionen delar du identitetsinformationen med Microsoft för att lägga till identiteten i listan över tillåtna.
- Azure Data Manager för energiåtkomst: Den hanterade identiteten måste tilldelas till resursen Azure Data Manager för energi.