Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
ACZ (Analytics Consumption Zone) exporteert geselecteerde entiteitsgegevens uit Azure Data Manager for Energy naar uw ADLS Gen2-account (Azure Data Lake Storage). ACZ schrijft Azure Data Manager for Energy-gegevens in open Delta Parquet-indeling. Services zoals Microsoft Fabric en Azure Databricks kunnen deze indeling rechtstreeks lezen.
Important
De verbruikszone voor analyse is momenteel beschikbaar als preview-versie. Zie de Aanvullende Gebruiksvoorwaarden voor Microsoft Azure Previews voor juridische voorwaarden die van toepassing zijn op Azure-functies die in bèta, preview, of anderszins nog niet algemeen beschikbaar zijn.
Note
Tijdens de preview is ACZ alleen beschikbaar op Developer Tier-instanties en is plaatsing op een toelatingslijst vereist. Volg de richtlijnen in Hoe u de ACZ (Analytics Consumption Zone) inschakelt en neem contact op met uw Microsoft vertegenwoordiger.
Wat is ACZ?
ACZ is een beheerde synchronisatielaag. Het exporteert entiteitsgegevens uit uw Azure Data Manager for Energy-exemplaar naar een ADLS Gen2-opslagaccount dat u bezit. Vervolgens kunt u die gegevens verbinden met analyse-, rapportage- en machine learning-hulpprogramma's.
Belangrijkste kenmerken van ACZ:
- Opslag in eigendom van de klant: gegevens gaan naar een ADLS Gen2-opslagaccount dat u maakt en beheert. U bent verantwoordelijk voor het selecteren van een opslagaccount voor in-geo-bestemmingen als u vereisten voor gegevenslocatie hebt.
- Open formaat: Gegevensexport in Delta Parquet-formaat. Analyse-engines ondersteunen deze indeling op grote schaal.
- Selectieve synchronisatie: U kiest welke entiteitstypen moeten worden gesynchroniseerd. Opties zijn catalogustypen en Wellbore Domain Gegevensbeheer Service -typen (DDMS).
- Historische en incrementele synchronisatie: ACZ maakt een eerste momentopname van bestaande gegevens en synchroniseert vervolgens wijzigingen wanneer ze optreden.
- API-gestuurd: U configureert en beheert ACZ volledig via REST API's.
Architectuur
In dit diagram ziet u de ACZ-gegevensstroom:
Hoe ACZ werkt
Ondersteunde entiteitstypen
ACZ synchroniseert twee categorieën van Azure Data Manager for Energy entity types:
| Categorie | Description | Voorbeeldtypen |
|---|---|---|
| Catalogustypen | Primaire gegevens en referentiegegevens uit de Storage-service |
osdu:wks:master-data--Well:*, osdu:wks:reference-data--UnitOfMeasure:* |
| Wellbore DDMS-soorten | Entiteiten uit de Gegevensbeheer Service voor het Wellbore-domein | osdu:wks:work-product-component--WellLog:* |
Wanneer u een ACZ maakt, geeft u op welke entiteitstypen moeten worden gesynchroniseerd door het volgende op te geven:
-
catalogKinds: Een lijst met catalogussoortpatronen (bijvoorbeeld
osdu:wks:master-data--Well:*) -
wellboreDDMSKinds: Een lijst met Wellbore DDMS-kindpatronen (bijvoorbeeld
osdu:wks:work-product-component--WellLog:*)
Dit soort patronen fungeren als filters die bepalen welke Azure Data Manager for Energy-records ACZ exporteert en gesynchroniseerd houdt.
Versietypen
Wanneer u een ACZ maakt, kiest u hoe entiteitsversies moeten worden verwerkt:
| Type | Description |
|---|---|
| LATEST_VERSION | Hiermee exporteert u alleen de nieuwste versie van elke entiteit. Standaard en aanbevolen. |
| ALL_VERSIONS | Hiermee exporteert u alle versies van elke entiteit. Houdt de volledige versiegeschiedenis bij. |
Levenscyclusstatussen
Elke ACZ doorloopt deze toestanden:
| Status | Description |
|---|---|
| ACTIEVE | Operationeel. ACZ synchroniseert wijzigingen incrementeel. |
| MISLUKTe | Een fout heeft de installatie of synchronisatie gestopt. |
| ACCESS_DENIED | ACZ kan het ADLS-doelopslagaccount niet bereiken. |
Momentopname uit het verleden
Wanneer u een nieuwe ACZ maakt, maakt de service een historische momentopname. Met deze momentopname worden alle bestaande records geëxporteerd die overeenkomen met de geconfigureerde entiteitstypen (catalogKinds en wellboreDDMSKinds). De momentopname doorloopt de volgende statussen:
| Status | Description |
|---|---|
| VERWERKING | Gegevens actief exporteren. |
| VOLBRACHT | Alle historische gegevens die zijn geëxporteerd. |
| MISLUKTe | Er is een fout opgetreden. |
Nadat de momentopname is voltooid, schakelt ACZ over naar de incrementele modus. Hiermee worden nieuwe en bijgewerkte records in bijna realtime vastgelegd.
Hoe ACZ gegevenswijzigingen verwerkt
ACZ geeft aangemaakte, bijgewerkte en verwijderde records vanuit Azure Data Manager for Energy door naar de Delta-tabellen.
- Creations and updates: Wanneer u een record maakt of het gegevensblok wijzigt, maakt Azure Data Manager for Energy een nieuwe versie. ACZ detecteert de wijziging en schrijft een nieuwe rij naar de Delta-tabel.
- Updates voor alleen metagegevens: een PATCH-bewerking kan de toegangsbeheerlijst (ACL), Legal of Tags wijzigen zonder een nieuwe versie te maken. ACZ detecteert deze wijziging en voert een merge-upsert uit op de bestaande rij.
-
Logisch verwijderen: Wanneer u een record in Azure Data Manager for Energy logisch verwijdert, stelt ACZ in de rij het veld
isActivein opFalsein plaats van het record te verwijderen. Voorlopig verwijderen behoudt de geschiedenis voor controle- en tijdreizenquery's. - Purges: Wanneer u een record opschoont in Azure Data Manager for Energy, verwijdert ACZ de record definitief uit de Delta-tabel. De rij wordt verwijderd en kan niet worden hersteld uit de ACZ-gegevens.
Warning
ACZ is een eenrichtingssynchronisatie met alleen-lezen-toegang van Azure Data Manager for Energy naar ADLS Gen2.
- Gegevensstromen alleen van Azure Data Manager voor Energie naar ADLS Gen2
- Bestanden niet rechtstreeks wijzigen, verwijderen of toevoegen in de ACZ-mappen in ADLS Gen2
- Handmatige wijzigingen in ACZ-gegevens beschadigen de synchronisatie en veroorzaken inconsistenties van gegevens
- ACZ beheert alle Delta Lake-bewerkingen (transactielogboeken, controlepunten, compressie)
Voor analyses en rapportage, beschouw de geëxporteerde gegevens als alleen-lezen. Alle gegevenswijzigingen moeten plaatsvinden in Azure Data Manager voor Energie.
Indeling van gegevensuitvoer
ACZ schrijft gegevens in Delta Lake-indeling met Parquet-gecodeerde bestanden (DELTA_PARQUET). Delta Lake ondersteunt ACID-transacties, tijdreizen en efficiënte incrementele leesbewerkingen.
ADLS Gen2-mappenstructuur
ACZ organiseert gegevens in uw ADLS Gen2-opslagaccount per map. Elke ACZ krijgt een eigen map onder de container of onder het basispad als u er een hebt opgegeven. ACZ deelt Delta Lake-catalogustabellen op type in. Eén map per DDMS-entiteitstype en record-id.
Mapindeling
Belangrijkste gegevens
| Element | Description |
|---|---|
| Map op het hoogste niveau | Met de naam <acz-id> onder de container, of onder <base-path> indien opgegeven. Eén map per ACZ. |
osducatalog/ |
Eén Delta-tabel voor alle catalogustypen. Gepartitioneerd op soort (bijvoorbeeld kind=osdu:wks:master-data--Well:1.0.0). |
_delta_log/ |
Het Delta Lake-transactielogboek. Houdt alle tabelwijzigingen bij voor ACID-transacties en tijdreizen. |
| DDMS-entiteitsmappen | Eén map per DDMS-entiteitstype (bijvoorbeeld work-product-component--WellLog). Bevat DDMS-specifieke Parquet-bestanden, geordend op entiteitstype en record-ID. |
| Parquet-bestanden | Snappy-gecomprimeerde gegevensbestanden. Updates maken nieuwe bestanden. ACZ voert VACUUM en OPTIMIZE uit om kleine bestanden te comprimeren en oude bestanden te verwijderen. |
Delta-tabelschema
De Delta-tabel bevat de volgende velden:
| Veld | Type | Description |
|---|---|---|
id |
string | OSDU®-record-id. |
version |
string | Versienummer. |
kind |
string | Volledig gekwalificeerde OSDU® kind. |
data |
string | Gegevensblok (JSON). |
meta |
string | Metagegevens (JSON). |
acl |
string | Toegangsbeheerlijst. |
legal |
string | Juridische tags. |
tags |
string | Door de gebruiker gedefinieerde tags. |
createUser |
string | Gebruiker die de record heeft gemaakt. |
createTime |
Tijdstempel | Toen de record werd aangemaakt |
ingestTime |
Tijdstempel | Wanneer ACZ de record heeft opgenomen |
isActive |
Booleaan |
True indien actief.
False indien voorlopig verwijderd. |
Note
Wellbore DDMS-entiteiten hebben ook de velden fileDownloadTime, fileDownloadState en fileDownloadFolder voor het volgen van bestanden.
Limieten en toegang
Preview-limieten
| Beperking | Limiet |
|---|---|
| Maximaal aantal ACZs per gegevenspartitie | Three |
| Uniekheid van ACZ-naam | Moet uniek zijn binnen een gegevenspartitie |
| Doelformaat | Alleen Delta Parquet |
| Opslagtype | Alleen ADLS Gen2 |
| Ondersteuning voor instantieklassen | Alleen de Developer-laag tijdens de preview |
Authenticatie en autorisatie
ACZ vereist:
-
API-toegang: U moet deel uitmaken van de
users@{data-partition-id}.dataservices.energygroep om ACZ-API's aan te roepen. - Opslagtoegang: De beheerde identiteit heeft de rol Inzender voor opslagblobgegevens (of gelijkwaardig) nodig in de ADLS Gen2-container. Deel tijdens de preview de identiteitsgegevens met Microsoft om de identiteit toe te voegen aan de acceptatielijst.
- Toegang tot Azure Data Manager for Energy: De beheerde identiteit moet worden toegewezen aan de resource van Azure Data Manager for Energy.