Länkade mallar för Resource Manager med CI/CD

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Tips

Data Factory i Microsoft Fabric är nästa generations Azure Data Factory, med en enklare arkitektur, inbyggd AI och nya funktioner. Om dataintegrering är nytt för dig börjar du med Fabric Data Factory. Befintliga ADF-arbetsbelastningar kan uppgraderas till Fabric för att få åtkomst till nya funktioner inom datavetenskap, realtidsanalys och rapportering.

Om du har konfigurerat kontinuerlig integrering och leverans (CI/CD) för dina datafabriker kan du överskrida de Azure Resource Manager mallgränserna när din fabrik växer sig större. En gräns är till exempel det maximala antalet resurser i en Resource Manager mall. För att hantera stora fabriker samtidigt som du genererar den fullständiga Resource Manager mallen för en fabrik genererar Data Factory nu länkade Resource Manager mallar. Med den här funktionen är hela fabriksnyttolasten uppdelad i flera filer så att du inte begränsas av gränserna.

Hitta de länkade mallarna

Om du har konfigurerat Git genereras de länkade mallarna och sparas tillsammans med de fullständiga Resource Manager mallarna i grenen adf_publish i en ny mapp med namnet linkedTemplates:

Länkad resursadministratörs mapp för mallar

De länkade Resource Manager mallarna består vanligtvis av en basmall och en uppsättning underordnade mallar som är länkade till basen. Den överordnade mallen kallas ArmTemplate_master.json och underordnade mallar namnges med mönstret ArmTemplate_0.json, ArmTemplate_1.json och så vidare.

Använda länkade mallar

Om du vill använda länkade mallar i stället för den fullständiga Resource Manager mallen uppdaterar du CI/CD-uppgiften så att den pekar på ArmTemplate_master.json i stället för ArmTemplateForFactory.json (den fullständiga Resource Manager mallen). Resource Manager kräver också att du laddar upp de länkade mallarna till ett lagringskonto så att Azure kan komma åt dem under distributionen. Mer information finns i Distribuera länkade Resource Manager mallar med VSTS.

Eftersom det här är en länkad mall kräver ARM-distributionsaktiviteten lagringskontots URL och SAS-token. SAS-token behövs även om tjänstprincipen har åtkomst till bloggen sedan länkade mallar distribueras i Azure utan användarens kontext. För att uppnå detta kräver den länkade mall som skapas av CI/CD-stegen följande parametrar containerURI och containerSasToken. Vi rekommenderar att du skickar in SAS-token som en hemlighet, antingen som en säker variabel eller från en tjänst som Azure Key Vault.

Kom ihåg att lägga till Data Factory-skripten i DIN CI/CD-pipeline före och efter distributionsuppgiften.

Om du inte har konfigurerat Git kan du komma åt de länkade mallarna via Exportera ARM-mall i ARM-malllistan .

När du distribuerar dina resurser anger du att distributionen antingen är en inkrementell uppdatering eller en fullständig uppdatering. Skillnaden mellan dessa två lägen är hur Resource Manager hanterar befintliga resurser i resursgruppen som inte finns i mallen. Granska distributionslägen.

Överväganden för delade självhostade integrationsmiljöer

Varning

När du distribuerar länkade ARM-mallar till en miljö som använder en länkad (delad) lokalt installerad integrationskörning, skriver Resource Manager-distributionen över den länkade IR-konfigurationen med en vanlig IR-definition med egen värd som inte har några registrerade noder. Detta gör att IR blir otillgänglig, vilket bryter mot alla länkade tjänster som är beroende av den. Detta beror på att de länkade ARM-mallar som genererades under publiceringen alltid exporterar integreringskörningar som fristående Microsoft.DataFactory/factories/integrationRuntimes resurser, utan någon medvetenhet om länkade IR-relationer i målmiljöer.

För att förhindra detta lägger du till ett steg i CI/CD-pipelinen för att ta bort IR-resursdefinitioner från de länkade mallfilerna innan distributionssteget för Resource Manager. Om målmiljön använder ett annat IR-namn än källfabriken lägger du till ett namnbytessteg efter borttagningen. Den delade IR:en i målmiljön förblir intakt och alla länkade tjänster fortsätter att fungera korrekt efter distributionen.

Relaterat innehåll

  • Last updated on