Pijplijnen en activiteiten in Azure Data Factory en Azure Synapse Analytics

APPLIES TO: Azure Data Factory Azure Synapse Analytics

Dit artikel helpt u bij het begrijpen van pijplijnen en activiteiten in Azure Data Factory en Azure Synapse Analytics en deze gebruiken om end-to-end gegevensgestuurde werkstromen te maken voor uw scenario's voor gegevensverplaatsing en gegevensverwerking.

Overzicht

Een Data Factory- of Synapse-werkruimte kan een of meer pijplijnen hebben. Een pijplijn is een logische groep activiteiten die samen een taak uitvoeren. Een pijplijn kan bijvoorbeeld een set activiteiten bevatten die logboekgegevens opnemen en opschonen, en vervolgens een mappinggegevensstroom in gang zetten voor het analyseren van de logboekgegevens. Met de pijplijn kunt u de activiteiten beheren als een set in plaats van elk afzonderlijk. U implementeert en plant de pijplijn in plaats van de afzonderlijke activiteiten.

De activiteiten in een pijplijn bepalen acties die moeten worden uitgevoerd op uw gegevens. U kunt bijvoorbeeld een kopieeractiviteit gebruiken om gegevens van SQL Server naar een Azure Blob Storage te kopiëren. Gebruik vervolgens een gegevensstroomactiviteit of een Databricks Notebook-activiteit om gegevens van de blobopslag te verwerken en te transformeren naar een Azure Synapse Analytics-pool waarop business intelligence-rapportageoplossingen worden gebouwd.

Azure Data Factory en Azure Synapse Analytics drie groepen activiteiten hebben: activiteiten voor gegevensverplaatsing dataverplaatsing, activiteiten voor gegevenstransformatie en controleactiviteiten. Een activiteit kan nul of meer invoergegevenssets hebben en een of meer uitvoergegevenssets produceren. In het volgende diagram ziet u de relatie tussen pijplijn, activiteit en gegevensset:

Een invoergegevensset vertegenwoordigt de invoer voor een activiteit in de pijplijn en een uitvoergegevensset vertegenwoordigt de uitvoer voor de activiteit. Met gegevenssets worden gegevens binnen andere gegevensarchieven geïdentificeerd, waaronder tabellen, bestanden, mappen en documenten. Nadat u een gegevensset hebt gemaakt, kunt u deze gebruiken voor activiteiten in een pijplijn. Een gegevensset kan bijvoorbeeld een gegevensset voor invoer/uitvoer van een kopieeractiviteit of een HDInsightHive-activiteit zijn. Zie Gegevenssets in Azure Data Factory artikel voor meer informatie over gegevenssets.

Activiteiten voor gegevensverplaatsing

De kopieeractiviteit in Data Factory kopieert gegevens van een brongegevensarchief naar een sinkgegevensarchief. Data Factory ondersteunt de gegevensopslagplaatsen die in de tabel in deze sectie worden vermeld. Gegevens vanuit elke willekeurige bron kunnen naar een sink worden geschreven.

Zie het artikel Kopieeractiviteit - overzicht voor meer informatie.

Selecteer een gegevensarchief voor informatie over het kopiëren van gegevens naar en van dat archief.

Activiteiten voor gegevenstransformatie

Azure Data Factory en Azure Synapse Analytics de volgende transformatieactiviteiten ondersteunen die afzonderlijk kunnen worden toegevoegd of gekoppeld aan een andere activiteit.

Zie het artikel Activiteiten voor gegevenstransformatie voor meer informatie.

Controleflowactiviteiten

De volgende controlestroomactiviteiten worden ondersteund:

Een pijplijn maken met de gebruikersinterface

JSON-pipeline

U kunt als volgt een pijplijn definiëren in JSON-indeling:

{
    "name": "PipelineName",
    "properties":
    {
        "description": "pipeline description",
        "activities":
        [
        ],
        "parameters": {
        },
        "concurrency": <your max pipeline concurrency>,
        "annotations": [
        ]
    }
}

Activiteit JSON

De sectie activities kan een of meer activiteiten bevatten. Er zijn twee soorten activiteiten: uitvoerings- en controleactiviteiten.

Uitvoeringsactiviteiten

Uitvoeringsactiviteiten zijn activiteiten voor gegevensverplaatsing en activiteiten voor gegevenstransformatie. Ze hebben de volgende structuur op het hoogste niveau:

{
    "name": "Execution Activity Name",
    "description": "description",
    "type": "<ActivityType>",
    "typeProperties":
    {
    },
    "linkedServiceName": "MyLinkedService",
    "policy":
    {
    },
    "dependsOn":
    {
    }
}

De volgende tabel beschrijft de eigenschappen in de JSON-definitie activity:

Beleid voor activiteiten

Beleidsregels zijn van invloed op het runtimegedrag van een activiteit, waardoor configuratieopties worden gegeven. Beleidsregels voor activiteiten zijn alleen beschikbaar voor uitvoeringsactiviteiten.

JSON-definitie van beleidsregels voor activiteiten

{
    "name": "MyPipelineName",
    "properties": {
      "activities": [
        {
          "name": "MyCopyBlobtoSqlActivity",
          "type": "Copy",
          "typeProperties": {
            ...
          },
         "policy": {
            "timeout": "00:10:00",
            "retry": 1,
            "retryIntervalInSeconds": 60,
            "secureOutput": true
         }
        }
      ],
        "parameters": {
           ...
        }
    }
}

Controleactiviteit

Controleactiviteiten hebben de volgende structuur op het hoogste niveau:

{
    "name": "Control Activity Name",
    "description": "description",
    "type": "<ActivityType>",
    "typeProperties":
    {
    },
    "dependsOn":
    {
    }
}

Afhankelijkheid van activiteiten

Activiteitsafhankelijkheid bepaalt hoe volgende activiteiten afhankelijk zijn van eerdere activiteiten, waarbij wordt bepaald of de volgende taak moet worden uitgevoerd. Een activiteit kan afhankelijk zijn van een of meer eerdere activiteiten met verschillende afhankelijkheidsvoorwaarden.

De verschillende afhankelijkheidsvoorwaarden zijn: Geslaagd, Mislukt, Overgeslagen, Voltooid.

Als een pijplijn bijvoorbeeld Activiteit A -> Activiteit B heeft, zijn de verschillende scenario's die kunnen optreden:

• Activiteit B heeft de afhankelijkheidsvoorwaarde succeeded ten opzichte van Activiteit A. Dit houdt in dat Activiteit B alleen kan worden uitgevoerd als Activiteit A de definitieve status succeeded heeft
• Activiteit B heeft de afhankelijkheidsvoorwaarde failed ten opzichte van Activiteit A. Dit houdt in dat Activiteit B alleen kan worden uitgevoerd als Activiteit A de definitieve status failed heeft
• Activiteit B heeft de afhankelijkheidsvoorwaarde completed ten opzichte van Activiteit A. Dit houdt in dat Activiteit B wordt uitgevoerd als Activiteit A de definitieve status succeeded of failed heeft
• Activiteit B heeft een afhankelijkheidsvoorwaarde voor Activiteit A met overgeslagen: Activiteit B wordt uitgevoerd als Activiteit A de uiteindelijke status van overgeslagen heeft. Overgeslagen vindt plaats in het scenario van Activiteit X -> Activiteit Y -> Activiteit Z, waarbij elke activiteit alleen wordt uitgevoerd als de vorige activiteit slaagt. Als Activiteit X mislukt, heeft Activiteit Y de status 'Overgeslagen' omdat deze nooit wordt uitgevoerd. Op dezelfde manier heeft Activiteit Z ook de status 'Overgeslagen'.

Voorbeeld: Activiteit 2 is afhankelijk van het slagen van Activiteit 1

{
    "name": "PipelineName",
    "properties":
    {
        "description": "pipeline description",
        "activities": [
         {
            "name": "MyFirstActivity",
            "type": "Copy",
            "typeProperties": {
            },
            "linkedServiceName": {
            }
        },
        {
            "name": "MySecondActivity",
            "type": "Copy",
            "typeProperties": {
            },
            "linkedServiceName": {
            },
            "dependsOn": [
            {
                "activity": "MyFirstActivity",
                "dependencyConditions": [
                    "Succeeded"
                ]
            }
          ]
        }
      ],
      "parameters": {
       }
    }
}

Voorbeeld van kopieerproces

In de volgende voorbeeldpijplijn is er één activiteit van het type Copy in de sectie activiteiten . In dit voorbeeld kopieert de copy-activiteit gegevens van een Azure Blob-opslag naar een database in Azure SQL Database.

{
  "name": "CopyPipeline",
  "properties": {
    "description": "Copy data from a blob to Azure SQL table",
    "activities": [
      {
        "name": "CopyFromBlobToSQL",
        "type": "Copy",
        "inputs": [
          {
            "name": "InputDataset"
          }
        ],
        "outputs": [
          {
            "name": "OutputDataset"
          }
        ],
        "typeProperties": {
          "source": {
            "type": "BlobSource"
          },
          "sink": {
            "type": "SqlSink",
            "writeBatchSize": 10000,
            "writeBatchTimeout": "60:00:00"
          }
        },
        "policy": {
          "retry": 2,
          "timeout": "01:00:00"
        }
      }
    ]
  }
}

Let op de volgende punten:

• In de sectie Activiteiten is er slechts één activiteit waarvan het type is ingesteld op Kopiëren.
• De invoer voor de activiteit is ingesteld op InputDataset en de uitvoer voor de activiteit is ingesteld op OutputDataset. Zie het artikel Gegevenssets voor informatie over het definiëren van gegevenssets in JSON.
• In het gedeelte typeProperties is BlobSource opgegeven als het brontype en SqlSink als het sink-type. Selecteer in de sectie Activiteiten voor gegevensverplaatsing het gegevensarchief dat u wilt gebruiken als bron of sink voor meer informatie over het verplaatsen van gegevens naar/van dat gegevensarchief.

Zie quickstart: een Data Factory maken voor een volledig overzicht van het maken van deze pijplijn.

Voorbeeld van pijplijn voor transformatie

In de volgende voorbeeldpijplijn is er één activiteit van het type HDInsightHive in de sectie activiteiten . In dit voorbeeld transformeert de HDInsight Hive-activiteit gegevens uit een Azure Blob-opslag door een Hive-scriptbestand uit te voeren op een Azure HDInsight Hadoop-cluster.

{
    "name": "TransformPipeline",
    "properties": {
        "description": "My first Azure Data Factory pipeline",
        "activities": [
            {
                "type": "HDInsightHive",
                "typeProperties": {
                    "scriptPath": "adfgetstarted/script/partitionweblogs.hql",
                    "scriptLinkedService": "AzureStorageLinkedService",
                    "defines": {
                        "inputtable": "wasb://adfgetstarted@<storageaccountname>.blob.core.windows.net/inputdata",
                        "partitionedtable": "wasb://adfgetstarted@<storageaccountname>.blob.core.windows.net/partitioneddata"
                    }
                },
                "inputs": [
                    {
                        "name": "AzureBlobInput"
                    }
                ],
                "outputs": [
                    {
                        "name": "AzureBlobOutput"
                    }
                ],
                "policy": {
                    "retry": 3
                },
                "name": "RunSampleHiveActivity",
                "linkedServiceName": "HDInsightOnDemandLinkedService"
            }
        ]
    }
}

Let op de volgende punten:

• In de sectie Activiteiten is er slechts één activiteit waarvan het type is ingesteld op HDInsightHive.
• Het Hive-scriptbestand, partitionweblogs.hql, wordt opgeslagen in het Azure Storage-account (opgegeven door de scriptLinkedService, azureStorageLinkedService) en in de scriptmap in de container adfgetstarted.
• De sectie defines wordt gebruikt om de runtime-instellingen op te geven die worden doorgegeven aan het Hive-script, zoals Hive-configuratiewaarden (bijvoorbeeld ${hiveconf:inputtable}, ${hiveconf:partitionedtable}).

De sectie typeProperties verschilt voor elke transformatieactiviteit. Als u meer wilt weten over typeeigenschappen die worden ondersteund voor een transformatieactiviteit, selecteert u de transformatieactiviteit in de activiteiten voor gegevenstransformatie.

Zie Zelfstudie: Gegevens transformeren met Sparkvoor een volledige procedure voor het maken van deze pijplijn.

Meerdere activiteiten in een pijplijn

De vorige twee voorbeeldpijplijnen bevatten slechts één activiteit. Een pijplijn kan echter meer dan één activiteit hebben. Als u meerdere activiteiten in een pijplijn hebt en latere activiteiten niet afhankelijk zijn van eerdere activiteiten, kunnen de activiteiten parallel worden uitgevoerd.

U kunt twee activiteiten koppelen met de afhankelijkheid van activiteiten, waarmee u definieert hoe latere activiteiten afhankelijk zijn van vorige activiteiten. Op basis hiervan wordt bepaald of de volgende taak kan worden uitgevoerd. Een activiteit kan afhankelijk zijn van één of meerdere vorige activiteiten onder verschillende afhankelijkheidscondities.

Pijplijnen plannen

Pijplijnen worden door triggers gepland. Er zijn verschillende soorten triggers (Scheduler-trigger, waarmee pijplijnen kunnen worden geactiveerd volgens een wandklokschema en de handmatige trigger, waarmee pijplijnen op aanvraag worden geactiveerd). Zie voor meer informatie over triggers het artikel Pijplijnen uitvoeren en triggers.

Als u wilt dat de trigger een pijplijnuitvoering activeert, moet u een verwijzing naar de betreffende pijplijn opnemen in de definitie van de trigger. Pijplijnen en triggers hebben een 'n-m-relatie'. Meerdere triggers kunnen één pijplijn starten en één trigger kan meerdere pijplijnen starten. Als de trigger is gedefinieerd, moet u de trigger starten zodat deze de pijplijn kan activeren. Zie voor meer informatie over triggers het artikel Pijplijnuitvoering en triggers.

Stel dat u een Scheduler-trigger hebt, 'Trigger A', die uw pijplijn, 'MyCopyPipeline', moet starten. U definieert de trigger zoals in het volgende voorbeeld:

Definitie van Trigger A

{
  "name": "TriggerA",
  "properties": {
    "type": "ScheduleTrigger",
    "typeProperties": {
      ...
      }
    },
    "pipeline": {
      "pipelineReference": {
        "type": "PipelineReference",
        "referenceName": "MyCopyPipeline"
      },
      "parameters": {
        "copySourceName": "FileSource"
      }
    }
  }
}

Gerelateerde inhoud

• Een pijplijn met een kopieerbewerking maken
• Een pijplijn met een transformatieactiviteit voor gegevens bouwen
• Hoe ci/CD (continue integratie en levering) te bereiken met behulp van Azure Data Factory