Azure 数据工厂和 Synapse 管道支持的计算环境

适用于： Azure 数据工厂 Azure Synapse Analytics

本文介绍可用于处理或转换数据的不同计算环境。 同时还详细介绍了在配置用于链接这些计算环境的链接服务时支持的不同配置（按需和自带）。

下表提供了支持的计算环境以及可以在其上运行的活动的列表。

HDInsight 计算环境

有关在按需和自带计算（BYOC）环境中配置支持的存储链接服务类型的详细信息，请参阅下表。

Azure HDInsight按需链接服务

在这种类型的配置中，计算环境完全由服务管理。 作业提交到进程数据前，该服务会自动创建计算环境，作业完成后则自动将其删除。 可以为按需计算环境创建并配置链接服务，以及控制作业执行、群集管理和引导操作的粒度设置。

服务可自动创建按需 HDInsight 群集，以处理数据。 群集在与与群集关联的 storage 帐户（JSON 中的 linkedServiceName 属性）所在的同一区域中创建。 存储帐户must是常规用途标准Azure 存储帐户。

请注意有关按需 HDInsight 链接服务的以下 重要点：

• 按需 HDInsight 群集是在Azure订阅下创建的。 群集启动并运行后，可以在 Azure 门户中看到群集。
• 在按需启动的 HDInsight 群集上运行的作业的日志将被复制到与 HDInsight 群集关联的存储帐户中。 在链接的服务定义中定义的 clusterUserName、clusterPassword、clusterSshUserName、clusterSshPassword 用于登录到群集，以便在群集的生命周期内进行深入故障排除。
• 仅对 HDInsight 群集启动并运行作业的时间进行收费。
• 可以将 脚本操作 与 Azure HDInsight 按需联机服务配合使用。

使用服务主体密钥的示例

以下 JSON 定义基于 Linux 的按需 HDInsight 链接服务。 该服务会自动创建 基于 Linux 的 HDInsight 群集来处理所需的活动。

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "servicePrincipalId": "<service principal ID>",
      "servicePrincipalKey": {
        "value": "<service principal key>",
        "type": "SecureString"
      },
      "tenant": "<tenant id>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "ServicePrincipalKey",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

使用系统分配的托管标识的示例

以下 JSON 定义基于 Linux 的按需 HDInsight 链接服务。 该服务会自动创建 基于 Linux 的 HDInsight 群集来处理所需的活动。

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "SystemAssignedManagedIdentity",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

使用用户分配的托管标识的示例

以下 JSON 定义基于 Linux 的按需 HDInsight 链接服务。 该服务会自动创建 基于 Linux 的 HDInsight 群集来处理所需的活动。

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "UserAssignedManagedIdentity",
      "credential": {
            "referenceName": "CredentialName",
            "type": "CredentialReference"
       },
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

属性

• additionalLinkedServiceNames JSON 示例

"additionalLinkedServiceNames": [{
    "referenceName": "MyStorageLinkedService2",
    "type": "LinkedServiceReference"          
}]

Authentication

服务主体身份验证

按需 HDInsight 链接服务要求进行服务主体身份验证，以代表你创建 HDInsight 群集。 若要使用服务主体身份验证，在 Microsoft Entra ID中注册应用程序实体，并向其授予创建 HDInsight 群集的订阅或资源组的 Contributor 角色。 有关详细步骤，请参阅 使用门户创建可访问资源的Microsoft Entra应用程序和服务主体。 记下下面的值，这些值用于定义链接服务：

• 应用程序 ID
• 应用程序密钥
• 租户 ID

通过指定以下属性使用服务主体身份验证：

托管身份验证

对Azure HDInsight按需链接服务使用托管标识身份验证时，请确保托管标识对象具有对资源组的参与者角色访问权限。

除了现有的基于密钥的身份验证之外，ADLS Gen2 主存储账户现在还支持基于用户分配的托管标识（UAMI）身份验证。 UAMI 必须对主存储帐户具有 Storage Blob Data Owner 权限。

限制：

• ADLS Gen2 主存储帐户和 UAMI 必须位于与用于创建按需 HDInsight 群集的资源组相同的资源组中。
• 数据工厂中 UAMI 的凭据对象名称必须与 UAMI 名称完全匹配。

有关详细信息，请参阅 Create Azure HDInsight - Azure Data Lake Storage Gen2 - portal 和 Azure HDInsight 中的托管身份

高级属性

也可以为按需 HDInsight 群集的粒度配置指定以下属性。

• 示例 - 具有高级属性的按需 HDInsight 群集配置

{
    "name": " HDInsightOnDemandLinkedService",
    "properties": {
      "type": "HDInsightOnDemand",
      "typeProperties": {
          "clusterSize": 16,
          "timeToLive": "01:30:00",
          "hostSubscriptionId": "<subscription ID>",
          "servicePrincipalId": "<service principal ID>",
          "servicePrincipalKey": {
            "value": "<service principal key>",
            "type": "SecureString"
          },
          "tenant": "<tenant id>",
          "clusterResourceGroup": "<resource group name>",
          "version": "3.6",
          "osType": "Linux",
          "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
            },
            "coreConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "hiveConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "mapReduceConfiguration": {
                "mapreduce.reduce.java.opts": "-Xmx4000m",
                "mapreduce.map.java.opts": "-Xmx4000m",
                "mapreduce.map.memory.mb": "5000",
                "mapreduce.reduce.memory.mb": "5000",
                "mapreduce.job.reduce.slowstart.completedmaps": "0.8"
            },
            "yarnConfiguration": {
                "yarn.app.mapreduce.am.resource.mb": "5000",
                "mapreduce.map.memory.mb": "5000"
            },
            "additionalLinkedServiceNames": [{
                "referenceName": "MyStorageLinkedService2",
                "type": "LinkedServiceReference"          
            }]
        }
    },
      "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
}

节点大小

可使用以下属性指定头节点、数据节点和 Zookeeper 节点的大小：

• 指定节点大小请参阅虚拟机文章，了解需要为上一节中提到的属性指定的字符串值。 这些值需要符合文章中所引用的 CMDLET 和 API。 如文章中所示，大尺寸（默认）的数据节点拥有 7 GB 的内存，这可能无法满足具体方案的需求。

如果要创建 D4 大小的头节点和工作节点，请将 Standard_D4 指定为 headNodeSize 和 dataNodeSize 属性的值。

"headNodeSize": "Standard_D4",    
"dataNodeSize": "Standard_D4",

如果为这些属性指定了错误的值，可能会收到以下 错误： 无法创建群集。 异常: 无法完成群集创建操作。 操作失败，代码为 '400'。 群集保持为 'Error' 状态。 消息：“PreClusterCreationValidationFailure”。 收到此错误时，请确保使用的是虚拟机的大小一文中的表中的 CMDLET 和 API 名称。

自带计算环境

在这种类型的配置中，用户可将现有的计算环境注册为链接服务。 计算环境由用户进行管理，服务使用它执行活动。

此类型的配置支持以下计算环境：

• Azure HDInsight
• Azure Batch
• Azure 机器学习
• Azure Data Lake Analytics
• Azure SQL DB、Azure Synapse Analytics、SQL Server

Azure HDInsight链接服务

可以创建 Azure HDInsight 关联服务，以向数据工厂或 Synapse 工作区注册自己的 HDInsight 群集。

使用基本身份验证的示例

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "userName": "username",
        "password": {
            "value": "passwordvalue",
            "type": "SecureString"
          },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

使用系统分配的托管标识的示例

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "clusterAuthType": "SystemAssignedManagedIdentity",
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

使用用户分配的托管标识的示例

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
         "clusterAuthType": "UserAssignedManagedIdentity",
         "credential": {
                "referenceName": "CredentialName",
                "type": "CredentialReference"
            },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

属性

Authentication

ADLS Gen2 的Azure 存储链接服务现在除了现有的身份验证方法外，还支持系统分配的托管标识和用户分配的托管标识。 默认情况下，在使用 Azure Integration Runtime (Azure IR) 时，此支持可用，并且从 5.55.9306.2 或更高版本开始，自承载 Integration Runtime (SHIR) 中支持此支持。 对于Azure Blob 存储，Azure 存储链接服务继续仅支持帐户密钥身份验证。 从版本 5.58 或更高版本开始，使用 Azure IR 且在 SHIR 上受支持时，群集托管标识身份验证现在也默认可用。 创建群集时，每个群集只能使用一个身份验证方法。 有关使用托管标识创建和管理群集的详细信息，请参阅 创建和管理具有Entra ID身份验证的 Azure HDInsight 群集

Azure Batch 链接服务

可以创建 Azure Batch 链接服务，以向数据工厂或 Synapse 工作区注册虚拟机 (VM) 的 Batch 池。 可以使用Azure Batch运行自定义活动。

如果不熟悉Azure Batch服务，请参阅以下文章：

• Azure Batch基础知识，提供Azure Batch服务的概述。
• New-AzBatchAccount cmdlet，用于创建Azure Batch帐户（或） Azure门户使用Azure门户创建Azure Batch帐户。 有关使用 cmdlet 的详细说明，请参阅 使用 PowerShell 管理Azure Batch帐户一文。
• New-AzBatchPool 命令用于创建Azure Batch池。

Example

{
    "name": "AzureBatchLinkedService",
    "properties": {
      "type": "AzureBatch",
      "typeProperties": {
        "accountName": "batchaccount",
        "accessKey": {
          "type": "SecureString",
          "value": "access key"
        },
        "batchUri": "https://batchaccount.region.batch.azure.com",
        "poolName": "poolname",
        "linkedServiceName": {
          "referenceName": "StorageLinkedService",
          "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

属性

机器学习工作室（经典）链接服务

可以创建机器学习工作室（经典版）链接服务，以向数据工厂或 Synapse 工作区注册机器学习工作室（经典版）批处理评分终结点。

Example

{
    "name": "AzureMLLinkedService",
    "properties": {
      "type": "AzureML",
      "typeProperties": {
        "mlEndpoint": "https://[batch scoring endpoint]/jobs",
        "apiKey": {
            "type": "SecureString",
            "value": "access key"
        }
     },
     "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
}

属性

Azure 机器学习链接服务

创建Azure 机器学习链接服务，将Azure 机器学习工作区连接到数据工厂或 Synapse 工作区。

Example

{
    "name": "AzureMLServiceLinkedService",
    "properties": {
        "type": "AzureMLService",
        "typeProperties": {
            "subscriptionId": "subscriptionId",
            "resourceGroupName": "resourceGroupName",
            "mlWorkspaceName": "mlWorkspaceName",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime?",
            "type": "IntegrationRuntimeReference"
        }
    }
}

属性

Azure Data Lake Analytics链接服务

创建 Azure Data Lake Analytics 链接服务，将Azure Data Lake Analytics计算服务链接到数据工厂或 Synapse 工作区。 管道中的 Data Lake Analytics U-SQL 活动是指此链接服务。

Example

{
    "name": "AzureDataLakeAnalyticsLinkedService",
    "properties": {
        "type": "AzureDataLakeAnalytics",
        "typeProperties": {
            "accountName": "adftestaccount",
            "dataLakeAnalyticsUri": "azuredatalakeanalytics URI",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID",
            "subscriptionId": "<optional, subscription ID of ADLA>",
            "resourceGroupName": "<optional, resource group name of ADLA>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

属性

Azure Databricks链接服务

可以创建 Azure Databricks 链接服务来注册用于运行 Databricks 工作负荷（笔记本、jar、python）的 Databricks 工作区。

示例 - 在 Databricks 中使用新的作业群集

{
    "name": "AzureDatabricks_LS",
    "properties": {
        "type": "AzureDatabricks",
        "typeProperties": {
            "domain": "https://eastus.azuredatabricks.net",
            "newClusterNodeType": "Standard_D3_v2",
            "newClusterNumOfWorker": "1:10",
            "newClusterVersion": "4.0.x-scala2.11",
            "accessToken": {
                "type": "SecureString",
                "value": "YourAccessToken"
            }
        }
    }
}

示例 - 在 Databricks 中使用现有的交互式群集

{
    "name": " AzureDataBricksLinkedService",
    "properties": {
      "type": " AzureDatabricks",
      "typeProperties": {
        "domain": "https://westeurope.azuredatabricks.net",
        "accessToken": {
            "type": "SecureString", 
            "value": "YourAccessToken"
          },
        "existingClusterId": "{clusterId}"
        }
}

属性

Azure SQL 数据库链接服务

创建一个 Azure SQL 链接服务，并将其与 存储过程活动 一起使用，以通过管道调用存储过程。 有关此链接服务的详细信息，请参阅 Azure SQL Connector 一文。

Azure Synapse Analytics 链接服务

创建Azure Synapse Analytics链接的服务，并将其与 Stored Procedure Activity 一起使用，以从管道调用存储过程。 有关此链接服务的详细信息，请参阅 Azure Synapse Analytics Connector 一文。

SQL Server-链接服务

创建一个SQL Server链接的服务，并将其与存储过程活动一起使用，以从管道中调用存储过程。 有关此链接服务的详细信息，请参阅 SQL Server connector 一文。

Azure Synapse Analytics (Artifacts) 链接服务

创建Azure Synapse Analytics（Artifacts）链接服务并将其与 Synapse Notebook 活动和Synapse Spark 作业定义活动一起使用。

Example

{
    "name": "AzureSynapseArtifacts",
    "type": "Microsoft.DataFactory/factories/linkedservice",
    "properties": {
      "properties": {
        "a":{
          "type": "String"
        }
      },
        "annotations": [],
        "type": "AzureSynapseArtifacts",
        "typeProperties": {
            "endpoint": "@{linkedService().a}",
            "authentication": "MSI",
            "workspaceResourceId": ""
        },
        "ConnectVia":{
          "referenceName": "integrationRuntime1",
          "type": "IntegrationRuntimeReference"
        }
    }
}

属性

Azure函数链接服务

创建 Azure Functions 关联服务，并将其与 Azure 函数活动 一起使用，以便在管道中运行 Azure Functions。 Azure 函数的返回类型必须是有效的 JObject。 （请记住：JArray 不是 JObject。）JObject 以外的任何返回类型都会失败，并引发用户错误“响应内容不是有效的 JObject”。

相关内容

有关支持的转换活动的列表，请参阅 转换数据。