Azure OpenAI 映像和音频 REST API 参考 （2024-10-21）

本文介绍 GA 版本中Azure OpenAI 2024-10-21 的图像生成和音频（语音）数据平面推理 REST API 操作。 有关聊天完成、嵌入、完成和其他所有操作，请参阅官方Azure OpenAI REST API 参考。

API 规范

管理和交互 Azure OpenAI 模型及资源分为三个主要的 API 表面：

• 控制平面
• 数据平面 - 创作
• 数据平面 - 推理

每个API表面/规范都封装了一套不同的Azure OpenAI能力。 每个 API 都有其独特的预览版和稳定/普遍可用（GA）API 版本。 预览版目前通常按月发布。

身份验证

Azure OpenAI 提供两种认证方法。 你可以使用API密钥或Microsoft Entra ID。

• API 密钥认证：对于这种类型的认证，所有 API 请求必须在 api-key HTTP 头部包含 API 密钥。 快速入门指南提供了如何使用此类认证拨打电话的指导。

• Microsoft Entra ID 认证：你可以用Microsoft Entra令牌来认证API调用。 认证令牌作为请求的头部包含在请求 Authorization 中。 所提供的标记必须前加 Bearer，例如 Bearer YOUR_AUTH_TOKEN。 你可以阅读我们关于认证的Microsoft Entra ID操作指南。

REST API 版本管理

服务API通过 api-version 查询参数进行版本控制。 所有版本均遵循YYYY-MM-DD 日期结构。 例如：

POST https://YOUR_RESOURCE_NAME.openai.azure.com/openai/deployments/YOUR_DEPLOYMENT_NAME/chat/completions?api-version=2024-06-01

数据平面推断

本文的其余部分介绍了 Azure OpenAI 数据平面推理规范2024-10-21正式版中的映像和音频操作。

有关预览图像和音频操作，请参阅 预览图像和音频 REST API 参考。

转录 - 创建

POST https://{endpoint}/openai/deployments/{deployment-id}/audio/transcriptions?api-version=2024-10-21

将音频转录成输入语言。

URI 参数

请求标头

请求主体

Content-Type：multipart/form-data

Responses

状态代码： 200

说明：确定

示例

示例

从提供的语音音频数据中获取转录文本及相关元数据。

POST https://{endpoint}/openai/deployments/{deployment-id}/audio/transcriptions?api-version=2024-10-21

回复：状态代码：200

{
  "body": {
    "text": "A structured object when requesting json or verbose_json"
  }
}

示例

从提供的语音音频数据中获取转录文本及相关元数据。

POST https://{endpoint}/openai/deployments/{deployment-id}/audio/transcriptions?api-version=2024-10-21

"---multipart-boundary\nContent-Disposition: form-data; name=\"file\"; filename=\"file.wav\"\nContent-Type: application/octet-stream\n\nRIFF..audio.data.omitted\n---multipart-boundary--"

回复：状态代码：200

{
  "type": "string",
  "example": "plain text when requesting text, srt, or vtt"
}

翻译 - 创作

POST https://{endpoint}/openai/deployments/{deployment-id}/audio/translations?api-version=2024-10-21

将输入音频转录并翻译成英文文本。

URI 参数

请求标头

请求主体

Content-Type：multipart/form-data

Responses

状态代码： 200

说明：确定

示例

示例

从提供的语音音频数据中获取英文转录文本及相关元数据。

POST https://{endpoint}/openai/deployments/{deployment-id}/audio/translations?api-version=2024-10-21

"---multipart-boundary\nContent-Disposition: form-data; name=\"file\"; filename=\"file.wav\"\nContent-Type: application/octet-stream\n\nRIFF..audio.data.omitted\n---multipart-boundary--"

回复：状态代码：200

{
  "body": {
    "text": "A structured object when requesting json or verbose_json"
  }
}

示例

从提供的语音音频数据中获取英文转录文本及相关元数据。

POST https://{endpoint}/openai/deployments/{deployment-id}/audio/translations?api-version=2024-10-21

"---multipart-boundary\nContent-Disposition: form-data; name=\"file\"; filename=\"file.wav\"\nContent-Type: application/octet-stream\n\nRIFF..audio.data.omitted\n---multipart-boundary--"

回复：状态代码：200

{
  "type": "string",
  "example": "plain text when requesting text, srt, or vtt"
}

图像生成

POST https://{endpoint}/openai/deployments/{deployment-id}/images/generations?api-version=2024-10-21

在给定的 dall-e 模型部署中，从文本说明生成一批图像

URI 参数

请求标头

请求主体

“内容类型”: application/json

Responses

状态代码： 200

说明：好的

状态代码： 默认

描述：发生了错误。

示例

示例

根据提示生成图片。

POST https://{endpoint}/openai/deployments/{deployment-id}/images/generations?api-version=2024-10-21

{
 "prompt": "In the style of WordArt, Microsoft Clippy wearing a cowboy hat.",
 "n": 1,
 "style": "natural",
 "quality": "standard"
}

回复：状态代码：200

{
  "body": {
    "created": 1698342300,
    "data": [
      {
        "revised_prompt": "A vivid, natural representation of Microsoft Clippy wearing a cowboy hat.",
        "prompt_filter_results": {
          "sexual": {
            "severity": "safe",
            "filtered": false
          },
          "violence": {
            "severity": "safe",
            "filtered": false
          },
          "hate": {
            "severity": "safe",
            "filtered": false
          },
          "self_harm": {
            "severity": "safe",
            "filtered": false
          },
          "profanity": {
            "detected": false,
            "filtered": false
          }
        },
        "url": "https://dalletipusw2.blob.core.windows.net/private/images/e5451cc6-b1ad-4747-bd46-b89a3a3b8bc3/generated_00.png?se=2023-10-27T17%3A45%3A09Z&...",
        "content_filter_results": {
          "sexual": {
            "severity": "safe",
            "filtered": false
          },
          "violence": {
            "severity": "safe",
            "filtered": false
          },
          "hate": {
            "severity": "safe",
            "filtered": false
          },
          "self_harm": {
            "severity": "safe",
            "filtered": false
          }
        }
      }
    ]
  }
}

组件

有关聊天、完成、嵌入和其他文本操作使用的架构定义，请参阅 Azure OpenAI REST API 参考。 以下架构支持此页上的图像和音频操作。

innerErrorCode

内部错误对象的错误代码。

描述：内部错误对象的错误代码。

类型：string

默认值：

枚举名称：InnerErrorCode

枚举值：

dalleErrorResponse

dalleError

dalleInnerError

内部错误，附加细节。

contentFilterSeverityResult

内容过滤检测结果

dalleFilterResults

关于内容过滤类别（仇恨、性、暴力、self_harm）、是否检测到，以及严重程度（very_low、低、中、高，决定有害内容的强度和风险等级），以及是否被过滤。 关于越狱内容和脏话的信息，是否被检测到，以及是否经过过滤。 还有客户黑名单的信息（如果被过滤过的话）和它的ID。

audioResponse

当response_format为json时，翻译或转录响应

audioVerboseResponse

response_format verbose_json翻译或转录反应

audioResponseFormat

定义输出格式。

描述：定义输出格式。

类型：string

默认值：

枚举值：

• Json
• 文本消息
• srt
• verbose_json
• vtt

imageQuality

生成图像的质量。

描述：将生成的图像质量。

类型：string

默认值：标准

枚举名称：质量

枚举值：

imagesResponseFormat

生成图像返回的格式。

描述：生成图像返回的格式。

类型：string

默认值：url

枚举名称：ImagesResponseFormat

枚举值：

imageSize

生成图像的大小。

描述：生成图像的大小。

类型：string

默认值：1024x1024

枚库名称：大小

枚举值：

imageStyle

生成图像的风格。

描述：生成图像的风格。

类型：string

默认值：生动

枚举名称：样式

枚举值：

generateImagesResponse

后续步骤

了解 使用 REST API 进行模型和微调。 详细了解支持 OpenAI 的Azure模型。