Azure referência da API REST de áudio e imagem OpenAI (2024-10-21)

Este artigo documenta a geração de imagem e as operações da API REST de inferência do plano de dados de áudio (fala) para Azure OpenAI na 2024-10-21 versão ga. Para conclusões de chat, inserções, conclusões e todas as outras operações, consulte o Azure referência oficial da API REST do OpenAI.

Especificações de API

Gerenciar e interagir com modelos e recursos do OpenAI do Azure é dividido em três superfícies principais de API:

• Painel de controle
• Plano de dados - autoria
• Plano de dados - inferência

Cada superfície/especificação de API encapsula um conjunto diferente de capacidades do Azure OpenAI. Cada API possui seu próprio conjunto único de pré-visualizações e versões estáveis/geralmente disponíveis (GA). Os lançamentos de prévia atualmente tendem a seguir uma cadência mensal.

Autenticação

O Azure OpenAI oferece dois métodos para autenticação. Você pode usar tanto API Keys quanto Microsoft Entra ID.

• Autenticação de Chave API: Para esse tipo de autenticação, todas as requisições de API devem incluir a Chave API no api-key cabeçalho HTTP. O Quickstart fornece orientações sobre como fazer chamadas com esse tipo de autenticação.

• Microsoft Entra ID: Você pode autenticar uma chamada API usando um token Microsoft Entra. Tokens de autenticação são incluídos em uma solicitação como cabeçalho Authorization . O token fornecido deve ser precedido por Bearer, por exemplo Bearer YOUR_AUTH_TOKEN. Você pode ler nosso guia prático sobre autenticação com Microsoft Entra ID.

Versionamento da API REST

As APIs de serviço são versionadas usando o api-version parâmetro de consulta. Todas as versões seguem a estrutura de datas YYYY-MM-DD. Por exemplo:

POST https://YOUR_RESOURCE_NAME.openai.azure.com/openai/deployments/YOUR_DEPLOYMENT_NAME/chat/completions?api-version=2024-06-01

Inferência de plano de dados

O restante deste artigo aborda as operações de imagem e áudio na versão ga da especificação de inferência do plano de dados Azure OpenAI. 2024-10-21

Para as operações de áudio e imagem de visualização, consulte a referência da API REST de áudio e imagem de visualização.

Transcrições - Criar

POST https://{endpoint}/openai/deployments/{deployment-id}/audio/transcriptions?api-version=2024-10-21

Transcreve o áudio para a língua de entrada.

Parâmetros de URI

Cabeçalho da solicitação

Corpo da solicitação

Content-Type: multipart/form-data (dados de formulário em múltiplas partes)

Respostas

Código de status: 200

Descrição: OK

Exemplos

Example

Recebe texto transcrito e metadados associados a partir dos dados de áudio falados fornecidos.

POST https://{endpoint}/openai/deployments/{deployment-id}/audio/transcriptions?api-version=2024-10-21

Respostas: Código de status: 200

{
  "body": {
    "text": "A structured object when requesting json or verbose_json"
  }
}

Example

Recebe texto transcrito e metadados associados a partir dos dados de áudio falados fornecidos.

POST https://{endpoint}/openai/deployments/{deployment-id}/audio/transcriptions?api-version=2024-10-21

"---multipart-boundary\nContent-Disposition: form-data; name=\"file\"; filename=\"file.wav\"\nContent-Type: application/octet-stream\n\nRIFF..audio.data.omitted\n---multipart-boundary--"

Respostas: Código de status: 200

{
  "type": "string",
  "example": "plain text when requesting text, srt, or vtt"
}

Traduções - Criar

POST https://{endpoint}/openai/deployments/{deployment-id}/audio/translations?api-version=2024-10-21

Transcreve e traduz áudio de entrada para texto em inglês.

Parâmetros de URI

Cabeçalho da solicitação

Corpo da solicitação

Content-Type: multipart/form-data (dados de formulário em múltiplas partes)

Respostas

Código de status: 200

Descrição: OK

Exemplos

Example

Obtém texto transcrito em inglês e metadados associados a partir dos dados de áudio falados fornecidos.

POST https://{endpoint}/openai/deployments/{deployment-id}/audio/translations?api-version=2024-10-21

"---multipart-boundary\nContent-Disposition: form-data; name=\"file\"; filename=\"file.wav\"\nContent-Type: application/octet-stream\n\nRIFF..audio.data.omitted\n---multipart-boundary--"

Respostas: Código de status: 200

{
  "body": {
    "text": "A structured object when requesting json or verbose_json"
  }
}

Example

Obtém texto transcrito em inglês e metadados associados a partir dos dados de áudio falados fornecidos.

POST https://{endpoint}/openai/deployments/{deployment-id}/audio/translations?api-version=2024-10-21

"---multipart-boundary\nContent-Disposition: form-data; name=\"file\"; filename=\"file.wav\"\nContent-Type: application/octet-stream\n\nRIFF..audio.data.omitted\n---multipart-boundary--"

Respostas: Código de status: 200

{
  "type": "string",
  "example": "plain text when requesting text, srt, or vtt"
}

Geração de imagem

POST https://{endpoint}/openai/deployments/{deployment-id}/images/generations?api-version=2024-10-21

Gera um lote de imagens a partir de uma legenda de texto em uma determinada implantação do modelo dall-e

Parâmetros de URI

Cabeçalho da solicitação

Corpo da solicitação

Tipo de conteúdo: application/json

Respostas

Código de status: 200

Descrição: Ok

Código de status: padrão

Descrição: Ocorreu um erro.

Exemplos

Example

Cria imagens com um prompt.

POST https://{endpoint}/openai/deployments/{deployment-id}/images/generations?api-version=2024-10-21

{
 "prompt": "In the style of WordArt, Microsoft Clippy wearing a cowboy hat.",
 "n": 1,
 "style": "natural",
 "quality": "standard"
}

Respostas: Código de status: 200

{
  "body": {
    "created": 1698342300,
    "data": [
      {
        "revised_prompt": "A vivid, natural representation of Microsoft Clippy wearing a cowboy hat.",
        "prompt_filter_results": {
          "sexual": {
            "severity": "safe",
            "filtered": false
          },
          "violence": {
            "severity": "safe",
            "filtered": false
          },
          "hate": {
            "severity": "safe",
            "filtered": false
          },
          "self_harm": {
            "severity": "safe",
            "filtered": false
          },
          "profanity": {
            "detected": false,
            "filtered": false
          }
        },
        "url": "https://dalletipusw2.blob.core.windows.net/private/images/e5451cc6-b1ad-4747-bd46-b89a3a3b8bc3/generated_00.png?se=2023-10-27T17%3A45%3A09Z&...",
        "content_filter_results": {
          "sexual": {
            "severity": "safe",
            "filtered": false
          },
          "violence": {
            "severity": "safe",
            "filtered": false
          },
          "hate": {
            "severity": "safe",
            "filtered": false
          },
          "self_harm": {
            "severity": "safe",
            "filtered": false
          }
        }
      }
    ]
  }
}

Componentes

Para obter as definições de esquema usadas por chat, conclusões, inserções e outras operações de texto, consulte a referência da API REST do Azure OpenAI. Os esquemas a seguir dão suporte às operações de imagem e áudio nesta página.

innerErrorCode

Códigos de erro para o objeto de erro interno.

Descrição: Códigos de erro para o objeto de erro interno.

Tipo: cadeia de caracteres

Padrão:

Nome do Enum: InnerErrorCode

Valores de enumeração:

dalleErrorResponse

dalleError

dalleInnerError

Erro interno com detalhes adicionais.

contentFilterSeverityResult

contentFilterDetectedResult

dalleFilterResults

Informações sobre a categoria de filtragem de conteúdo (ódio, sexual, violência, self_harm), se ela foi detectada, bem como o nível de gravidade (very_low, baixo, médio, alto que determina a intensidade e o nível de risco do conteúdo nocivo) e se foi filtrado ou não. Informações sobre conteúdo de jailbreak e palavrões, se foram detectados e se foram filtrados ou não. E informações sobre a lista de bloqueio de clientes, se foi filtrada e seu id.

audioResponse

Resposta de tradução ou transcrição quando response_format era json

audioVerboseResponse

Resposta de tradução ou transcrição quando response_format foi verbose_json

audioResponseFormat

Define o formato da saída.

Descrição: Define o formato da saída.

Tipo: cadeia de caracteres

Padrão:

Valores de enumeração:

• Json
• enviar SMS
• srt
• verbose_json
• vtt

imageQuality

A qualidade da imagem que será gerada.

Descrição: A qualidade da imagem que será gerada.

Tipo: cadeia de caracteres

Padrão: padrão

Nome Enum: Quality

Valores de enumeração:

imagesResponseFormat

O formato no qual as imagens geradas são retornadas.

Descrição: O formato no qual as imagens geradas são retornadas.

Tipo: cadeia de caracteres

Padrão: url

Nome do enum: ImagesResponseFormat

Valores de enumeração:

imageSize

O tamanho das imagens geradas.

Descrição: O tamanho das imagens geradas.

Tipo: cadeia de caracteres

Padrão: 1024x1024

Nome Enum: Tamanho

Valores de enumeração:

imageStyle

O estilo das imagens geradas.

Descrição: O estilo das imagens geradas.

Tipo: cadeia de caracteres

Padrão: vívido

Nome Enum: Style

Valores de enumeração:

generateImagesResponse

Próximas Etapas 

Saiba mais sobre modelos e ajuste fino com a API REST. Saiba mais sobre os modelos underlying que alimentam Azure OpenAI.