OpenAI 응답 API를 사용하여 쿼리

OpenAI 응답 API는 사용자 지정 도구 및 다단계 워크플로를 포함하여 OpenAI 모델에 대한 추가 기능을 제공하는 채팅 완료 API의 대안입니다.

요구 사항

• 요구 사항을 참조하세요.
• 선택한 쿼리 클라이언트 옵션에 따라 클러스터에 적절한 패키지를 설치합니다.

쿼리 예제

이 섹션의 예제에서는 OpenAI 응답 API를 사용하여 토큰당 종량제 엔드포인트를 쿼리하는 방법을 보여 줍니다.

Python

OpenAI 응답 API를 사용하려면 엔드포인트 이름을 입력으로 model 제공하는 모델을 지정합니다. 다음 예제에서는 컴퓨팅에 an Azure Databricks API 토큰 및 openai 설치되어 있다고 가정합니다. OpenAI 클라이언트를 Azure Databricks 연결하려면 Azure Databricks 작업 영역 인스턴스도 필요합니다.

import os
import openai
from openai import OpenAI

client = OpenAI(
    api_key="dapi-your-databricks-token",
    base_url="https://example.staging.cloud.databricks.com/serving-endpoints"
)

response = client.responses.create(
    model="databricks-gpt-5",
    input=[
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "What is a mixture of experts model?",
      }
    ],
    max_output_tokens=256
)

REST API

curl \
-u token:$DATABRICKS_TOKEN \
-X POST \
-H "Content-Type: application/json" \
-d '{
  "model": "databricks-gpt-5",
  "input": [
    {
      "role": "system",
      "content": "You are a helpful assistant."
    },
    {
      "role": "user",
      "content": "What is a mixture of experts model?"
    }
  ],
  "max_output_tokens": 256
}' \
https://<workspace_host>.databricks.com/serving-endpoints/responses

사용자 지정 도구

사용자 지정 도구를 사용하면 모델이 JSON 형식 함수 인수 대신 임의의 문자열 출력을 반환할 수 있습니다. 이는 코드 생성, 패치 적용 또는 구조적 JSON이 필요하지 않은 기타 사용 사례에 유용합니다.

from databricks_openai import DatabricksOpenAI

client = DatabricksOpenAI()

response = client.responses.create(
    model="databricks-gpt-5",
    input=[{"role": "user", "content": "Write a Python function to calculate factorial"}],
    tools=[
        {
            "type": "custom",
            "name": "code_exec",
            "description": "Executes arbitrary Python code. Return only valid Python code."
        }
    ],
    max_output_tokens=1024
)

기본 제공 도구

기본 제공 도구를 사용하면 도구 백 엔드를 직접 구현할 필요 없이 모델이 플랫폼 제공 기능을 호출할 수 있습니다. 이러한 도구는 구조화된 출력을 반환하며 플랫폼에서 완전히 관리됩니다.

from databricks_openai import DatabricksOpenAI

client = DatabricksOpenAI()

response = client.responses.create(
    model="databricks-gpt-5",
    input=[{
        "role": "user",
        "content": "Add input validation to the factorial function in main.py."
    }],
    tools=[
        {
            "type": "apply_patch"
        }
    ],
    max_output_tokens=1024
)

print(response.output_text)

지원되는 모델

외부 모델

• OpenAI 모델 공급자
• OpenAI 모델 공급자 Azure

지원되는 입력 유형

Azure Databricks OpenAI GPT 모델은 텍스트 및 이미지 입력을 허용합니다. 이미지 형식 및 크기 요구 사항은 Query Vision 모델을 참조하세요. 모델별 입력 형식은 Foundation Model API에서 사용할 수 있는 Databricks 호스팅 기본 모델을 참조하세요.

제한점

토큰당 종량제 기본 모델에만 다음 제한 사항이 적용됩니다. 외부 모델은 모든 응답 API 매개 변수 및 도구를 지원합니다.

다음 매개 변수는 지원되지 않으며 지정된 경우 400 오류를 반환합니다.

• background — 백그라운드 처리는 지원되지 않습니다.
• store — 저장된 응답은 지원되지 않습니다.
• previous_response_id — 저장된 응답은 지원되지 않습니다.
• service_tier — 서비스 계층 선택은 Azure Databricks 의해 관리됩니다.

토큰당 종량제 기본 모델에는 다음 도구 유형이 지원됩니다.

• function — 기존의 구조적 함수 호출
• custom - 사용자 지정 사용자 정의 도구
• apply_patch — 코드 패치 작업
• shell — 셸 명령 실행
• image_generation — 이미지 생성
• mcp — 모델 컨텍스트 프로토콜 도구
• web_search — 웹 검색

추가 리소스

• 채팅 모델을 쿼리합니다.
• Azure Databricks에서 함수 호출.
• Azure Databricks 구조화된 출력입니다.