使用基础模型

在本文中，你将了解可用于编写基础模型的查询请求的选项，以及如何将它们发送到模型服务终结点。 可以查询 Databricks 托管的基础模型和 Databricks 外部托管的基础模型。

有关传统的 ML 或 Python 模型查询请求，请参阅查询自定义模型的服务终结点。

模型服务 支持 基础模型 API 和 外部模型 来访问基础模型。 模型服务使用与 OpenAI 兼容的统一 API 和 SDK 进行查询。 这样，就可以跨受支持的云和提供商试验和自定义生产的基础模型。

查询选项

模型服务提供以下选项，用于向为基础模型提供服务的终结点发送查询请求：

要求

• 模型服务终结点。
• Databricks 工作区位于受支持的区域中。
  • 基础模型 API 区域
  • 外部模型区域
• 若要通过 OpenAI 客户端 REST API 或 MLflow 部署 SDK 发送评分请求，你必须有 Databricks API 令牌。

安装软件包

选择查询方法后，必须先将相应的包安装到群集。

OpenAI 客户端

若要使用 OpenAI 客户端，需要在群集上安装 databricks-openai 包。 此包提供一个 OpenAI 客户端，该客户端自动配置为查询生成式人工智能模型。 在笔记本或本地终端中运行以下命令：

pip install -U databricks-openai

仅当在 Databricks Notebook 上安装包时，才需要满足以下条件

dbutils.library.restartPython()

REST API

Databricks Runtime 中提供对服务 REST API 的访问，供机器学习使用。

MLflow 部署 SDK

!pip install mlflow

仅当在 Databricks Notebook 上安装包时，才需要满足以下条件

dbutils.library.restartPython()

Databricks Python SDK

所有使用 Databricks Runtime 13.3 LTS 或更高版本的 Azure Databricks 群集上均已安装了 Databricks SDK for Python。 对于使用 Databricks Runtime 12.2 LTS 及更低版本的 Azure Databricks 群集，必须先安装 Databricks SDK for Python。 请参阅 用于 Python 的 Databricks SDK。

基础模型类型

下表总结了基于任务类型支持的基础模型。

函数调用

Databricks 函数调用与 OpenAI 兼容，仅在模型服务期间作为基础模型 API 的一部分提供，并提供为外部模型提供服务的终结点。 有关详细信息，请参阅 Azure Databricks 上的函数调用。

结构化输出

结构化输出与 OpenAI 兼容，仅在作为 基础模型 API 的一部分的模型服务期间可用。 有关详细信息，请参阅 Azure Databricks 上的结构化输出。

提示缓存

作为 基础模型 API 的一部分，Databricks 托管的 Claude 模型支持提示缓存。

可以在查询请求中指定 cache_control 参数来缓存以下内容：

• messages.content 数组中的文本内容消息。
• 在 messages.content 数组中处理消息内容。
• 数组中的 messages.content 图像内容块。
• 工具的使用、结果和定义在数组tools 中。

请参阅 基础模型 REST API 参考。

TextContent

{
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "What's the date today?",
          "cache_control": { "type": "ephemeral" }
        }
      ]
    }
  ]
}

理由内容

{
  "messages": [
    {
      "role": "assistant",
      "content": [
        {
          "type": "reasoning",
          "summary": [
            {
              "type": "summary_text",
              "text": "Thinking...",
              "signature": "[optional]"
            },
            {
              "type": "summary_encrypted_text",
              "data": "[encrypted text]"
            }
          ]
        }
      ]
    }
  ]
}

ImageContent

图像消息内容必须使用编码的数据作为其源。 不支持 URL。

{
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "What’s in this image?"
        },
        {
          "type": "image_url",
          "image_url": {
            "url": "data:image/jpeg;base64,[content]"
          },
          "cache_control": { "type": "ephemeral" }
        }
      ]
    }
  ]
}

ToolCallContent

{
  "messages": [
    {
      "role": "assistant",
      "content": "Ok, let’s get the weather in New York.",
      "tool_calls": [
        {
          "type": "function",
          "id": "123",
          "function": {
            "name": "get_weather",
            "arguments": "{\"location\":\"New York, NY\"}"
          },
          "cache_control": { "type": "ephemeral" }
        }
      ]
    }
  ]
}

使用 AI 操场与支持的 LLM 聊天

可以使用 AI 操场与受支持的大语言模型进行交互。 AI 操场是类似聊天的环境，可以在该处测试、提示和比较 Azure Databricks 工作区的 LLM。

其他资源

• 使用已启用 Unity AI 网关的推理表监视服务模型
• 部署批处理推理管道
• Databricks 基础模型 API
• 模型服务中的外部模型
• 教程：创建外部模型终结点以查询 OpenAI 模型
• 在基础模型 API 中提供的由 Databricks 托管的基础模型
• 基础模型 REST API 参考