Azure Databricks提供了多种方式来查询大型语言模型（LLM）、基础模型和已部署的代理。 根据工作流选择交互式 UI、SQL、REST API 或客户端库。
AI 试验场
AI Playground是Azure Databricks工作区中用于提示和比较 LLM 的无代码聊天环境。 使用它来测试提示词、调整温度和最大令牌数等参数，并并排搭建工具调用代理和问答机器人的原型，然后再开始编写代码。
使用 AI 函数扩充数据
AI 函数是内置 SQL 函数，可将 LLM 和其他模型应用于存储在Azure Databricks中的数据。 从 Databricks SQL、笔记本、Lakeflow Spark 声明性管道或工作流运行它们，以分类支持票证、从文档中提取实体、汇总内容或批量翻译文本。
在两种函数样式之间进行选择：
-
特定任务函数（如
ai_classify、ai_extract和ai_parse_document）针对单一任务进行了优化，并使用由 Azure Databricks 托管、以研究为基础的系统。 -
ai_query是常规用途函数 - 提供自己的提示并选择任何受支持的基础模型。 请参阅 “使用ai_query”。
有关端到端示例，请参阅 使用 AI Functions 分析客户评论。
查询代理
生成并部署代理后，请从应用程序 查询代理 。 代理可以托管在 Databricks 应用或马赛克 AI 模型服务终结点上。 Azure Databricks支持三种查询方法：
- Databricks OpenAI 客户端 — 推荐用于新应用，支持原生流式处理和全面的功能支持。
- 与 OpenAI 兼容的 REST API （ 与 语言无关）适用于任何已经讲 OpenAI API 的平台。
-
ai_query- 从 SQL 查询模型服务终结点上托管的旧代理。
基础模型
Mosaic AI 模型服务通过统一的 API 提供开放基础模型、由 Azure Databricks 管理的基础模型和外部基础模型。 选择适合工作负荷的部署选项：
- 按 Token 付费 — 在您的工作区中查询预配置的端点，无需投入基础设施。 适合实验。
- 预配的吞吐量 - 为生产部署优化服务和性能保证的微调模型。
- 外部模型 — 通过 Azure Databricks 的治理将请求路由到 OpenAI 或 Anthropic 等提供商。