在 编写代理 并将其部署到 Databricks Apps 上之后,请按以下顺序将其投入生产环境:
| Page | Description |
|---|---|
| 1.为 Databricks Apps 代理设置 CI/CD | 通过 GitHub Actions 自动部署 Databricks Apps。 使用工作负载标识联合(无需长期有效的密钥),以及代理模板中附带的入门工作流。 |
| 2. 对 Databricks Apps 代理进行负载测试 | 找出您的代理可持续承受的最大 QPS。 对您的代理的 mock LLM 构建版本运行逐步升压至饱和的负载测试,以将 Databricks Apps 基础设施吞吐量与模型延迟区分开来。 |
| 3. 使用 Unity AI 网关控制 LLM 使用情况 | 通过 Unity AI 网关转发 LLM 调用。 集中管理权限,将成本归属到每个应用,切换模型,并在无需修改代理代码的情况下检查或重放流量。 |
有关非特定于代理的泛型 Databricks Apps CI/CD,请参阅 CI/CD for Databricks Apps with GitHub Actions。