2023 年 8 月

这些功能和Azure Databricks平台改进于 2023 年 8 月发布。

注意

发布分阶段进行。 在初始发布日期后的一周或更晚之前,Azure Databricks工作区可能不会更新。

2023 年 8 月 31 日

Unity Catalog 中注册的表现在显示在顶部栏的导航搜索中。 请参阅搜索工作区对象

Databricks CLI 已更新到版本 0.203.3(公共预览版)

2023 年 8 月 30 日

Databricks 命令行接口 (Databricks CLI) 已更新到版本 0.203.3。 如需更多详细信息,请参阅版本 0.203.3 的更改日志。

Databricks JDBC 驱动程序 2.6.34

2023 年 8 月 30 日

已发布 Databricks JDBC 驱动程序版本 2.6.34(下载)。 此版本通过升级第三方库解决了许多漏洞问题。 此外,此版本还修复了以下问题:

  • 当查询无法连接到服务器时线程泄漏。
  • 表元数据的 REMARKS 列中缺少注释。
  • 当结果集关闭操作返回错误时,连接器不会清理检测信号线程中的操作句柄条目。

此版本还通过接受来自服务器的 SQLState 和错误代码改进错误消息处理,并正确检查服务器协议版本。

Databricks SDK for Go 已更新到版本 0.18.0(Beta 版)

2023 年 8 月 29 日

Databricks Go SDK 版本 0.18.0 引入了 17 项破坏性 API 更改,新增 30 个 API,并新增约 12 个字段。 如需更多详细信息,请参阅版本 0.18.0 的更改日志。

用于Python的 Databricks SDK 已更新到版本 0.7.0 (Beta)

2023 年 8 月 29 日

Databricks SDK for Python 版本 0.7.0 引入了文件 API 的重大更改,以及 17 项额外的重大变更。 此版本还会添加 14 个字段,并添加 27 个数据类。 如需更多详细信息,请参阅版本 0.7.0 的更改日志。

Databricks Terraform 提供程序已更新至版本 1.24.1

2023 年 8 月 29 日

Databricks Terraform 提供程序版本 1.24.1 修复了工作区可达性验证的问题。 如需更多详细信息,请参阅版本 1.24.1 的更改日志。

DBFS 生命周期结束的 init 脚本已延长至 2023 年 12 月 1 日

2023 年 8 月 29 日

Databricks 此前宣布,DBFS 上的 init 脚本将于 2023 年 9 月 1 日终止服务。 生命周期结束日期已延长至 2023 年 12 月 1 日。

Databricks Runtime 14.0(beta 版本)

2023 年 8 月 29 日

Databricks Runtime 14.0 和 Databricks Runtime 14.0 ML 现已作为 Beta 版本提供。

请参阅 Databricks Runtime 14.0 (EoS)Databricks Runtime 14.0 for Machine Learning (EoS)

统一导航体验已正式发布

2023 年 8 月 28 日

统一的 Azure Databricks 导航体验现已正式发布。 用户无法再回到经典导航体验。 有关详细信息,请参阅 工作区 UI

Databricks Terraform 提供程序已更新到版本 1.24.0

2023 年 8 月 25 日

Databricks Terraform 提供程序版本 1.24.0 添加了对 Unity Catalog 对象的账号级 API 支持,为多个数据源新增 acl_principal_id 字段,此外还有其他新增功能。 如需更多详细信息,请参阅版本 1.24.0 的更改日志。

Genomics 的 Databricks Runtime 设置已从工作区管理设置页中移除

2023 年 8 月 25 日

工作区管理员无法再从工作区管理员设置页或工作区配置 API,为基因科学启用或禁用 Azure Databricks Runtime。 Databricks 基因组学运行时已弃用,并且于 2022 年 9 月 24 日删除了对用于基因组学的 Databricks Runtime 的支持。

Databricks 基因组学运行时已弃用。 有关开源对应项,请参阅 genomics-pipelinesGlow 的代码库。

有关 Databricks Runtime 弃用策略和计划的详细信息,请参阅支持的 Databricks Runtime LTS 版本

已从工作区管理员设置页中移除容器服务设置

2023 年 8 月 25 日

工作区管理员无法再从工作区管理员设置页启用或禁用容器服务。 容器服务使你能够在群集上使用客户容器。 默认情况下,此服务在所有新工作区上均启用。 仍可使用工作区配置 API 启用或禁用容器服务。 有关详细信息,请参阅启用容器服务

Databricks CLI 已更新到版本 0.203.2(公共预览版)

2023 年 8 月 24 日

Databricks 命令行接口 (Databricks CLI) 已更新到版本 0.203.2。 如需更多详细信息,请参阅版本 0.203.2 的更改日志。

转到Python笔记本中函数和变量的定义

2023 年 8 月 24 日

在 Databricks Runtime 12.2 LTS 及更高版本中,当Python笔记本附加到群集时,可以自动导航到该笔记本中定义的变量或函数的定义。 有关详细信息,请参阅转到定义

Databricks Runtime 13.3 LTS 现已正式发布

2023 年 8 月 22 日

Databricks Runtime 13.3 LTS 和 Databricks Runtime 13.3 LTS ML 现已正式发布。

请参阅 Databricks Runtime 13.3 LTSDatabricks Runtime 13.3 LTS for Machine Learning

Unity Catalog 标记简介

2023 年 8 月 22 日

你现在可以将标记应用于 Unity Catalog 中的安全对象。 标记有助于组织安全对象并简化数据资产的搜索和发现。 请参阅“将标记应用于 Unity Catalog 安全对象”。

Unity Catalog 共享群集上的 init 脚本、JAR 和 Maven 坐标的允许列表为公共预览版

2023 年 8 月 23 日

现在可以使用 Unity Catalog allowlist 来控制在运行 Databricks Runtime 13.3 和更高版本的共享访问模式的计算中安装 init 脚本、JAR 和 Maven 坐标。 请参阅在采用标准访问模式(以前称为“共享访问模式”)的计算上将库和初始化脚本加入允许列表

对 init 脚本和 JAR 的卷支持为公共预览版

2023 年 8 月 23 日

现在,你可以使用 Unity Catalog 卷,在分配或共享访问模式运行 Databricks Runtime 13.3 及更高版本的计算上存储 init 脚本和 JAR。 请参阅计算范围的库从卷中安装库

更轻松地将 .ipynb 文件输出提交至 Databricks Repos

2023 年 8 月 21 日

Databricks Repos添加了功能,使提交 .ipynb 文件的输出更容易控制和查看:

  • Repos可以为你创建commit_output配置文件。
  • UI 中的通知让你可以知道输出提交的状态。
  • 在“文件”菜单中,可以控制是否提交笔记本输出。

请参阅控制 .ipynb 笔记本输出提交

Databricks Repos 中的 IPYNB 笔记本支持已进入正式版

2023 年 8 月 21 日

Databricks Repos中的 IPYNB 笔记本文件支持已正式推出。 有关Repos的详细信息,请参阅:

Databricks SDK for Go 已更新到版本 0.17.0(Beta 版)

2023 年 8 月 18 日

Databricks Go SDK 版本 0.17.0 新增超过 30 个 API,并重命名约 10 个 API。 如需更多详细信息,请参阅版本 0.17.0 的更改日志。

用于Python的 Databricks SDK 已更新到版本 0.6.0 (Beta)

2023 年 8 月 18 日

适用于 Python 版本 0.6.0 的 Databricks SDK 添加了大约 20 个数据类、大约 10 个 API,以及大约 20 个重命名。 如需更多详细信息,请参阅版本 0.6.0 的更改日志。

Databricks CLI 已更新到版本 0.203.1(公共预览版)

2023 年 8 月 16 日

Databricks 命令行接口 (Databricks CLI) 已更新到版本 0.203.1。 如需更多详细信息,请参阅版本 0.203.1 的更改日志。

统一架构浏览器现已正式发布

2023 年 8 月 16 日

现在,笔记本、SQL 编辑器和目录资源管理器可以使用统一的方法来导航数据,包括以下新功能:

  • 树的精简版本。
  • 筛选时在架构级别显示 Unity Catalog 对象计数。
  • 右键单击菜单查看操作。

如果你在脚本或模板中编码 ID,无服务器子网更改可能会影响你

2023 年 8 月 15 日

如果使用 Azure Storage 防火墙,直到 8 月底,某些子网 ID 将发生更改。 这不会对大多数客户有影响,因为 Azure 会自动迁移现有的存储防火墙规则中的子网 ID。 此迁移不会影响现有工作负载。

如果在更新Azure存储防火墙规则的模板或脚本中对无服务器子网列表进行编码,则必须在尝试更新规则之前获取最新的子网 ID 列表。 有关每个区域的最新 ID,请参阅 Azure Databricks 区域

Databricks SDK for Go 已更新到版本 0.16.0(Beta 版)

2023 年 8 月 14 日

Databricks Go SDK 版本 0.16.0 新增约 12 个字段,移除约 6 个字段,并更改了约 6 个 API 的签名。 如需更多详细信息,请参阅版本 0.16.0 的更改日志。

Partner Connect 支持 Census

2023 年 8 月 14 日

现在可以使用合作伙伴连接将Azure Databricks工作区连接到人口普查。 有关详细信息,请参阅连接到 Census

Azure Key Vault客户管理的密钥现在支持托管 HSM 密钥

2023 年 8 月 14 日

某些Azure Databricks服务和数据支持添加客户管理的密钥,以帮助保护和控制对加密数据的访问。 Azure Databricks有三项客户管理的密钥功能,这些功能涉及不同类型的数据和位置。 这三项功能现在都支持 Azure Key Vault 管理型 HSM(硬件安全模块),以及 Azure Key Vault 保管库中的客户管理密钥。 请参阅用于加密的客户管理的密钥

用于Python的 Databricks SDK 已更新到版本 0.5.0 (Beta)

2023 年 8 月 11 日

databricks SDK for Python 版本 0.5.0 更改了 50 个 API 的签名,添加十几个字段,删除六个字段,并添加几个数据类。 如需更多详细信息,请参阅版本 0.5.0 的更改日志。

对工作区文件的编程写入支持

2023 年 8 月 11 日

使用 Databricks Runtime 11.2 及更高版本的群集支持写入工作区文件。 可以编程方式在工作区中创建、更新和删除文件和目录。

Databricks CLI 已更新到版本 0.203.0(公共预览版)

2023 年 8 月 10 日

Databricks 命令行接口 (Databricks CLI) 版本 0.203.0 改进了 auth login 命令等。 如需更多详细信息,请参阅版本 0.203.0 的更改日志。

Databricks Terraform 提供程序已更新至版本 1.23.0

2023 年 8 月 9 日

Databricks Terraform 提供程序版本 1.23.0 通过 RunJobTask 中的其他受支持字段扩展了 databricks_job,并添加了 databricks_model_serving 的导出程序支持,此外还有其他新增功能。 如需更多详细信息,请参阅版本 1.23.0 的更改日志。

现在可以重命名组

2023 年 8 月 8 日

现在可以重命名现有帐户组和工作区本地组。 请参阅更改传感器的名称

Databricks SDK for Go 已更新至版本 0.15.0(Beta 版本)

2023 年 8 月 7 日

Databricks Go SDK 版本 0.15.0 对权限相关 API 进行了重构,使其更易理解和使用。 如需更多详细信息,请参阅版本 0.15.0 的更改日志。

用于Python的 Databricks SDK 已更新到版本 0.4.0 (Beta)

2023 年 8 月 7 日

Databricks SDK 0.4.0 版用于 Python 重构了与权限相关的 API,使其更易于理解和使用。 如需更多详细信息,请参阅版本 0.4.0 的更改日志。

已移除第三方 iframe 嵌入防护配置项

2023 年 8 月 7 日

Azure Databricks 通过添加适当的 HTTP 标头来降低 Azure Databricks 第三方域发生 iFraming 的风险。 默认仍启用第三方 iFraming 防护,但Azure Databricks删除工作区管理员设置以禁用它。 如果之前为工作区禁用了第三方 iFraming,则该功能将继续针对该工作区禁用。 若要重新启用第三方 iFraming,请联系Azure Databricks帐户团队。

Visual Studio Code的 Databricks 扩展已更新到版本 1.1.1

2023 年 8 月 4 日

适用于 Visual Studio Code 的 Databricks 扩展版本 1.1.1 提供了几个次要修补程序,例如正确处理 Windows 上的环境变量,等等。 如需更多详细信息,请参阅版本 1.1.1 的更改日志。

LangChain 在 13.1 及更高版本中可用

2023 年 8 月 4 日

LangChain 作为实验性 MLflow 风格提供,它允许 LangChain 客户直接从Azure Databricks环境中利用 MLflow 的强大工具和试验跟踪功能。

LangChain 是一个软件框架,旨在帮助创建利用大型语言模型 (LLM) 的应用程序,并将其与外部数据相结合,为 LLM 带来更多的训练上下文。

Databricks Runtime for Machine Learning 包括 Databricks Runtime 13.1 ML 及更高版本中的 langchain

Unity Catalog 中的特征工程为公共预览版

2023 年 8 月 3 日

借助 Unity Catalog 中的功能工程,Unity Catalog 将成为特征存储区。 可以使用具有主键的任何增量表作为特征表进行模型训练或推理。 Unity Catalog 提供功能发现和治理。

改进了针对重复连续作业失败的错误处理

2023 年 8 月 3 日

超过连续故障阈值的连续作业现在使用指数退避方案有效地重试作业运行,并使作业能够从暂时性问题中恢复。 以前,超过失败阈值的连续作业会被暂停,并且不会重试。

无服务器 SQL 仓库现在可在其他区域使用

2023 年 8 月 3 日

无服务器 SQL 仓库现已在以下更多地区开放:澳大利亚东部、加拿大中部、美国西部 2、美国中南部、东南亚。 请参阅 Azure Databricks 区域

如果计划使用 Azure Storage 防火墙,请将防火墙配置为允许从无服务器 SQL 仓库子网进行访问。 请参阅 Azure Databricks 区域

使用增量共享共享架构(公共预览版)

2023 年 8 月 2 日

现在,可以使用增量共享来共享整个架构,使接收者能够在共享架构时访问该架构中的所有表和视图,以及将来添加到该架构中的任何表和视图。 使用 SQL 命令将架构添加到共享需要 SQL 仓库,或者运行 Databricks Runtime 13.2 或更高版本的集群。 使用目录资源管理器执行相同操作没有计算要求。 请参阅向共享添加架构

在 Azure Databricks 作业中有条件地执行任务

2023 年 8 月 2 日

可以使用新的 Run if 条件根据任务依赖项的状态运行作业任务,从而在实现具有Azure Databricks作业的工作流时提供更大的灵活性。 例如,可以使用 Run if 条件在任务的部分或全部依赖项失败时运行任务。 请参阅配置任务依赖项

Databricks Terraform 提供程序已更新到版本 1.22.0

2023 年 8 月 1 日

Databricks Terraform 提供程序版本 1.22.0 添加了 databricks_access_control_rule_set 资源以及 databricks_metastoredatabricks_metastore 数据源等。 如需更多详细信息,请参阅版本 1.22.0 的更改日志。

增强的安全性与合规性功能

2023 年 8 月 1 日

可以启用合规性安全配置文件,在工作区上提供其他监视、强化计算映像和其他功能。 合规性安全配置文件需要使用Azure Databricks来处理受 PCI-DSS 监管的数据,但如果未处理此类数据,可以选择启用配置文件。 你全权负责确保自己遵守所有适用的法律和法规。

或者,可以单独启用增强安全监控,从而提供额外的监控和强化的计算映像。

这两项功能均作为新增的增强安全性与合规性的一部分提供。 如果在工作区上启用这些功能之一,则会按定价页上所述为新增功能付费。 这两种功能都需要高级定价层。

湖屋监视为公共预览版

2023 年 8 月 1 日

Databricks Lakehouse Monitoring 将数据质量与模型质量监控集成至 Databricks 平台中。 它提供现成的质量指标,例如汇总统计信息、随时间推移的分布变化以及模型性能(包括公平性和偏见)。 湖屋监视会自动生成摘要仪表板,以帮助直观呈现数据质量随时间推移的变化。 还可以根据数据设置警报。

Databricks Runtime 13.3 LTS(Beta 版本)

2023 年 8 月 1 日

Databricks Runtime 13.3 LTS 和 Databricks Runtime 13.3 LTS ML 现已作为 Beta 版本提供。

请参阅 Databricks Runtime 13.3 LTSDatabricks Runtime 13.3 LTS for Machine Learning

新 Git 操作已正式发布:合并分支、变基和拉取并解决冲突

2023 年 8 月 1 日

Databricks Repos 中现已普遍可用以下 Git 操作:

  • 合并和变基:现在可以直接在 Azure Databricks 中Git merge变基两个分支。 这简化了合并分支的过程,并且能够解决操作过程中出现的冲突。
  • 拉取及冲突解决:现在可以使用 Databricks Repos 功能,管理和解决通过 Azure Databricks 从远程 Git 存储库拉取时发生的冲突。

借助这些强大的新冲突解决工具,通过 Databricks Repos 进行代码协作变得更加精简高效。