专用计算要求和限制

本页概述了专用计算的要求和限制。 大多数专用计算限制依赖于运行时,因为随着时间推移添加了功能支持。

重要

Init 脚本和库对各访问模式和 Databricks Runtime 版本提供不同的支持。 请参阅 初始化脚本可以安装在哪里?计算范围库

分配给组的专用计算具有其他限制。 请参阅 组访问限制

精细访问控制支持

专用计算支持精细访问控制,但需要满足某些要求:

如果专用计算在 Databricks Runtime 15.3 或更低版本上运行:

  • 无法访问具有行筛选器或列掩码的表。
  • 无法访问动态视图
  • 若要从任何视图中读取,必须在视图引用的所有表和视图上具有 SELECT 权限。

专用计算中的流式处理和物化视图要求

  • 若要查询由其他用户使用 Lakeflow Spark 声明性管道(包括流式表和物化视图)创建的表,您的工作区必须启用无服务器计算,并确保专用计算使用 Databricks Runtime 15.4 或更高版本。 请参阅“使用独立流式表”“使用独立物化视图”
  • Databricks Runtime 12.2 LTS 及更新版本支持异步检查点。
  • Databricks Runtime 15.1 及更高版本支持使用 StreamingQueryListener 与 Unity Catalog 管理的对象进行交互。
  • Python foreachBatch 不支持 ThreadPoolExecutor 或多线程执行。 多线程执行可能不会引发错误,但可能会导致数据损坏或结果不一致。

用户定义的函数

  • 专用计算资源不支持 Unity Catalog Python UDF。 使用无服务器计算、标准访问模式的计算资源、无服务器或 Pro SQL 仓库,或 Lakeflow Spark 声明式管道来运行 Unity Catalog Python UDF。 请参阅 Unity Catalog 中的用户定义函数 (UDF)