适用于笔记本的无服务器计算

本文介绍如何使用适用于笔记本的无服务器计算。 有关使用无服务器计算运行作业的信息,请参阅 使用无服务器计算运行工作流中的 Lakeflow 作业

有关在笔记本环境中使用无服务器计算的定价信息,请参阅 Databricks 定价

要求

  • 你的工作区必须启用 Unity Catalog。

将笔记本附加到无服务器计算

如果为工作区启用了无服务器交互式计算,则工作区中的所有用户都可以访问适用于笔记本的无服务器计算。 不需要其他权限。

若要附加到无服务器计算,请单击笔记本中的计算下拉菜单,然后选择 “无服务器”。 对于新笔记本,如果未选择其他资源,则在执行代码时,附加计算将自动默认设置为无服务器。

查看查询见解

适用于笔记本和作业的无服务器计算使用查询见解来评估 Spark 执行性能。 运行笔记本中的单元格后,可以通过单击“查看性能”链接来查看与 SQL 和 Python 查询相关的见解

显示查询性能

可以单击任一 Spark 语句来查看查询指标。 在此处,可以单击“查看查询配置文件”来查看查询执行的可视化效果。 有关查询配置文件的详细信息,请参阅查询配置文件

注意

若要查看作业运行的性能见解,请参阅查看作业运行查询见解

查询历史记录

在无服务器计算上运行的所有查询也将记录在工作区的查询历史记录页上。 有关查询历史记录的信息,请参阅查询历史记录

查询洞察限制

  • 查询配置文件仅在查询执行终止后才可用。
  • 尽管在执行期间不显示查询概要,指标还是会实时更新。
  • 仅涵盖以下查询状态:RUNNING、CANCELED、FAILED、FINISHED。
  • 无法从查询历史记录页取消正在运行的查询。 可以在笔记本或作业中取消它们。
  • 不提供详细指标。
  • 无法下载查询概要文件。
  • 无法访问 Spark UI。
  • 语句文本仅包含运行的最后一行。 但是,在此行的前面,可能有几行是作为同一语句的一部分运行的。

无服务器超支保护

若要控制长时间运行的查询,无服务器笔记本的默认执行超时为 2.5 小时(9,000 秒)。 超时的查询将被取消。

为工作区中的所有笔记本配置超时

工作区管理员可以更改无服务器笔记本的默认执行超时。 在工作区管理员设置中,转到 “设置>计算 ”,并在 “无服务器交互”下配置 无服务器交互式执行超时 设置。 更改大约需要 5 分钟才能传播。

覆盖单个笔记本的超时设置

若要替代单个笔记本的工作区默认值,请设置 spark.databricks.execution.timeout 在笔记本中。 每个笔记本的设置值优先于工作区设置。 请参阅 为无服务器笔记本和作业配置 Spark 属性