Databricks Runtime 19 pour Machine Learning (bêta)

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 19 ML.

Azure Databricks publié cette version en juin 2026.

Important

Databricks Runtime 19 est en version bêta. Le contenu des environnements pris en charge peut changer pendant la version bêta. Les modifications peuvent inclure la liste des packages ou des versions des packages installés.

Databricks Runtime 19 ML est basé sur Databricks Runtime 19. Pour plus d’informations sur les nouveautés de Databricks Runtime 19, notamment Apache Spark MLlib et SparkR, consultez les notes de publication databricks Runtime 19 (bêta).

Changements comportementaux

  • Python packages supprimés : par rapport à Databricks Runtime 18 ML, environ 40 packages d’exécution ML sont supprimés dans Databricks Runtime 19 ML, en plus des packages supprimés de Databricks Runtime 19. La pile TensorFlow/Keras (tensorflow, , kerastf_keras) est supprimée. Les charges de travail qui dépendent de ces packages doivent les installer explicitement à l’aide d’une bibliothèque de cluster ou d’un script init. Pour obtenir la liste complète des packages inclus dans Databricks Runtime 19 ML, consultez Python bibliothèques.

Nouvelles fonctionnalités et améliorations

Les mises à jour de bibliothèque sont les suivantes :

  • Mise à jour CUDA vers la version 13.0
  • flash_attn 2.8.3
  • langchain 1.3.1
  • mlflow-skinny 3.12.0
  • openai 2.37.0
  • torch 2.12.0
  • torchvision 0.27.0
  • transformateurs 4.57.6
  • triton 3.7.0
  • xgboost 3.2.0

Environnement du système

L’environnement système dans Databricks Runtime 19 ML diffère de Databricks Runtime 19 comme suit.

  • Pour les clusters GPU, Databricks Runtime ML inclut les bibliothèques GPU NVIDIA suivantes :
    • CUDA 13.0
    • cublas 13.1.1.3-1
    • cusolver 12.0.4.66
    • cupti 13.0.85
    • cusparse 12.6.3.3
    • cuDNN 9.23.0.39
    • NCCL 2.28.3

Libraries

Les sections suivantes répertorient les bibliothèques incluses dans Databricks Runtime 19 ML qui diffèrent de celles incluses dans Databricks Runtime 19.

Bibliothèques de niveau supérieur

Databricks Runtime 19 ML inclut les bibliothèques de niveau supérieur suivantes :

bibliothèques de Python

Databricks Runtime 19 ML utilise virtualenv pour Python gestion des packages et inclut de nombreux packages ML populaires.

Pour reproduire l’environnement Python de Databricks Runtime ML dans votre environnement virtuel Python local, téléchargez requirements-cpu-19.txt pour les clusters CPU ou requirements-gpu-19.txt pour les clusters GPU. Ensuite, exécutez pip install -r requirements-<cpu|gpu>-19.txt. Cette commande installe toutes les bibliothèques open source que Databricks Runtime ML utilise, mais n’installe pas les bibliothèques développées par Databricks.

Bibliothèques Python sur les clusters processeurs

Library Version Library Version Library Version
absl-py 2.3.1 accélérer 1.13.0 aiohappyeyeballs 2.6.1
aiohttp 3.13.2 aiohttp-cors 0.8.1 aiosignal 1.4.0
alembic 1.18.4 document annoté 0.0.4 annotated-types 0.7.0
anyio 4.10.0 arro3-core 0.8.0 asttokens 3.0.0
astunparse 1.6.3 attrs 25.4.0 lecture de fichiers audio 3.1.0
commande automatique 2.2.2 azure-core 1.41.0 azure-cosmos 4.3.1
azure-identity 1.25.3 azure-mgmt-core 1.6.0 azure-mgmt-web 10.1.0
azure-storage-blob 12.29.0 azure-storage-file-datalake 12.24.0 backports.tarfile 1.2.0
noir 25.9.0 clignotant 1.7.0 blis 1.3.3
boto3 1.40.46 botocore 1.40.46 cachetools 5.5.1
catalogue 2.0.10 certifi 2025.11.12 cffi 2.0.0
charset-normalizer 3.4.4 cliquez 8.2.1 cloudpathlib 0.24.0
cloudpickle 3.1.1 cmdstanpy 1.3.0 coloré 0.5.8
colorlog 6.10.1 comm 0.2.3 confection 1.3.3
contourpy 1.3.3 cryptography 46.0.3 cycler 0.11.0
cymem 2.0.13 databricks-agents 1.10.2 Ingénierie des fonctionnalités Databricks 0.13.0.1
databricks-sdk 0.108.0 dataclasses-json 0.6.7 datasets 4.8.5
dbl-tempo 0.1.26 dbus-python 1.3.2 debugpy 1.8.16
decorator 5.2.1 deepspeed 0.19.0 deltalake 1.5.1
Deprecated 1.3.1 dill 0.4.0 distlib 0.4.0
dm-tree 0.1.10 einops 0.8.2 évaluer 0.4.6
exécution 2.2.1 Farama-Notifications 0.0.6 fastapi 0.136.1
filelock 3.20.0 Flask 2.2.5 fonttools 4.60.1
frozenlist 1.8.0 fsspec 2023.5.0 gitdb (base de données Git) 4.0.11
GitPython 3.1.45 google-api-core 2.30.3 google-auth 2.53.0
google-cloud-core 2.6.0 google-cloud-storage 3.10.1 google-crc32c 1.8.0
google-resumable-media 2.9.0 googleapis-common-protos 1.71.0 graphql-core 3.2.4
greenlet 3.2.4 grpcio 1.76.0 grpcio-status 1.76.0
gymnasium 0.28.1 h11 0.16.0 hf-xet 1.5.0
hjson 3.1.0 vacances 0.54 httpcore 1.0.9
httplib2 0.20.4 httpx 0.28.1 huggingface_hub 0.36.2
IDNA 3.11 ImageIO 2.37.2 imbalanced-learn 0.14.0
importlib_metadata 8.7.0 importlib_resources 7.1.0 inflect 7.3.1
iniconfig 2.1.0 ipyflow-core 0.0.227 ipykernel 6.31.0
ipython 9.7.0 ipython_pygments_lexers 1.1.1 ipywidgets 8.1.7
isodate 0.7.2 c'est dangereux 2.2.0 jaraco.collections 5.1.0
jaraco.context 5.3.0 jaraco.functools 4.0.1 jaraco.text 3.12.1
jax-jumpy 1.0.0 jedi 0.19.2 Jinja2 3.1.6
jiter 0.15.0 jmespath 1.0.1 joblib 1.5.2
joblibspark 0.6.0 jsonpatch 1.33 jsonpointer 3.1.1
jsonschema 4.25.0 spécifications du schéma JSON 2025.9.1 jupyter_client 8.6.3
jupyter_core 5.8.1 jupyterlab_widgets 3.0.15 kiwisolver 1.4.8
langchain 1.3.1 langchain-core 1.4.0 langchain-protocol 0.0.15
langgraph 1.2.1 langgraph-checkpoint 4.1.1 langgraph-prebuilt 1.1.0
langgraph-sdk 0.3.15 langsmith 0.4.41 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 lazy_loader 0.4
librosa 0.11.0 lightgbm 4.6.0 linkify-it-py 2.0.3
llvmlite 0.45.1 lz4 4.4.5 Mako 1.3.12
marisa-trie 1.2.0 Markdown 3.8 markdown-it-py 2.2.0
MarkupSafe 3.0.2 marshmallow 3.26.2 matplotlib 3.10.6
matplotlib-inline 0.2.1 Mccabe 0.7.0 mdit-py-plugins 0.5.0
mdurl 0.1.2 memray 1.19.3 mlflow-skinny 3.12.0
mmh3 5.2.1 more-itertools 10.3.0 mpmath 1.3.0
msal 1.36.0 msal-extensions 1.3.1 msgpack 1.1.2
msrest 0.7.1 multidict 6.7.0 multiprocess 0.70.18
murmurhash 1.0.15 mypy-extensions 1.0.0 nest-asyncio 1.6.0
networkx 3,5 ninja 1.13.0 nltk 3.9.2
nodeenv 1.10.0 numba 0.62.1 numpy 2.3.4
nvidia-nccl-cu12 2.30.4 oauthlib 3.2.0 openai 2.37.0
opencensus 0.11.4 opencensus-context 0.1.3 opentelemetry-api 1.42.1
opentelemetry-proto 1.42.1 opentelemetry-sdk 1.42.1 opentelemetry-semantic-conventions 0.63b1
optuna 3.6.1 optuna-integration 3.6.0 orjson 3.11.9
ormsgpack 1.12.2 packaging 25.0 pandas 2.3.3
parso 0.8.5 pathspec 0.12.1 patsy 1.0.1
pexpect 4.9.0 pillow 12.0.0 pip 25,3
platformdirs 4.5.0 pluggy 1.5.0 pooch 1.9.0
preshed 3.0.13 prometheus_client 0.21.1 prompt_toolkit 3.0.52
propcache 0.3.1 prophète 1.2.1 proto-plus 1.28.0
protobuf 6.33.5 psutil 7.0.0 ptyprocess 0.7.0
pure_eval 0.2.3 py-cpuinfo 9.0.0 py-spy 0.4.2
pyarrow 21.0.0 pyasn1 0.6.1 pyasn1_modules 0.4.2
pyccolo 0.0.83 pycparser 2.23 pydantic 2.13.3
pydantic_core 2.46.3 pyflakes 3.2.0 Pygments 2.19.2
PyGObject 3.48.2 pyiceberg 0.11.1 PyJWT 2.10.1
pyparsing 3.2.5 pyright 1.1.409 pyroaring 1.1.0
pytesseract 0.3.13 pytest 8.4.2 python-dateutil 2.9.0.post0
python-dotenv 1.2.2 éditeur Python 1.0.4 pytokens 0.2.0
pytz 2025.2 PyYAML 6.0.3 pyzmq 27.1.0
ray 2.37.0 référencement 0.37.0 regex 2025.9.1
requests 2.32.5 requests-oauthlib 2.0.0 requests-toolbelt 1.0.0
riche 14.2.0 rpds-py 0.28.0 s3transfer 0.14.0
safetensors 0.7.0 scikit-image 0.25.2 scikit-learn 1.7.2
scipy 1.16.3 transformateurs de phrases 5.5.1 sentencepiece 0.2.1
setuptools 80.9.0 shap 0.51.0 shellingham 1.5.4
six 1.17.0 découpeur 0.0.8 smart_open 7.6.1
smmap 5.0.0 sniffio 1.3.0 fichier audio 0.13.1
soxr 1.1.0 spacy 3.8.14 spacy-legacy 3.0.12
spacy-loggers 1.0.5 SQLAlchemy 2.0.43 sqlparse 0.5.5
srsly 2.5.3 ssh-import-id 5.11 stack-data 0.6.3
stanio 0.5.1 starlette 0.52.1 statsmodels 0.14.5
strictyaml 1.7.3 sympy 1.14.0 tenacity 9.1.2
tensorboard 2.20.0 Serveur de données TensorBoard 0.7.2 tensorboardX (un outil de visualisation pour les réseaux de neurones) 2.6.5
textual 8.2.7 thinc 8.3.13 threadpoolctl 3.5.0
tifffile 2025.10.4 tiktoken 0.13.0 tokenize_rt 6.2.0
générateurs de jetons 0.22.1 tomli 2.0.1 torch 2.12.0+cpu
torcheval 0.0.7 Torchvision 0.27.0+cpu tornado 6.5.1
tqdm 4.67.1 traitlets 5.14.3 Transformateurs 4.57.6
typeguard 4.3.0 typer 0.25.1 typing-inspect 0.9.0
typing-inspection 0.4.2 typing_extensions 4.15.0 tzdata 2026.2
uc-micro-py 1.0.3 unattended-upgrades 0.1 urllib3 2.5.0
uuid_utils 0.16.0 uvicorn 0.47.0 virtualenv 20.35.4
wadllib 1.3.6 wasabi 1.1.3 wcwidth 0.2.13
weasel 1.0.0 Outil 3.1.3 wheel 0.45.1
chaque fois que 0.7.3 widgetsnbextension 4.0.14 enveloppé 1.17.0
xgboost 3.2.0 xgboost-ray 0.1.19 xxhash 3.5.0
yarl 1.22.0 zipp 3.23.0 zstandard 0.25.0

Bibliothèques Python sur des clusters GPU

Note

PyTorch utilise les dépendances PyPI CUDA pour fournir la prise en charge de CUDA au lieu des versions de bibliothèque CUDA intégrées à Databricks Runtime 19 ML.

Library Version Library Version Library Version
absl-py 2.3.1 accélérer 1.13.0 aiohappyeyeballs 2.6.1
aiohttp 3.13.2 aiohttp-cors 0.8.1 aiosignal 1.4.0
document annoté 0.0.4 annotated-types 0.7.0 anyio 4.10.0
arro3-core 0.8.0 asttokens 3.0.0 astunparse 1.6.3
attrs 25.4.0 lecture de fichiers audio 3.1.0 commande automatique 2.2.2
azure-core 1.41.0 azure-cosmos 4.3.1 azure-identity 1.25.3
azure-mgmt-core 1.6.0 azure-mgmt-web 10.1.0 azure-storage-blob 12.29.0
azure-storage-file-datalake 12.24.0 backports.tarfile 1.2.0 noir 25.9.0
clignotant 1.7.0 blis 1.3.3 boto3 1.40.46
botocore 1.40.46 cachetools 5.5.1 catalogue 2.0.10
certifi 2025.11.12 cffi 2.0.0 charset-normalizer 3.4.4
cliquez 8.2.1 cloudpathlib 0.24.0 cloudpickle 3.1.1
cmdstanpy 1.3.0 coloré 0.5.8 colorlog 6.10.1
comm 0.2.3 confection 1.3.3 contourpy 1.3.3
cryptography 46.0.3 cuda-bindings 13.2.0 cuda-pathfinder 1.5.4
cuda-toolkit 13.0.2 cycler 0.11.0 cymem 2.0.13
databricks-agents 1.10.2 Ingénierie des fonctionnalités Databricks 0.13.0.1 databricks-sdk 0.108.0
dataclasses-json 0.6.7 datasets 4.8.5 dbl-tempo 0.1.26
dbus-python 1.3.2 debugpy 1.8.16 decorator 5.2.1
deepspeed 0.19.0 deltalake 1.5.1 Deprecated 1.3.1
dill 0.4.0 distlib 0.4.0 dm-tree 0.1.10
einops 0.8.2 évaluer 0.4.6 exécution 2.2.1
Farama-Notifications 0.0.6 fastapi 0.136.3 filelock 3.20.0
flash_attn 2.8.3 Flask 2.2.5 fonttools 4.60.1
frozenlist 1.8.0 fsspec 2023.5.0 gitdb (base de données Git) 4.0.11
GitPython 3.1.45 google-api-core 2.30.3 google-auth 2.53.0
google-cloud-core 2.6.0 google-cloud-storage 3.10.1 google-crc32c 1.8.0
google-resumable-media 2.9.0 googleapis-common-protos 1.71.0 graphql-core 3.2.4
greenlet 3.2.4 grpcio 1.76.0 grpcio-status 1.76.0
gymnasium 0.28.1 h11 0.16.0 hf-xet 1.5.0
hjson 3.1.0 vacances 0.54 httpcore 1.0.9
httplib2 0.20.4 httpx 0.28.1 huggingface_hub 0.36.2
IDNA 3.11 ImageIO 2.37.2 imbalanced-learn 0.14.0
importlib_metadata 8.7.0 importlib_resources 7.1.0 inflect 7.3.1
iniconfig 2.1.0 ipyflow-core 0.0.227 ipykernel 6.31.0
ipython 9.7.0 ipython_pygments_lexers 1.1.1 ipywidgets 8.1.7
isodate 0.7.2 c'est dangereux 2.2.0 jaraco.collections 5.1.0
jaraco.context 5.3.0 jaraco.functools 4.0.1 jaraco.text 3.12.1
jax-jumpy 1.0.0 jedi 0.19.2 Jinja2 3.1.6
jiter 0.15.0 jmespath 1.0.1 joblib 1.5.2
joblibspark 0.6.0 jsonpatch 1.33 jsonpointer 3.1.1
jsonschema 4.25.0 spécifications du schéma JSON 2025.9.1 jupyter_client 8.6.3
jupyter_core 5.8.1 jupyterlab_widgets 3.0.15 kiwisolver 1.4.8
langchain 1.3.1 langchain-core 1.4.0 langchain-protocol 0.0.15
langgraph 1.2.1 langgraph-checkpoint 4.1.1 langgraph-prebuilt 1.1.0
langgraph-sdk 0.3.15 langsmith 0.4.41 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 lazy_loader 0.4
librosa 0.11.0 lightgbm 4.6.0 linkify-it-py 2.0.3
llvmlite 0.45.1 lz4 4.4.5 Mako 1.3.12
marisa-trie 1.2.0 Markdown 3.8 markdown-it-py 2.2.0
MarkupSafe 3.0.2 marshmallow 3.26.2 matplotlib 3.10.6
matplotlib-inline 0.2.1 Mccabe 0.7.0 mdit-py-plugins 0.5.0
mdurl 0.1.2 memray 1.19.3 mlflow-skinny 3.12.0
mmh3 5.2.1 more-itertools 10.3.0 mpmath 1.3.0
msal 1.36.0 msal-extensions 1.3.1 msgpack 1.1.2
msrest 0.7.1 multidict 6.7.0 multiprocess 0.70.18
murmurhash 1.0.15 mypy-extensions 1.0.0 nest-asyncio 1.6.0
networkx 3,5 ninja 1.13.0 nltk 3.9.2
nodeenv 1.10.0 numba 0.62.1 numpy 2.3.4
nvidia-cublas 13.1.1.3 nvidia-cuda-cupti 13.0.85 nvidia-cuda-nvrtc 13.0.88
nvidia-cuda-runtime 13.0.96 nvidia-cudnn-cu13 9.20.0.48 nvidia-cufft 12.0.0.61
nvidia-cufile 1.15.1.6 nvidia-curand 10.4.0.35 nvidia-cusolver 12.0.4.66
nvidia-cusparse 12.6.3.3 nvidia-cusparselt-cu13 0.8.1 nvidia-ml-py 13.580.82
nvidia-nccl-cu12 2.30.4 nvidia-nccl-cu13 2.29.7 nvidia-nvjitlink 13.0.88
nvidia-nvshmem-cu13 3.4.5 nvidia-nvtx 13.0.85 oauthlib 3.2.0
openai 2.37.0 opencensus 0.11.4 opencensus-context 0.1.3
opentelemetry-api 1.42.1 opentelemetry-proto 1.42.1 opentelemetry-sdk 1.42.1
opentelemetry-semantic-conventions 0.63b1 optuna 3.6.1 optuna-integration 3.6.0
orjson 3.11.9 ormsgpack 1.12.2 packaging 25.0
pandas 2.3.3 parso 0.8.5 pathspec 0.12.1
patsy 1.0.1 pexpect 4.9.0 pillow 12.0.0
pip 25,3 platformdirs 4.5.0 pluggy 1.5.0
pooch 1.9.0 preshed 3.0.13 prometheus_client 0.21.1
prompt_toolkit 3.0.52 propcache 0.3.1 prophète 1.2.1
proto-plus 1.28.0 protobuf 6.33.5 psutil 7.0.0
ptyprocess 0.7.0 pure_eval 0.2.3 py-cpuinfo 9.0.0
py-spy 0.4.2 pyarrow 21.0.0 pyasn1 0.6.1
pyasn1_modules 0.4.2 pyccolo 0.0.83 pycparser 2.23
pydantic 2.13.3 pydantic_core 2.46.3 pyflakes 3.2.0
Pygments 2.19.2 PyGObject 3.48.2 pyiceberg 0.11.1
PyJWT 2.10.1 pyparsing 3.2.5 pyright 1.1.409
pyroaring 1.1.0 pytesseract 0.3.13 pytest 8.4.2
python-dateutil 2.9.0.post0 python-dotenv 1.2.2 éditeur Python 1.0.4
pytokens 0.2.0 pytz 2025.2 PyYAML 6.0.3
pyzmq 27.1.0 ray 2.37.0 référencement 0.37.0
regex 2025.9.1 requests 2.32.5 requests-oauthlib 2.0.0
requests-toolbelt 1.0.0 riche 14.2.0 rpds-py 0.28.0
s3transfer 0.14.0 safetensors 0.7.0 scikit-image 0.25.2
scikit-learn 1.7.2 scipy 1.16.3 transformateurs de phrases 5.5.1
sentencepiece 0.2.1 setuptools 80.9.0 shap 0.51.0
shellingham 1.5.4 six 1.17.0 découpeur 0.0.8
smart_open 7.6.1 smmap 5.0.0 sniffio 1.3.0
fichier audio 0.13.1 soxr 1.1.0 spacy 3.8.14
spacy-legacy 3.0.12 spacy-loggers 1.0.5 SQLAlchemy 2.0.43
sqlparse 0.5.5 srsly 2.5.3 ssh-import-id 5.11
stack-data 0.6.3 stanio 0.5.1 starlette 0.52.1
statsmodels 0.14.5 strictyaml 1.7.3 sympy 1.14.0
tenacity 9.1.2 tensorboard 2.20.0 Serveur de données TensorBoard 0.7.2
tensorboardX (un outil de visualisation pour les réseaux de neurones) 2.6.5 textual 8.2.7 thinc 8.3.13
threadpoolctl 3.5.0 tifffile 2025.10.4 tiktoken 0.13.0
tokenize_rt 6.2.0 générateurs de jetons 0.22.1 tomli 2.0.1
torch 2.12.0 torcheval 0.0.7 Torchvision 0.27.0
tornado 6.5.1 tqdm 4.67.1 traitlets 5.14.3
Transformateurs 4.57.6 triton 3.7.0 typeguard 4.3.0
typer 0.25.1 typing-inspect 0.9.0 typing-inspection 0.4.2
typing_extensions 4.15.0 tzdata 2026.2 uc-micro-py 1.0.3
unattended-upgrades 0.1 urllib3 2.5.0 uuid_utils 0.16.0
uvicorn 0.47.0 virtualenv 20.35.4 wadllib 1.3.6
wasabi 1.1.3 wcwidth 0.2.13 weasel 1.0.0
Outil 3.1.3 wheel 0.45.1 chaque fois que 0.7.3
widgetsnbextension 4.0.14 enveloppé 1.17.0 xgboost 3.2.0
xgboost-ray 0.1.19 xxhash 3.5.0 yarl 1.22.0
zipp 3.23.0 zstandard 0.25.0

Bibliothèques R

Les bibliothèques R sont identiques aux bibliothèques R dans Databricks Runtime 19.

bibliothèques Java et Scala (cluster Scala 2.13)

Outre les bibliothèques Java et Scala dans Databricks Runtime 19, Databricks Runtime 19 ML contient les JAR suivants :

Clusters de CPU

ID de groupe ID d’artefact Version
ml.dmlc xgboost4j-spark_2.13 2.1.3
ml.dmlc xgboost4j_2.13 2.1.3
org.graphframes graphframes_2.13 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.scala-lang.modules scala-collection-compat_2.13 2.12.0
org.tensorflow spark-tensorflow-connector_2.13 1.15.0

Clusters de GPU

ID de groupe ID d’artefact Version
ml.dmlc xgboost4j-spark-gpu_2.13 2.1.3
ml.dmlc xgboost4j-gpu_2.13 2.1.3
org.graphframes graphframes_2.13 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.scala-lang.modules scala-collection-compat_2.13 2.12.0
org.tensorflow spark-tensorflow-connector_2.13 1.15.0

Versions non prises en charge

Tip

Pour afficher les notes de publication des versions de Databricks Runtime qui ont atteint la fin de la prise en charge (EoS), consultez les notes de publication des versions de Databricks Runtime ayant atteint la fin de la prise en charge. Les versions d’EoS Databricks Runtime ont été supprimées et peuvent ne pas être mises à jour.