Freigeben über

Databricks Runtime 13.3 LTS für Machine Learning

Databricks Runtime 13.3 LTS für Machine Learning bietet eine ready-to-go Umgebung für machine learning und Data Science basierend auf Databricks Runtime 13.3 LTS. Databricks Runtime ML enthält viele beliebte Machine Learning-Bibliotheken, einschließlich TensorFlow, PyTorch und XGBoost. Databricks Runtime ML enthält AutoML, ein Tool zum automatischen Trainieren von Machine Learning-Pipelines. Databricks Runtime ML unterstützt auch verteiltes Deep Learning-Training mit Horovod.

Hinweis

LTS bedeutet, dass diese Version langfristig unterstützt wird. Weitere Informationen finden Sie unter Databricks Runtime LTS-Versionslebenszyklus.

Weitere Informationen, einschließlich Anweisungen zum Erstellen eines Databricks Runtime ML-Clusters, finden Sie unter KI und Machine Learning in Databricks.

Tipp

Hinweise zu Databricks-Runtime-Versionen, die das Ende des Supports (EoS) erreicht haben, finden Sie unter Versionshinweise zu Databricks Runtime am Ende des Supports. Die EoS-Databricks-Runtime-Versionen wurden eingestellt und werden möglicherweise nicht aktualisiert.

Neue Features und Verbesserungen

Databricks Runtime 13.3 LTS ML basiert auf Databricks Runtime 13.3 LTS. Informationen zu den Neuerungen in Databricks Runtime 13.3 LTS, einschließlich Apache Spark MLlib und SparkR, finden Sie in den Anmerkungen zur Databricks Runtime 13.3 LTS .

Änderungen am Feature Store von Databricks

  • Databricks Runtime 13.3 LTS ML enthält den Feature Store-Client v 0.14.0. Bei Clientversion 0.14.0 und höher müssen Sie Zeitstempelschlüsselspalten im primary_keys-Argument angeben. Zeitstempelschlüssel sind Teil der „Primärschlüssel“, die jede Zeile in der Featuretabelle eindeutig identifizieren.
  • Sie können jetzt Merkmalswerte mit Zeitstempeln vor einer angegebenen Zeit aus dem Trainingssatz ausschließen. Ausführliche Informationen finden Sie unter Festlegen eines Zeitlimits für historische Featurewerte.
  • Machine Learning-Funktionen können jetzt bei Bedarf während der Inferenz berechnet werden. Funktionsberechnungslogik, Modelle und Daten unterliegen dem Unity-Katalog. Auf diese Weise können Modelle Features mithilfe von Eingaben berechnen, die nur zur Ableitungszeit verfügbar sind, z. B. zur aktuellen Position eines Benutzers. Weitere Informationen finden Sie unter On-Demand-Featureberechnung.

Systemumgebung

Die Systemumgebung in Databricks Runtime 13.3 LTS ML unterscheidet sich wie folgt von Databricks Runtime 13.3 LTS:

Databricks Runtime 13.3 LTS ML enthält XGBoost 1.7.3, das keine GPU-Cluster mit Computefunktionalität 5.2 und niedriger unterstützt.

Das miniconda-Paket wurde aus Databricks Runtime 13.0 ML und höher entfernt.

Bibliotheken

In den folgenden Abschnitten sind die Bibliotheken aufgeführt, die in Databricks Runtime 13.3 LTS ML enthalten sind und sich von den in Databricks Runtime 13.3 LTS enthaltenen Bibliotheken unterscheiden.

Inhalt dieses Abschnitts:

Bibliotheken der obersten Ebene

Databricks Runtime 13.3 LTS ML enthält die folgenden Bibliotheken der obersten Ebene:

Python-Bibliotheken

Databricks Runtime 13.3 LTS ML verwendet Virtualenv für Python Paketverwaltung und enthält viele beliebte ML-Pakete.

Zusätzlich zu den Paketen, die in den folgenden Abschnitten aufgeführt sind, umfasst Databricks Runtime 13.3 LTS ML auch die folgenden Pakete:

  • hyperopt 0.2.7+db3
  • sparkdl 3.0.0_db1
  • automl 1.20.0

Um die Databricks Runtime ML-Python-Umgebung in Ihrer lokalen Python virtuellen Umgebung zu reproduzieren, laden Sie die Datei requirements-13.3.txt herunter, und führen Sie pip install -r requirements-13.3.txt aus. Dieser Befehl installiert alle Open Source Bibliotheken, die Databricks Runtime ML verwendet, installiert jedoch keine Bibliotheken, die von Databricks entwickelt wurden, z. B. databricks-automl, databricks-feature-store, oder die Databricks-Verzweigung von hyperopt.

Python-Bibliotheken auf CPU-Clustern

Bibliothek Version Bibliothek Version Bibliothek Version
absl-py 1.0.0 Beschleunigen 0.20.3 aiohttp 3.8.5
aiosignal 1.3.1 anyio 3.5.0 Appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.2.1 Astunparse 1.6.3 async-timeout 4.0.2
Attrs 21.4.0 Audio lesen 3.0.0 Azure Core 1.28.0
Azure-Cosmos 4.3.1 Azure-Speicher-Blob 12.17.0 Azure-Speicher-Datei-Datensee 12.12.0
Backcall 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.11.1
schwarz 22.6.0 Bleichmittel 4.1.0 Blinker 1.4
blis 0.7.10 Boto3 1.24.28 Botocore 1.27.28
CacheWerkzeuge 4.2.4 Katalog 2.0.9 Kategorie-Kodierer 2.6.1
Zertifizieren 2022.9.14 CFFI 1.15.1 Chardet 4.0.0
Charset-Normalizer 2.0.4 Klicken 8.0.4 Wolkengurke 2.0.0
cmdstanpy 1.1.0 Konfekt 0.1.0 configparser 5.2.0
Convertdate 2.4.0 Kryptographie 37.0.1 Fahrradfahrer 0.11.0
Cymem 2.0.7 Cython 0.29.32 Dazit 1.8.1
databricks-automl-runtime 0.2.17 databricks-cli 0.17.7 databricks-feature-store 0.14.0
Databricks-SDK 0.1.6 dataclasses-json 0.5.13 Datensätze 2.13.1
dbl-tempo 0.1.23 dbus-python 1.2.18 debugpy 1.6.0
Dekorateur 5.1.1 defusedxml 0.7.1 Dill 0.3.4
Festplatten-Cache 5.6.1 Distlib 0.3.7 Docstring zu Markdown 0,12
Einstiegspunkte 0,4 Kurzlebig 4.1.4 Evaluieren 0.4.0
ausführen 1.2.0 Übersicht der Facetten 1.0.3 fastapi 0.98.0
fastjsonschema 2.18.0 fasttext 0.9.2 Dateisperrung 3.6.0
Flasche 1.1.2+db1 FlatBuffers 26.05.23 fonttools 4.25.0
frozenlist 1.4.0 fsspec 2022.7.1 Zukunft 0.18.2
gast 0.4.0 gitdb 4.0.10 GitPython 3.1.27
google-api-core 2.8.2 Google-Authentifizierung 1.33.0 google-auth-oauthlib 0.4.6
Google-Cloud-Core 2.3.3 Google Cloud-Speicher 2.10.0 google-crc32c 1.5.0
Google-Pasta 0.2.0 google-resumable-media 2.5.0 googleapis-common-protos 1.56.4
Greenlet 1.1.1 GRPCIO 1.48.1 grpcio-status 1.48.1
gunicorn 20.1.0 gviz-api 1.10.0 h11 0.14.0
h5py 3.7.0 Feiertage 0.27.1 Horovod 0.28.1
htmlmin 0.1.12 httplib2 0.20.2 HTTP-Werkzeuge 0.6.0
huggingface-hub 0.16.4 idna 3.3 ImageHash 4.3.1
Ungleichgewichte lernen 0.10.1 importlib-metadata 4.11.3 importlib-resources 6.0.0
ipykernel 6.17.1 ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 Isodate 0.6.1 es ist gefährlich 2.0.1
Jedi 0.18.1 jeepney 0.7.1 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonschema 4.16.0 Jupyter-Client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Keras 2.11.0
Schlüsselring 23.5.0 kiwisolver 1.4.2 langchain 0.0.217
langchainplus-sdk 0.0.20 Sprachcodes 3.3.0 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 Lazy-Loader 0,3
libclang 15.0.6.1 librosa 0.10.0 lightgbm 3.3.5
llvmlite 0.38.0 Mondkalender 0.0.9 Mako 1.2.0
Markdown 3.3.4 MarkupSafe 2.0.1 Marshmallow 3.20.1
matplotlib 3.5.2 matplotlib-inline 0.1.6 Mccabe 0.7.0
verstimmen 0.8.4 mleap 0.20.0 mlflow-skinny 2.5.0
more-itertools 8.10.0 msgpack 1.0.5 Multidict 6.0.4
Multimethod 1.9.1 Multiprozessor 0.70.12.2 Murmurhash 1.0.9
mypy-Erweiterungen 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 networkx 2.8.4
Ninja 1.11.1 Natural Language Toolkit (nltk) 3,7 nodeenv 1.8.0
Notebook 6.4.12 numba 0.55.1 Numexpr 2.8.4
numpy 1.21.5 oauthlib 3.2.0 openai 0.27.8
openapi-schema-pydantic 1.2.4 opt-einsum 3.3.0 Packen 21,3
Pandas 1.4.4 Pandocfilter 1.5.0 paramiko 2.9.2
Parso 0.8.3 Pfadangabe 0.9.0 pathie 0.10.2
Sündenbock 0.5.2 Petastorm 0.12.1 pexpect 4.8.0
phik 0.12.3 Pickleshare 0.7.5 Kissen 9.2.0
pip 22.2.2 platformdirs 2.5.2 Handlung 5.9.0
plugin-fähig 1.0.0 pmdarima 2.0.3 Hündchen 1.7.0
vorgehäckselt 3.0.8 prometheus-client 0.14.1 Prompt-Toolkit 3.0.36
Prophet 1.1.4 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
Pyarrow 8.0.0 Pyasn1 0.4.8 Pyasn1-Module 0.2.8
Pybind11 2.11.1 Pycparser 2.21 Pydantisch 1.10.6
Pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyMeeus 0.5.12 PyNaCl 1.5.0
pyodbc 4.0.32 pyparsing 3.0.9 Pyright 1.1.294
Pyristent 0.18.0 pytesseract 0.3.10 Python-dateutil 2.8.2
python-dotenv 1.0.0 Python-Editor 1.0.4 python-lsp-jsonrpc 1.0.0
Python-LSP-Server 1.7.1 pytoolconfig 1.2.2 Pytz 2022.1
PyWavelets 1.3.0 PyYAML 6,0 pyzmq 23.2.0
Regex 2022.7.9 Anforderungen 2.28.1 requests-oauthlib 1.3.1
Antworten 0.18.0 Seil 1.7.0 rsa 4,9
s3transfer 0.6.0 Safetensors 0.3.1 scikit-lernen 1.1.1
SciPy 1.9.1 Seegeboren 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 Satztransformatoren 2.2.2 Satzstück 0.1.99
setuptools 63.4.1 Schattierung 0.41.0 simplejson 3.17.6
sechs 1.16.0 Schneidemaschine 0.0.7 smart-open 5.2.1
smmap 5.0.0 sniffio 1.2.0 Sounddatei 0.12.1
Sieb für Suppe 2.3.1 Soxr 0.3.5 Geräumig 3.5.3
Spacy-Legacy 3.0.12 Spacy-Logger 1.0.4 Spark-Tensorflow-Distributor 1.0.0
SQLAlchemy 1.4.39 sqlparse 0.4.2 srsly 2.4.7
ssh-import-id 5.11 Stapeldaten 0.6.2 Starlet 0.27.0
StatistikModelle 0.13.2 tabellarisieren 0.8.10 Durcheinander-in-Unicode 0.2.0
Hartnäckigkeit 8.1.0 TensorBoard 2.11.0 tensorboard-data-server 0.6.1
tensorboard-plugin-profile 2.11.2 tensorboard-plugin-wit 1.8.1 tensorflow-cpu 2.11.1
TensorFlow-Estimator 2.11.0 tensorflow-io-gcs-filesystem 0.32.0 Termcolor 2.3.0
beendet 0.13.1 Testpfad 0.6.0 thinc 8.1.10
Threadpoolctl 2.2.0 tiktoken 0.4.0 tokenize-rt 4.2.1
Tokenizer 0.13.3 tomli 2.0.1 Fackel 1.13.1+cpu
Fackelvision 0.14.1+cpu Tornado 6.1 tqdm 4.64.1
Traitlets 5.1.1 Transformatoren 4.30.2 Typwächter 2.13.3
Typer 0.7.0 Eingabeprüfung 0.9.0 typing_extensions 4.3.0
ujson 5.4.0 unbeaufsichtigte Aktualisierungen 0,1 urllib3 1.26.11
uvicorn 0.23.1 uvloop 0.17.0 virtualenv 20.16.3
Visionen 0.7.5 Wadllib 1.3.6 Wasabi 1.1.2
Watchfiles 0.19.0 wcwidth 0.2.5 Webkodierungen 0.5.1
WebSocket-Client 0.58.0 Websockets 11.0.3 Werkzeug 2.0.3
Was ist neu im Patch 1.0.2 Rad 0.37.1 widgetsnbextension 3.6.1
Wortwolke 1.9.2 Eingehüllt 1.14.1 xgboost 1.7.6
xxhash 3.2.0 yapf 0.31.0 yarl 1.9.2
ydata-profiling 4.2.0 ZIPP 3.8.0

Python Bibliotheken auf GPU-Clustern

Bibliothek Version Bibliothek Version Bibliothek Version
absl-py 1.0.0 Beschleunigen 0.20.3 aiohttp 3.8.5
aiosignal 1.3.1 anyio 3.5.0 Appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.2.1 Astunparse 1.6.3 async-timeout 4.0.2
Attrs 21.4.0 Audio lesen 3.0.0 Azure Core 1.28.0
Azure-Cosmos 4.3.1 Azure-Speicher-Blob 12.17.0 Azure-Speicher-Datei-Datensee 12.12.0
Backcall 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.11.1
schwarz 22.6.0 Bleichmittel 4.1.0 Blinker 1.4
blis 0.7.10 Boto3 1.24.28 Botocore 1.27.28
CacheWerkzeuge 4.2.4 Katalog 2.0.9 Kategorie-Kodierer 2.6.1
Zertifizieren 2022.9.14 CFFI 1.15.1 Chardet 4.0.0
Charset-Normalizer 2.0.4 Klicken 8.0.4 Wolkengurke 2.0.0
cmdstanpy 1.1.0 Konfekt 0.1.0 configparser 5.2.0
Convertdate 2.4.0 Kryptographie 37.0.1 Fahrradfahrer 0.11.0
Cymem 2.0.7 Cython 0.29.32 Dazit 1.8.1
databricks-automl-runtime 0.2.17 databricks-cli 0.17.7 databricks-feature-store 0.14.0
Databricks-SDK 0.1.6 dataclasses-json 0.5.13 Datensätze 2.13.1
dbl-tempo 0.1.23 dbus-python 1.2.18 debugpy 1.6.0
Dekorateur 5.1.1 defusedxml 0.7.1 Dill 0.3.4
Festplatten-Cache 5.6.1 Distlib 0.3.7 Docstring zu Markdown 0,12
einops 0.6.1 Einstiegspunkte 0,4 Kurzlebig 4.1.4
Evaluieren 0.4.0 ausführen 1.2.0 Übersicht der Facetten 1.0.3
fastapi 0.98.0 fastjsonschema 2.18.0 fasttext 0.9.2
Dateisperrung 3.6.0 flash-attn 1.0.7 Flasche 1.1.2+db1
FlatBuffers 26.05.23 fonttools 4.25.0 frozenlist 1.4.0
fsspec 2022.7.1 Zukunft 0.18.2 gast 0.4.0
gitdb 4.0.10 GitPython 3.1.27 google-api-core 2.8.2
Google-Authentifizierung 1.33.0 google-auth-oauthlib 0.4.6 Google-Cloud-Core 2.3.3
Google Cloud-Speicher 2.10.0 google-crc32c 1.5.0 Google-Pasta 0.2.0
google-resumable-media 2.5.0 googleapis-common-protos 1.56.4 Greenlet 1.1.1
GRPCIO 1.48.1 grpcio-status 1.48.1 gunicorn 20.1.0
gviz-api 1.10.0 h11 0.14.0 h5py 3.7.0
Feiertage 0.27.1 Horovod 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 HTTP-Werkzeuge 0.6.0 huggingface-hub 0.16.4
idna 3.3 ImageHash 4.3.1 Ungleichgewichte lernen 0.10.1
importlib-metadata 4.11.3 importlib-resources 6.0.0 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Isodate 0.6.1 es ist gefährlich 2.0.1 Jedi 0.18.1
jeepney (ein philippinisches öffentliches Verkehrsmittel) 0.7.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonschema 4.16.0
Jupyter-Client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 Keras 2.11.0 Schlüsselring 23.5.0
kiwisolver 1.4.2 langchain 0.0.217 langchainplus-sdk 0.0.20
Sprachcodes 3.3.0 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 Lazy-Loader 0,3 libclang 15.0.6.1
librosa 0.10.0 lightgbm 3.3.5 llvmlite 0.38.0
Mondkalender 0.0.9 Mako 1.2.0 Markdown 3.3.4
MarkupSafe 2.0.1 Marshmallow 3.20.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 Mccabe 0.7.0 verstimmen 0.8.4
mleap 0.20.0 mlflow-skinny 2.5.0 more-itertools 8.10.0
msgpack 1.0.5 Multidict 6.0.4 Multimethod 1.9.1
Multiprozessor 0.70.12.2 Murmurhash 1.0.9 mypy-Erweiterungen 0.4.3
nbclient 0.5.13 nbconvert 6.4.4 nbformat 5.5.0
nest-asyncio 1.5.5 networkx 2.8.4 Ninja 1.11.1
Natural Language Toolkit (nltk) 3,7 nodeenv 1.8.0 Notebook 6.4.12
numba 0.55.1 Numexpr 2.8.4 numpy 1.21.5
oauthlib 3.2.0 openai 0.27.8 openapi-schema-pydantic 1.2.4
opt-einsum 3.3.0 Packen 21,3 Pandas 1.4.4
Pandocfilter 1.5.0 paramiko 2.9.2 Parso 0.8.3
Pfadangabe 0.9.0 pathie 0.10.2 Sündenbock 0.5.2
Petastorm 0.12.1 pexpect 4.8.0 phik 0.12.3
Pickleshare 0.7.5 Kissen 9.2.0 pip 22.2.2
platformdirs 2.5.2 Handlung 5.9.0 plugin-fähig 1.0.0
pmdarima 2.0.3 Hündchen 1.7.0 vorgehäckselt 3.0.8
Prompt-Toolkit 3.0.36 Prophet 1.1.4 protobuf 3.19.4
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 Pyarrow 8.0.0 Pyasn1 0.4.8
Pyasn1-Module 0.2.8 Pybind11 2.11.1 Pycparser 2.21
Pydantisch 1.10.6 Pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 PyMeeus 0.5.12
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing 3.0.9
Pyright 1.1.294 Pyristent 0.18.0 pytesseract 0.3.10
Python-dateutil 2.8.2 python-dotenv 1.0.0 Python-Editor 1.0.4
python-lsp-jsonrpc 1.0.0 Python-LSP-Server 1.7.1 pytoolconfig 1.2.2
Pytz 2022.1 PyWavelets 1.3.0 PyYAML 6,0
pyzmq 23.2.0 Regex 2022.7.9 Anforderungen 2.28.1
requests-oauthlib 1.3.1 Antworten 0.18.0 Seil 1.7.0
rsa 4,9 s3transfer 0.6.0 Safetensors 0.3.1
scikit-lernen 1.1.1 SciPy 1.9.1 Seegeboren 0.11.2
SecretStorage 3.3.1 Send2Trash 1.8.0 Satztransformatoren 2.2.2
Satzstück 0.1.99 setuptools 63.4.1 Schattierung 0.41.0
simplejson 3.17.6 sechs 1.16.0 Schneidemaschine 0.0.7
smart-open 5.2.1 smmap 5.0.0 sniffio 1.2.0
Sounddatei 0.12.1 Sieb für Suppe 2.3.1 Soxr 0.3.5
Geräumig 3.5.3 Spacy-Legacy 3.0.12 Spacy-Logger 1.0.4
Spark-Tensorflow-Distributor 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
srsly 2.4.7 ssh-import-id 5.11 Stapeldaten 0.6.2
Starlet 0.27.0 StatistikModelle 0.13.2 tabellarisieren 0.8.10
Durcheinander-in-Unicode 0.2.0 Hartnäckigkeit 8.1.0 TensorBoard 2.11.0
tensorboard-data-server 0.6.1 tensorboard-plugin-profile 2.11.2 tensorboard-plugin-wit 1.8.1
TensorFlow 2.11.1 TensorFlow-Estimator 2.11.0 tensorflow-io-gcs-filesystem 0.32.0
Termcolor 2.3.0 beendet 0.13.1 Testpfad 0.6.0
thinc 8.1.10 Threadpoolctl 2.2.0 tiktoken 0.4.0
tokenize-rt 4.2.1 Tokenizer 0.13.3 tomli 2.0.1
Fackel 1.13.1+cu117 Fackelvision 0.14.1+cu117 Tornado 6.1
tqdm 4.64.1 Traitlets 5.1.1 Transformatoren 4.30.2
Typwächter 2.13.3 Typer 0.7.0 Eingabeprüfung 0.9.0
typing_extensions 4.3.0 ujson 5.4.0 unbeaufsichtigte Aktualisierungen 0,1
urllib3 1.26.11 uvicorn 0.23.1 uvloop 0.17.0
virtualenv 20.16.3 Visionen 0.7.5 Wadllib 1.3.6
Wasabi 1.1.2 Watchfiles 0.19.0 wcwidth 0.2.5
Webkodierungen 0.5.1 WebSocket-Client 0.58.0 Websockets 11.0.3
Werkzeug 2.0.3 Was ist neu im Patch 1.0.2 Rad 0.37.1
widgetsnbextension 3.6.1 Wortwolke 1.9.2 Eingehüllt 1.14.1
xgboost 1.7.6 xxhash 3.2.0 yapf 0.31.0
yarl 1.9.2 ydata-profiling 4.2.0 ZIPP 3.8.0

R-Bibliotheken

Die R-Bibliotheken sind mit den R-Bibliotheken in Databricks Runtime 13.3 LTS identisch.

Java- und Scala-Bibliotheken (Scala 2.12-Cluster)

Zusätzlich zu Java- und Scala-Bibliotheken in Databricks Runtime 13.3 LTS enthält Databricks Runtime 13.3 LTS ML die folgenden JARs:

CPU-Cluster

Gruppen-ID Artefakt-ID Version
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.5.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU-Cluster

Gruppen-ID Artefakt-ID Version
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.5.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on