메모
이 Databricks Runtime 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 및 수명 종료 기록을 참조하세요. 지원되는 모든 Databricks Runtime 버전은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.
Databricks Runtime 14.1은 Databricks Runtime 14.1(EoS)을 기반으로 머신 러닝 및 데이터 과학을 위한 즉시 사용 가능한 환경을 제공합니다. Databricks Runtime ML에는 TensorFlow, PyTorch 및 XGBoost를 포함하여 널리 사용되는 많은 기계 학습 라이브러리가 포함되어 있습니다. Databricks Runtime ML에는 기계 학습 파이프라인을 자동으로 학습시키는 도구인 AutoML이 포함되어 있습니다. Databricks Runtime ML은 Horovod를 사용한 분산 딥 러닝 학습도 지원합니다.
새로운 기능 및 향상 기능
Databricks Runtime 14.1 ML은 Databricks Runtime 14.1을 기반으로 빌드됩니다. Apache Spark MLlib 및 SparkR을 포함하여 Databricks Runtime 14.1의 새로운 기능과 관련된 자세한 내용은 Databricks Runtime 14.1(EoS) 릴리스 정보를 참조하세요.
AutoML의 향상된 기능
이제 AutoML에서 생성된 Notebook이 MLflow 아티팩트로 저장됩니다.
Databricks 기능 저장소의 개선 사항
이제 모델을 기록할 때 입력 예제를 자동으로 유추하고 기록할 수 있습니다. 이렇게 하려면 infer_model_example을 호출할 때 True를 log_model로 설정합니다. 이 예제는 매개 변수에 지정된 학습 데이터를 기반으로 합니다 training_set .
Databricks 기능 저장소에 대한 자세한 내용은 Databricks 기능 저장소를 참조하세요.
시스템 환경
Databricks Runtime 14.1 ML의 시스템 환경은 다음과 같이 Databricks Runtime 14.1과 다릅니다.
-
DBUtils: Databricks Runtime ML에는 라이브러리 유틸리티(dbutils.library)(레거시)가 포함되어 있지 않습니다.
대신
%pip명령을 사용합니다. Notebook 범위 Python 라이브러리를 참조하십시오. - GPU 클러스터의 경우 Databricks Runtime ML에는 다음과 같은 NVIDIA GPU 라이브러리가 포함됩니다.
- CUDA 11.8
- cuDNN 8.9.0.131-1
- NCCL 2.15.5
- TensorRT 8.5.3-1
Databricks Runtime 14.1 ML에는 컴퓨팅 기능이 5.2 이하인 GPU 클러스터를 지원하지 않는 XGBoost 1.7.6이 포함되어 있습니다.
라이브러리
다음 섹션에서는 Databricks Runtime 14.1에 포함된 라이브러리와 다른 Databricks Runtime 14.1 ML에 포함된 라이브러리를 나열합니다.
이 구역의 내용:
최상위 계층 라이브러리
Databricks Runtime 14.1 ML에는 다음과 같은 최상위 계층 라이브러리가 포함되어 있습니다.
- GraphFrames
- Horovod 및 HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- Tensorflow
- TensorBoard
- Scikit-learn
Python 라이브러리
Databricks Runtime 14.1 ML은 Python 패키지 관리에 Virtualenv를 사용하며 널리 사용되는 많은 ML 패키지를 포함합니다.
다음 섹션에 지정된 패키지 외에도 Databricks Runtime 14.1 ML에는 다음 패키지도 포함됩니다.
- hyperopt 0.2.7+db4
- sparkdl 3.0.0_db1
- automl 1.22.0
로컬 Python 가상 환경에서 Databricks Runtime ML Python 환경을 재현하려면 requirements-14.1.txt 파일을 다운로드하고 pip install -r requirements-14.1.txt 실행합니다. 이 명령은 Databricks Runtime ML에서 사용하는 모든 open source 라이브러리를 설치하지만 databricks에서 개발한 라이브러리(예: databricks-automl, databricks-feature-store 또는 hyperopt Databricks 포크)를 설치하지 않습니다.
CPU 클러스터의 파이썬 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | 가속하다 | 0.21.0 | aiohttp | 3.8.5 |
| aiosignal | 1.3.1 | anyio | 3.5.0 | 앱 디렉토리 | 1.4.4 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | 아스토르 | 0.8.1 |
| asttokens | 2.0.5 | astunparse | 1.6.3 | 비동기 시간 초과 (async-timeout) | 4.0.3 |
| 속성 | 22.1.0 | 오디오 읽기 | 3.0.0 | azure-core | 1.29.1 |
| azure-cosmos | 4.3.1 | azure-storage-blob | 12.18.1 | azure-storage-file-datalake | 12.13.1 |
| 백콜 | 0.2.0 | bcrypt | 3.2.0 | beautifulsoup4 | 4.11.1 |
| 검정색 | 22.6.0 | 표백제 | 4.1.0 | 깜빡이 | 1.4 |
| 블리스 | 0.7.10 | boto3 | 1.24.28 | botocore | 1.27.96 |
| cachetools | 5.3.1 | 카탈로그 | 2.0.9 | 범주 인코더 | 2.6.2 |
| certifi | 2022.12.7 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | 클릭 | 8.0.4 | cloudpickle | 2.0.0 |
| cmdstanpy | 1.1.0 | 통신 | 0.1.2 | 과자 | 0.1.3 |
| configparser | 5.2.0 | contourpy | 1.0.5 | convertdate | 2.4.0 |
| 암호화 | 39.0.1 | 사이클러 | 0.11.0 | cymem | 2.0.8 |
| Cython | 0.29.32 | 데사이트 | 1.8.1 | databricks-automl-runtime | 0.2.19 |
| databricks-cli | 0.17.7 | databricks-feature-store | 0.15.1 | databricks-sdk | 0.1.6 |
| 데이터클래스-제이슨 (dataclasses-json) | 0.5.14 | 데이터셋 | 2.14.4 | dbl-tempo | 0.1.23 |
| dbus-python | 1.2.18 | debugpy | 1.6.7 | 장식가 | 5.1.1 |
| deepspeed | 0.10.0 | defusedxml | 0.7.1 | 딜 | 0.3.6 |
| 디스크 캐시 | 5.6.3 | distlib | 0.3.7 | docstring-to-markdown | 0.11 |
| 진입점 | 0.4 | ephem | 4.1.4 | 평가하다 | 0.4.0 |
| 실행 중 | 0.8.3 | 특징 개요 | 1.1.1 | fastapi (파스트API) | 0.98.0 |
| fastjsonschema | 2.18.0 | fasttext | 0.9.2 | 파일 잠금 | 3.9.0 |
| 플라스크 | 2.2.5 | flatbuffers | 23.5.26 | fonttools | 4.25.0 |
| frozenlist | 1.4.0 | fsspec | 2022.11.0 | 미래 | 0.18.3 |
| gast | 0.4.0 | GCC 런타임 라이브러리 | 1.10.0 | gitdb | 4.0.10 |
| GitPython | 3.1.27 | google-api-core | 2.11.1 | google-auth | 2.21.0 |
| google-auth-oauthlib | 1.0.0 | google-cloud-core | 2.3.3 | 구글 클라우드 스토리지 (google-cloud-storage) | 2.10.0 |
| google-crc32c | 1.5.0 | 구글 파스타 | 0.2.0 | google-resumable-media | 2.6.0 |
| googleapis-common-protos | 1.60.0 | greenlet (그린렛) | 2.0.1 | grpcio | 1.48.2 |
| grpcio-status | 1.48.1 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| h11 | 0.14.0 | h5py | 3.7.0 | hjson | 3.1.0 |
| 휴일 | 0.30 | horovod | 0.28.1 | htmlmin | 0.1.12 |
| httplib2 | 0.20.2 | httptools | 0.6.0 | huggingface-hub | 0.14.1 |
| idna | 3.4 | 이미지해시 | 4.3.1 | imbalanced-learn | 0.10.1 |
| importlib-metadata | 4.11.3 | importlib-resources | 6.0.1 | ipykernel | 6.25.0 |
| ipython | 8.14.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.6.1 | itsdangerous | 2.0.1 | jedi | 0.18.1 |
| jeepney | 0.7.1 | Jinja2 | 3.1.2 | jmespath | 0.10.0 |
| joblib | 1.2.0 | joblibspark | 0.5.1 | jsonschema | 4.17.3 |
| jupyter-client | 7.3.4 | 주피터 서버 | 1.23.4 | jupyter_core | 5.2.0 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | Keras | 2.13.1 |
| 열쇠고리 | 23.5.0 | kiwisolver | 1.4.4 | langchain | 0.0.267 |
| 언어 코드 | 3.3.0 | langsmith | 0.0.38 | launchpadlib | 1.10.16 |
| lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 | 게으른 로더 | 0.3 |
| libclang | 15.0.6.1 | librosa | 0.10.1 | lightgbm | 4.0.0 |
| llvmlite | 0.39.1 | 음력 달력 | 0.0.9 | lxml | 4.9.1 |
| Mako | 1.2.0 | Markdown (마크다운 언어: 텍스트 편집에서 서식을 지정하기 위한 경량 마크업 언어입니다.) | 3.4.1 | MarkupSafe | 2.1.1 |
| 마시멜로 | 3.20.1 | matplotlib | 3.7.0 | matplotlib-inline | 0.1.6 |
| 맥케이브 | 0.7.0 | mistune | 0.8.4 | mlflow-skinny | 2.7.1 |
| more-itertools | 8.10.0 | mpmath | 1.2.1 | msgpack | 1.0.5 |
| multidict | 6.0.4 | 다중 방법 | 1.9.1 | 다중 처리 | 0.70.14 |
| 머머해시 | 1.0.10 | mypy-extensions | 0.4.3 | nbclassic | 0.5.2 |
| nbclient | 0.5.13 | nbconvert | 6.5.4 | nbformat | 5.7.0 |
| nest-asyncio | 1.5.6 | networkx | 2.8.4 | 닌자 | 1.11.1 |
| nltk | 3.7 | nodeenv | 1.8.0 | 노트 | 6.5.2 |
| notebook_shim | 0.2.2 | numba | 0.56.4 | numexpr | 2.8.4 |
| numpy | 1.23.5 | oauthlib | 3.2.0 | 오픈AI | 0.27.8 |
| openapi-schema-pydantic | 1.2.4 | opt-einsum | 3.3.0 | 패키징 | 22.0 |
| pandas | 1.5.3 | pandocfilters | 1.5.0 | paramiko | 2.9.2 |
| parso | 0.8.3 | pathspec | 0.10.3 | 병증 | 0.10.2 |
| patsy | 0.5.3 | petastorm | 0.12.1 | pexpect | 4.8.0 |
| 피크 | 0.12.3 | pickleshare | 0.7.5 | 베개 | 9.4.0 |
| pip | 22.3.1 | platformdirs | 2.5.2 | plotly | 5.9.0 |
| 플러기 | 1.0.0 | pmdarima | 2.0.3 | 강아지 | 1.4.0 |
| preshed | 3.0.9 | prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 |
| 예언자 | 1.1.4 | protobuf | 4.24.0 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| py-cpuinfo | 9.0.0 | pyarrow | 8.0.0 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.11.1 | pycparser | 2.21 |
| pydantic | 1.10.6 | pyflakes | 3.0.1 | Pygments | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | PyMeeus | 0.5.12 |
| PyNaCl | 1.5.0 | pyodbc | 4.0.32 | pyparsing | 3.0.9 |
| pyright | 1.1.294 | pyrsistent | 0.18.0 | pytesseract | 0.3.10 |
| python-dateutil | 2.8.2 | python-dotenv | 1.0.0 | 파이썬 에디터 | 1.0.4 |
| python-lsp-jsonrpc | 1.0.0 | python-lsp-server | 1.7.1 | pytoolconfig | 1.2.5 |
| pytz | 2022.7 | PyWavelets | 1.4.1 | PyYAML | 6.0 |
| pyzmq | 23.2.0 | regex | 2022.7.9 | 요청 | 2.28.1 |
| requests-oauthlib | 1.3.1 | 응답 | 0.18.0 | 밧줄 | 1.7.0 |
| rsa | 4.9 | s3transfer | 0.6.2 | safetensors | 0.3.3 |
| scikit-learn | 1.1.1 | seaborn | 0.12.2 | SecretStorage | 3.3.1 |
| Send2Trash | 1.8.0 | sentence-transformers | 2.2.2 | sentencepiece | 0.1.99 |
| setuptools | 65.6.3 | shap | 0.42.1 | simplejson | 3.17.6 |
| 6 | 1.16.0 | 슬라이서 | 0.0.7 | smart-open | 5.2.1 |
| smmap | 5.0.0 | sniffio | 1.2.0 | 사운드파일 | 0.12.1 |
| soupsieve | 2.3.2.post1 | soxr | 0.3.6 | 스페이스 같은 | 3.6.1 |
| spacy-legacy | 3.0.12 | spacy-loggers (로그 관리 도구) | 1.0.5 | spark-tensorflow-distributor | 1.0.0 |
| SQLAlchemy | 1.4.39 | sqlparse | 0.4.2 | 진짜 | 2.4.7 |
| ssh-import-id | 5.11 | 스택 데이터 | 0.2.0 | 스타렛 | 0.27.0 |
| statsmodels | 0.13.5 | sympy | 1.11.1 | 표로 만들다 | 0.8.10 |
| tangled-up-in-unicode | 0.2.0 | 끈기 | 8.1.0 | tensorboard | 2.13.0 |
| tensorboard-data-server | 0.7.1 | tensorboard-plugin-profile | 2.13.1 | tensorflow-cpu | 2.13.0 |
| tensorflow-estimator | 2.13.0 | tensorflow-io-gcs-filesystem | 0.34.0 | termcolor | 2.3.0 |
| 완료 | 0.17.1 | thinc | 8.1.12 | threadpoolctl | 2.2.0 |
| tiktoken | 0.4.0 | tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 |
| 토크나이저 | 0.13.3 | tomli | 2.0.1 | 손전등 (or 횃불, depending on the context) | 2.0.1+cpu |
| torchvision | 0.15.2+cpu | tornado | 6.1 | tqdm | 4.64.1 |
| traitlets | 5.7.1 | 트랜스포머 | 4.31.0 | 타입 가드 | 2.13.3 |
| 타이핑하는 사람 | 0.9.0 | 타이핑 검사 | 0.9.0 | typing_extensions | 4.4.0 |
| ujson | 5.4.0 | 무인 업그레이드 | 0.1 | urllib3 | 1.26.14 |
| uvicorn | 0.23.2 | uvloop | 0.17.0 | virtualenv | 20.16.7 |
| 비전 | 0.7.5 | wadllib | 1.3.6 | 와사비 | 1.1.2 |
| watchfiles | 0.20.0 | wcwidth | 0.2.5 | web인코딩 | 0.5.1 |
| 웹소켓 클라이언트 (websocket-client) | 0.58.0 | websockets | 11.0.3 | 도구 | 2.2.2 |
| 무엇이 패치인가 | 1.0.2 | 바퀴 | 0.38.4 | widgetsnbextension | 3.6.1 |
| 워드 클라우드 | 1.9.2 | 감싼 | 1.14.1 | xgboost | 1.76 |
| xxhash | 3.3.0 | yapf | 0.31.0 | yarl | 1.9.2 |
| ydata-profiling | 4.2.0 | zipp | 3.11.0 |
Python 라이브러리의 GPU 클러스터에서의 사용
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | 가속하다 | 0.21.0 | aiohttp | 3.8.5 |
| aiosignal | 1.3.1 | anyio | 3.5.0 | 앱 디렉토리 | 1.4.4 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | 아스토르 | 0.8.1 |
| asttokens | 2.0.5 | astunparse | 1.6.3 | 비동기 시간 초과 (async-timeout) | 4.0.3 |
| 속성 | 22.1.0 | 오디오 읽기 | 3.0.0 | azure-core | 1.29.1 |
| azure-cosmos | 4.3.1 | azure-storage-blob | 12.18.1 | azure-storage-file-datalake | 12.13.1 |
| 백콜 | 0.2.0 | bcrypt | 3.2.0 | beautifulsoup4 | 4.11.1 |
| 검정색 | 22.6.0 | 표백제 | 4.1.0 | 깜빡이 | 1.4 |
| 블리스 | 0.7.10 | boto3 | 1.24.28 | botocore | 1.27.96 |
| cachetools | 5.3.1 | 카탈로그 | 2.0.9 | 범주 인코더 | 2.6.2 |
| certifi | 2022.12.7 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | 클릭 | 8.0.4 | cloudpickle | 2.0.0 |
| cmake | 3.27.5 | cmdstanpy | 1.1.0 | 통신 | 0.1.2 |
| 과자 | 0.1.3 | configparser | 5.2.0 | contourpy | 1.0.5 |
| convertdate | 2.4.0 | 암호화 | 39.0.1 | 사이클러 | 0.11.0 |
| cymem | 2.0.8 | Cython | 0.29.32 | 데사이트 | 1.8.1 |
| databricks-automl-runtime | 0.2.19 | databricks-cli | 0.17.7 | databricks-feature-store | 0.15.1 |
| databricks-sdk | 0.1.6 | 데이터클래스-제이슨 (dataclasses-json) | 0.5.14 | 데이터셋 | 2.14.4 |
| dbl-tempo | 0.1.23 | dbus-python | 1.2.18 | debugpy | 1.6.7 |
| 장식가 | 5.1.1 | deepspeed | 0.10.0 | defusedxml | 0.7.1 |
| 딜 | 0.3.6 | 디스크 캐시 | 5.6.3 | distlib | 0.3.7 |
| docstring-to-markdown | 0.11 | einops | 0.6.1 | 진입점 | 0.4 |
| ephem | 4.1.4 | 평가하다 | 0.4.0 | 실행 중 | 0.8.3 |
| 특징 개요 | 1.1.1 | fastapi (파스트API) | 0.98.0 | fastjsonschema | 2.18.0 |
| fasttext | 0.9.2 | 파일 잠금 | 3.9.0 | 플래시-어텐션 | 2.0.8 |
| 플라스크 | 2.2.5 | flatbuffers | 23.5.26 | fonttools | 4.25.0 |
| frozenlist | 1.4.0 | fsspec | 2022.11.0 | 미래 | 0.18.3 |
| gast | 0.4.0 | GCC 런타임 라이브러리 | 1.10.0 | gitdb | 4.0.10 |
| GitPython | 3.1.27 | google-api-core | 2.11.1 | google-auth | 2.21.0 |
| google-auth-oauthlib | 1.0.0 | google-cloud-core | 2.3.3 | 구글 클라우드 스토리지 (google-cloud-storage) | 2.10.0 |
| google-crc32c | 1.5.0 | 구글 파스타 | 0.2.0 | google-resumable-media | 2.6.0 |
| googleapis-common-protos | 1.60.0 | greenlet (그린렛) | 2.0.1 | grpcio | 1.48.2 |
| grpcio-status | 1.48.1 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| h11 | 0.14.0 | h5py | 3.7.0 | hjson | 3.1.0 |
| 휴일 | 0.30 | horovod | 0.28.1 | htmlmin | 0.1.12 |
| httplib2 | 0.20.2 | httptools | 0.6.0 | huggingface-hub | 0.14.1 |
| idna | 3.4 | 이미지해시 | 4.3.1 | imbalanced-learn | 0.10.1 |
| importlib-metadata | 4.11.3 | importlib-resources | 6.0.1 | ipykernel | 6.25.0 |
| ipython | 8.14.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.6.1 | itsdangerous | 2.0.1 | jedi | 0.18.1 |
| jeepney | 0.7.1 | Jinja2 | 3.1.2 | jmespath | 0.10.0 |
| joblib | 1.2.0 | joblibspark | 0.5.1 | jsonschema | 4.17.3 |
| jupyter-client | 7.3.4 | 주피터 서버 | 1.23.4 | jupyter_core | 5.2.0 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | Keras | 2.13.1 |
| 열쇠고리 | 23.5.0 | kiwisolver | 1.4.4 | langchain | 0.0.267 |
| 언어 코드 | 3.3.0 | langsmith | 0.0.38 | launchpadlib | 1.10.16 |
| lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 | 게으른 로더 | 0.3 |
| libclang | 15.0.6.1 | librosa | 0.10.1 | lightgbm | 4.0.0 |
| 불을 켰다 | 16.0.6 | llvmlite | 0.39.1 | 음력 달력 | 0.0.9 |
| lxml | 4.9.1 | Mako | 1.2.0 | Markdown (마크다운 언어: 텍스트 편집에서 서식을 지정하기 위한 경량 마크업 언어입니다.) | 3.4.1 |
| MarkupSafe | 2.1.1 | 마시멜로 | 3.20.1 | matplotlib | 3.7.0 |
| matplotlib-inline | 0.1.6 | 맥케이브 | 0.7.0 | mistune | 0.8.4 |
| mlflow-skinny | 2.7.1 | more-itertools | 8.10.0 | mpmath | 1.2.1 |
| msgpack | 1.0.5 | multidict | 6.0.4 | 다중 방법 | 1.9.1 |
| 다중 처리 | 0.70.14 | 머머해시 | 1.0.10 | mypy-extensions | 0.4.3 |
| nbclassic | 0.5.2 | nbclient | 0.5.13 | nbconvert | 6.5.4 |
| nbformat | 5.7.0 | nest-asyncio | 1.5.6 | networkx | 2.8.4 |
| 닌자 | 1.11.1 | nltk | 3.7 | nodeenv | 1.8.0 |
| 노트 | 6.5.2 | notebook_shim | 0.2.2 | numba | 0.56.4 |
| numexpr | 2.8.4 | numpy | 1.23.5 | oauthlib | 3.2.0 |
| 오픈AI | 0.27.8 | openapi-schema-pydantic | 1.2.4 | opt-einsum | 3.3.0 |
| 패키징 | 22.0 | pandas | 1.5.3 | pandocfilters | 1.5.0 |
| paramiko | 2.9.2 | parso | 0.8.3 | pathspec | 0.10.3 |
| 병증 | 0.10.2 | patsy | 0.5.3 | petastorm | 0.12.1 |
| pexpect | 4.8.0 | 피크 | 0.12.3 | pickleshare | 0.7.5 |
| 베개 | 9.4.0 | pip | 22.3.1 | platformdirs | 2.5.2 |
| plotly | 5.9.0 | 플러기 | 1.0.0 | pmdarima | 2.0.3 |
| 강아지 | 1.4.0 | preshed | 3.0.9 | prompt-toolkit | 3.0.36 |
| 예언자 | 1.1.4 | protobuf | 4.24.0 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| py-cpuinfo | 9.0.0 | pyarrow | 8.0.0 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.11.1 | pycparser | 2.21 |
| pydantic | 1.10.6 | pyflakes | 3.0.1 | Pygments | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | PyMeeus | 0.5.12 |
| PyNaCl | 1.5.0 | pyodbc | 4.0.32 | pyparsing | 3.0.9 |
| pyright | 1.1.294 | pyrsistent | 0.18.0 | pytesseract | 0.3.10 |
| python-dateutil | 2.8.2 | python-dotenv | 1.0.0 | 파이썬 에디터 | 1.0.4 |
| python-lsp-jsonrpc | 1.0.0 | python-lsp-server | 1.7.1 | pytoolconfig | 1.2.5 |
| pytz | 2022.7 | PyWavelets | 1.4.1 | PyYAML | 6.0 |
| pyzmq | 23.2.0 | regex | 2022.7.9 | 요청 | 2.28.1 |
| requests-oauthlib | 1.3.1 | 응답 | 0.18.0 | 밧줄 | 1.7.0 |
| rsa | 4.9 | s3transfer | 0.6.2 | safetensors | 0.3.3 |
| scikit-learn | 1.1.1 | seaborn | 0.12.2 | SecretStorage | 3.3.1 |
| Send2Trash | 1.8.0 | sentence-transformers | 2.2.2 | sentencepiece | 0.1.99 |
| setuptools | 65.6.3 | shap | 0.42.1 | simplejson | 3.17.6 |
| 6 | 1.16.0 | 슬라이서 | 0.0.7 | smart-open | 5.2.1 |
| smmap | 5.0.0 | sniffio | 1.2.0 | 사운드파일 | 0.12.1 |
| soupsieve | 2.3.2.post1 | soxr | 0.3.6 | 스페이스 같은 | 3.6.1 |
| spacy-legacy | 3.0.12 | spacy-loggers (로그 관리 도구) | 1.0.5 | spark-tensorflow-distributor | 1.0.0 |
| SQLAlchemy | 1.4.39 | sqlparse | 0.4.2 | 진짜 | 2.4.7 |
| ssh-import-id | 5.11 | 스택 데이터 | 0.2.0 | 스타렛 | 0.27.0 |
| statsmodels | 0.13.5 | sympy | 1.11.1 | 표로 만들다 | 0.8.10 |
| tangled-up-in-unicode | 0.2.0 | 끈기 | 8.1.0 | tensorboard | 2.13.0 |
| tensorboard-data-server | 0.7.1 | tensorboard-plugin-profile | 2.13.1 | tensorflow | 2.13.0 |
| tensorflow-estimator | 2.13.0 | tensorflow-io-gcs-filesystem | 0.34.0 | termcolor | 2.3.0 |
| 완료 | 0.17.1 | thinc | 8.1.12 | threadpoolctl | 2.2.0 |
| tiktoken | 0.4.0 | tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 |
| 토크나이저 | 0.13.3 | tomli | 2.0.1 | 손전등 (or 횃불, depending on the context) | 2.0.1+cu118 |
| torchvision | 0.15.2+cu118 | tornado | 6.1 | tqdm | 4.64.1 |
| traitlets | 5.7.1 | 트랜스포머 | 4.31.0 | 트리톤 | 2.0.0 |
| 타입 가드 | 2.13.3 | 타이핑하는 사람 | 0.9.0 | 타이핑 검사 | 0.9.0 |
| typing_extensions | 4.4.0 | ujson | 5.4.0 | 무인 업그레이드 | 0.1 |
| urllib3 | 1.26.14 | uvicorn | 0.23.2 | uvloop | 0.17.0 |
| virtualenv | 20.16.7 | 비전 | 0.7.5 | wadllib | 1.3.6 |
| 와사비 | 1.1.2 | watchfiles | 0.20.0 | wcwidth | 0.2.5 |
| web인코딩 | 0.5.1 | 웹소켓 클라이언트 (websocket-client) | 0.58.0 | websockets | 11.0.3 |
| 도구 | 2.2.2 | 무엇이 패치인가 | 1.0.2 | 바퀴 | 0.38.4 |
| widgetsnbextension | 3.6.1 | 워드 클라우드 | 1.9.2 | 감싼 | 1.14.1 |
| xgboost | 1.76 | xxhash | 3.3.0 | yapf | 0.31.0 |
| yarl | 1.9.2 | ydata-profiling | 4.2.0 | zipp | 3.11.0 |
R 라이브러리
R 라이브러리는 Databricks Runtime 14.1의 R 라이브러리와 동일합니다.
Java 및 Scala 라이브러리(Scala 2.12 클러스터)
Databricks Runtime 14.1의 Java 및 Scala 라이브러리 외에도 Databricks Runtime 14.1 ML에는 다음 JAR이 포함됩니다.
CPU 클러스터
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
| org.mlflow | mlflow-client | 2.7.1 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU 클러스터
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
| org.mlflow | mlflow-client | 2.7.1 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |