메모
이 Databricks Runtime 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 및 수명 종료 기록을 참조하세요. 지원되는 모든 Databricks Runtime 버전은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.
Machine Learning Databricks Runtime 11.2는 Databricks Runtime 11.2(EoS) 기반으로 machine learning 및 데이터 과학을 위한to-go 환경을 제공합니다. Databricks Runtime ML에는 TensorFlow, PyTorch 및 XGBoost를 비롯한 많은 인기 있는 기계 학습 라이브러리가 포함되어 있습니다. Databricks Runtime ML에는 기계 학습 파이프라인을 자동으로 학습시키는 도구인 AutoML이 포함되어 있습니다. Databricks Runtime ML은 Horovod를 사용한 분산 딥 러닝 학습도 지원합니다.
Databricks Runtime ML 클러스터 만들기 지침을 포함한 자세한 내용은 Databricks의 AI 및 기계 학습을 참조하세요.
새로운 기능 및 개선 사항
Databricks Runtime 11.2 ML은 Databricks Runtime 11.2을 기준으로 빌드됩니다. Apache Spark MLlib 및 SparkR을 포함하여 Databricks Runtime 11.2의 새로운 기능과 관련된 자세한 내용은 Databricks Runtime 11.2(EoS) 릴리스 정보를 참조하세요.
AutoML의 향상된 기능
이제 AutoML 은 분류 문제에 대한 불균형 데이터 세트를 더 잘 지원합니다. 자세한 내용은 분류 문제에 대한 불균형 데이터 세트 지원을 참조하세요.
Databricks 기능 저장소의 개선 사항
Databricks 기능 저장소가 다음과 같이 개선되었습니다.
- 온라인 저장소의 경우 사용자 및 암호 필드는 더 이상 사용되지 않습니다. 향후 비호환성을 방지하려면 이러한 필드의 모든 사용을
write_secret_prefix로 변경합니다.
- 기능 저장소 클라이언트의 모든 설명서 및 출력은 이제 Databricks Runtime ML 버전(예: 11.2) 대신 클라이언트 버전(예: 0.6.1)을 참조하세요.
시스템 환경
Databricks Runtime 11.2 ML의 시스템 환경은 다음과 같은 면에서 Databricks Runtime 11.2과 다릅니다.
-
DBUtils: Databricks Runtime ML에는 라이브러리 유틸리티(dbutils.library)(레거시)가 포함되어 있지 않습니다.
대신
%pip명령을 사용합니다. Notebook 범위 Python 라이브러리를 참조하십시오. - GPU 클러스터의 경우 Databricks Runtime ML에는 다음과 같은 NVIDIA GPU 라이브러리가 포함됩니다.
- CUDA 11.3
- cuDNN 8.0.5.39
- NCCL 2.9.9
- TensorRT 7.2.2
라이브러리
다음 섹션에서는 Databricks Runtime 11.2에 포함된 라이브러리와 다른 Databricks Runtime 11.2 ML에 포함된 라이브러리가 나열되어 있습니다.
이 섹션에서는 다음을 수행합니다.
최상위 계층 라이브러리
Databricks Runtime 11.2 ML에는 다음과 같은 최상위 계층 라이브러리가 포함되어 있습니다.
- GraphFrames
- 호로보드 및 호로보드러너
- MLflow
- PyTorch
- spark-tensorflow-connector (스파크-텐서플로우-커넥터)
- Tensorflow
- TensorBoard
- Scikit-learn
Python 라이브러리
Databricks Runtime 11.2 ML은 Python 패키지 관리에 Virtualenv를 사용하며 널리 사용되는 많은 ML 패키지를 포함합니다.
다음 섹션에 지정된 패키지 외에도 Databricks Runtime 11.2 ML에는 다음 패키지도 포함됩니다.
- hyperopt 0.2.7.db1
- sparkdl 2.2.0_db6
- feature_store 0.6.0
- automl 1.12.3
CPU 클러스터의 파이썬 라이브러리
로컬 Python 가상 환경에서 Databricks Runtime ML Python 환경을 재현하려면 requirements-11.2.txt 파일을 다운로드하고 pip install -r requirements-11.2.txt 실행합니다. 이 명령은 Databricks Runtime ML에서 사용하는 모든 open source 라이브러리를 설치하지만 databricks-automl, databricks-feature-store 또는 hyperopt Databricks 포크와 같은 Azure Databricks 개발된 라이브러리를 설치하지 않습니다.
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | Antergos Linux | 2015.10(ISO-Rolling) | argon2-cffi | 20.1.0 |
| 아스토르 | 0.8.1 | astunparse (파이썬 코드 분석 라이브러리) | 1.6.3 | 비동기 제너레이터 (async-generator) | 1.10 |
| 속성들 | 21.2.0 | 애저 코어 | 1.22.1 | azure-cosmos | 4.2.0 |
| 역호출 | 0.2.0 | backports.entry-points-selectable | 1.1.1 | bcrypt (비크립트) | 3.2.2 |
| 검정색 | 22.3.0 | 표백제 | 4.0.0 | 블리스 | 0.7.8 |
| boto3 | 1.21.18 | 보토코어 | 1.24.18 | 캐시툴즈 (cachetools) | 5.2.0 |
| 카탈로그 | 2.0.8 | 서티피 | 2021.10.8 | cffi | 1.14.6 |
| 챠데트 | 4.0.0 | charset-normalizer (문자셋 정규화 도구) | 2.0.4 | 클릭하세요 | 8.0.3 |
| cloudpickle (클라우드피클) | 2.0.0 | cmdstanpy | 0.9.68 | 컨피그파서 | 5.2.0 |
| 변환날짜 | 2.4.0 | 암호화 | 3.4.8 | 자전거 타는 사람 | 0.10.0 |
| 사이멤 | 2.0.6 | 사이톤 (Cython) | 0.29.24 | 데이터브릭스-오토ML-런타임 | 0.2.10 |
| databricks-cli (데이터브릭스 명령줄 인터페이스) | 0.17.0 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| debugpy | 1.4.1 | 장식자 | 5.1.0 | defusedxml (디퓨즈드 XML) | 0.7.1 |
| 딜 | 0.3.4 | 디스크 캐시 (disk cache) | 5.4.0 | distlib (디스트립 라이브러리) | 0.3.5 |
| 디스트로 인포 | 0.23ubuntu1 | 진입 지점 | 0.3 | 에펨 | 4.1.3 |
| 구성 요소 개요 | 1.0.0 | 패스트텍스트 (fasttext) | 0.9.2 | 파일 잠금 | 3.3.1 |
| 플라스크 | 1.1.2 | 플랫버퍼스 | 1.12 | fsspec | 2021년 8월 1일 |
| 미래 | 0.18.2 | 가스트 | 0.4.0 | GitDB (기트 데이터베이스) | 4.0.9 |
| GitPython | 3.1.27 | 구글 인증 (google-auth) | 2.6.0 | google-auth-oauthlib (구글 인증 OAuth 라이브러리) | 0.4.6 |
| 구글-파스타 | 0.2.0 | grpcio (Python용 gRPC 패키지) | 1.44.0 | gunicorn (구니콘) | 20.1.0 |
| gviz-api | 1.10.0 | h5py | 3.3.0 | 히지리 변환기 | 2.2.4 |
| 휴일 | 0.14.2 | 호로보드 (Horovod) | 0.25.0 | htmlmin | 0.1.12 |
| huggingface-hub (허깅페이스 허브) | 0.8.1 | 아이드나 | 3.2 | 이미지해시 | 4.2.1 |
| imbalanced-learn (불균형 데이터 학습 도구) | 0.8.1 | importlib-metadata | 4.8.1 | ipykernel | 6.12.1 |
| ipython | 7.32.0 | ipython-genutils (아이파이썬 젠유틸스) | 0.2.0 | ipywidgets (아이파이위젯) | 7.7.0 |
| 아이소데이트 (isodate) | 0.6.1 | 위험하다 | 2.0.1 | Jedi | 0.18.0 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib (잡리브) | 1.0.1 |
| joblibspark | 0.5.0 | JSON 스키마 | 3.2.0 | 주피터-클라이언트 (jupyter-client) | 6.1.12 |
| jupyter-core | 4.8.1 | jupyterlab-pygments | 0.1.2 | 주피터랩 위젯 | 1.0.0 |
| 케라스 | 2.9.0 | Keras-Preprocessing | 1.1.2 | 키위솔버 (kiwisolver) | 1.3.1 |
| 한국 음력 달력 | 0.2.1 | 언어 코드 | 3.3.0 | libclang | 14.0.6 |
| lightgbm | 3.3.2 | llvmlite | 0.37.0 | 음력 달력 | 0.0.9 |
| 마코 (Mako) | 1.2.0 | Markdown | 3.3.6 | MarkupSafe (마크업세이프) | 2.0.1 |
| matplotlib (매트플롯립) | 3.4.3 | matplotlib-inline (매트플롯립-인라인) | 0.1.2 | 미싱노 (missingno) | 0.5.1 |
| 미스튠 (Mistune) | 0.8.4 | mleap | 0.20.0 | mlflow-skinny | 1.28.0 |
| 멀티메소드 | 1.8 | 머머해시 (murmurhash) | 1.0.8 | mypy-extensions (마이파이-익스텐션) | 0.4.3 |
| nb클라이언트 | 0.5.3 | nbconvert | 6.1.0 | nb포맷 (nbformat) | 5.1.3 |
| nest-asyncio (파이썬 비동기 I/O 라이브러리) | 1.5.1 | 네트워크엑스 | 2.6.3 | nltk (자연언어처리 도구) | 3.6.5 |
| notebook | 6.4.5 | 넘바 | 0.54.1 | numpy (파이썬의 수치 계산용 라이브러리) | 1.20.3 |
| oauthlib | 3.2.0 | opt-einsum | 3.3.0 | 패키징 | 21.0 |
| 팬더 | 1.3.4 | 팬더스 프로파일링 | 3.1.0 | pandocfilters | 1.4.3 |
| 판미코 (Paramiko라는 Python 라이브러리) | 2.9.2 | 파르소 | 0.8.2 | 패스스펙 (pathspec) | 0.9.0 |
| 병 | 0.6.2 | 바보 | 0.5.2 | 페타스톰 | 0.11.4 |
| pexpect (피엑스펙트) | 4.8.0 | 피크 (phik) | 0.12.2 | pickleshare (픽클셰어) | 0.7.5 |
| 베개 | 8.4.0 | 파이썬 패키지 설치 도구 pip | 21.2.4 | platformdirs | 2.5.2 |
| plotly | 5.9.0 | pmdarima | 1.8.5 | 프레쉐드 | 3.0.7 |
| prometheus-client | 0.11.0 | prompt-toolkit (프롬프트 도구 키트) | 3.0.20 | 예언자 | 1.0.1 |
| 프로토버프 (protobuf) | 3.19.4 | psutil | 5.8.0 | psycopg2 | 2.9.3 |
| PtyProcess | 0.7.0 | pyarrow | 7.0.0 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.10.0 | pycparser | 2.20 |
| pydantic | 1.9.2 | 파이그먼츠 | 2.10.0 | PyGObject | 3.36.0 |
| PyJWT | 2.4.0 | PyMeeus | 0.5.11 | PyNaCl | 1.5.0 |
| pyodbc | 4.0.31 | pyparsing (파이썬 파싱 라이브러리) | 3.0.4 | pyrsistent | 0.18.0 |
| 피스탄 | 2.19.1.1 | python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil (파이썬 날짜 유틸) | 2.8.2 |
| 파이썬 편집기 | 1.0.4 | pytz (파이썬의 타임존 계산을 위한 라이브러리) | 2021.3 | PyWavelets | 1.1.1 |
| PyYAML | 6.0 | pyzmq | 22.2.1 | 정규식 | 2021년 8월 3일 |
| 요청사항 | 2.26.0 | requests-oauthlib | 1.3.1 | requests-unixsocket (요청-유닉스소켓) | 0.2.0 |
| RSA (암호화 알고리즘) | 4.9 | s3transfer | 0.5.2 | scikit-learn (파이썬 머신러닝 라이브러리) | 0.24.2 |
| scipy (과학 컴퓨팅 라이브러리) | 1.7.1 | 바다에서 태어난 | 0.11.2 | Send2Trash | 1.8.0 |
| setuptools (셋업툴즈) | 58.0.4 | setuptools-git | 1.2 | 샤프 | 0.41.0 |
| simplejson | 3.17.6 | 6 | 1.16.0 | 절단기 | 0.0.7 |
| 스마트-오픈 | 5.2.1 | 스맵 | 5.0.0 | 스페이시 | 3.4.0 |
| 스페이시-레거시 | 3.0.9 | 스페이시 로거 | 1.0.3 | 스파크-텐서플로-디스트리뷰터 | 1.0.0 |
| sqlparse | 0.4.2 | 진심? | 2.4.4 | ssh-import-id | 5.10 |
| statsmodels (파이썬 통계 모형 라이브러리) | 0.12.2 | 표로 정리하다 | 0.8.9 | 유니코드에 얽히다 | 0.1.0 |
| 끈기 | 8.0.1 | 텐서보드 | 2.9.1 | tensorboard-data-server (텐서보드 데이터 서버) | 0.6.1 |
| tensorboard-plugin-profile (텐서보드 플러그인 프로파일) | 2.8.0 | tensorboard-plugin-wit (텐서보드 플러그인 위트) | 1.8.1 | 텐서플로-CPU | 2.9.1 |
| 텐서플로우 에스티메이터 (tensorflow-estimator) | 2.9.0 | tensorflow-io-gcs-filesystem (텐서플로우 입출력-GCS 파일 시스템) | 0.26.0 | 터칼라 (termcolor) | 1.1.0 |
| 끝났다 | 0.9.4 | 테스트 경로 | 0.5.0 | 띵크 | 8.1.0 |
| threadpoolctl | 2.2.0 | 토크나이즈-RT | 4.2.1 | 토크나이저 | 0.12.1 |
| tomli | 2.0.1 | 횃불 | 1.11.0+cpu | 토치비전 | 0.12.0+cpu |
| 토네이도 | 6.1 | tqdm | 4.62.3 | 트레잇렛츠 | 5.1.0 |
| 변압기 | 4.20.1 | 타이퍼 | 0.4.2 | 타이핑 확장 모듈 (typing-extensions) | 3.10.0.2 |
| ujson | 4.0.2 | 사용자 개입 없는 자동 업데이트 | 0.1 | urllib3 | 1.26.7 |
| virtualenv | 20.8.0 | 비전 | 0.7.4 | 와사비 | 0.10.1 |
| wcwidth(문자의 너비를 계산하는 함수) | 0.2.5 | 웹인코딩 | 0.5.1 | 웹소켓 클라이언트 (websocket-client) | 1.3.1 |
| 도구 | 2.0.2 | 바퀴 | 0.37.0 | widgetsnbextension (위젯 확장 프로그램) | 3.6.0 |
| 감싼 | 1.12.1 | xgboost | 1.5.2 | 지프 | 3.6.0 |
Python 라이브러리의 GPU 클러스터에서의 사용
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | Antergos Linux | 2015.10(ISO-Rolling) | argon2-cffi | 20.1.0 |
| 아스토르 | 0.8.1 | astunparse (파이썬 코드 분석 라이브러리) | 1.6.3 | 비동기 제너레이터 (async-generator) | 1.10 |
| 속성들 | 21.2.0 | 애저 코어 | 1.22.1 | azure-cosmos | 4.2.0 |
| 역호출 | 0.2.0 | backports.entry-points-selectable | 1.1.1 | bcrypt (비크립트) | 3.2.2 |
| 검정색 | 22.3.0 | 표백제 | 4.0.0 | 블리스 | 0.7.8 |
| boto3 | 1.21.18 | 보토코어 | 1.24.18 | 캐시툴즈 (cachetools) | 5.2.0 |
| 카탈로그 | 2.0.8 | 서티피 | 2021.10.8 | cffi | 1.14.6 |
| 챠데트 | 4.0.0 | charset-normalizer (문자셋 정규화 도구) | 2.0.4 | 클릭하세요 | 8.0.3 |
| cloudpickle (클라우드피클) | 2.0.0 | cmdstanpy | 0.9.68 | 컨피그파서 | 5.2.0 |
| 변환날짜 | 2.4.0 | 암호화 | 3.4.8 | 자전거 타는 사람 | 0.10.0 |
| 사이멤 | 2.0.6 | 사이톤 (Cython) | 0.29.24 | 데이터브릭스-오토ML-런타임 | 0.2.10 |
| databricks-cli (데이터브릭스 명령줄 인터페이스) | 0.17.0 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| debugpy | 1.4.1 | 장식자 | 5.1.0 | defusedxml (디퓨즈드 XML) | 0.7.1 |
| 딜 | 0.3.4 | 디스크 캐시 (disk cache) | 5.4.0 | distlib (디스트립 라이브러리) | 0.3.5 |
| 디스트로 인포 | 0.23ubuntu1 | 진입 지점 | 0.3 | 에펨 | 4.1.3 |
| 구성 요소 개요 | 1.0.0 | 패스트텍스트 (fasttext) | 0.9.2 | 파일 잠금 | 3.3.1 |
| 플라스크 | 1.1.2 | 플랫버퍼스 | 1.12 | fsspec | 2021년 8월 1일 |
| 미래 | 0.18.2 | 가스트 | 0.4.0 | GitDB (기트 데이터베이스) | 4.0.9 |
| GitPython | 3.1.27 | 구글 인증 (google-auth) | 2.6.0 | google-auth-oauthlib (구글 인증 OAuth 라이브러리) | 0.4.6 |
| 구글-파스타 | 0.2.0 | grpcio (Python용 gRPC 패키지) | 1.44.0 | gunicorn (구니콘) | 20.1.0 |
| gviz-api | 1.10.0 | h5py | 3.3.0 | 히지리 변환기 | 2.2.4 |
| 휴일 | 0.14.2 | 호로보드 (Horovod) | 0.25.0 | htmlmin | 0.1.12 |
| huggingface-hub (허깅페이스 허브) | 0.8.1 | 아이드나 | 3.2 | 이미지해시 | 4.2.1 |
| imbalanced-learn (불균형 데이터 학습 도구) | 0.8.1 | importlib-metadata | 4.8.1 | ipykernel | 6.12.1 |
| ipython | 7.32.0 | ipython-genutils (아이파이썬 젠유틸스) | 0.2.0 | ipywidgets (아이파이위젯) | 7.7.0 |
| 아이소데이트 (isodate) | 0.6.1 | 위험하다 | 2.0.1 | Jedi | 0.18.0 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib (잡리브) | 1.0.1 |
| joblibspark | 0.5.0 | JSON 스키마 | 3.2.0 | 주피터-클라이언트 (jupyter-client) | 6.1.12 |
| jupyter-core | 4.8.1 | jupyterlab-pygments | 0.1.2 | 주피터랩 위젯 | 1.0.0 |
| 케라스 | 2.9.0 | Keras-Preprocessing | 1.1.2 | 키위솔버 (kiwisolver) | 1.3.1 |
| 한국 음력 달력 | 0.2.1 | 언어 코드 | 3.3.0 | libclang | 14.0.6 |
| lightgbm | 3.3.2 | llvmlite | 0.37.0 | 음력 달력 | 0.0.9 |
| 마코 (Mako) | 1.2.0 | Markdown | 3.3.6 | MarkupSafe (마크업세이프) | 2.0.1 |
| matplotlib (매트플롯립) | 3.4.3 | matplotlib-inline (매트플롯립-인라인) | 0.1.2 | 미싱노 (missingno) | 0.5.1 |
| 미스튠 (Mistune) | 0.8.4 | mleap | 0.20.0 | mlflow-skinny | 1.28.0 |
| 멀티메소드 | 1.8 | 머머해시 (murmurhash) | 1.0.8 | mypy-extensions (마이파이-익스텐션) | 0.4.3 |
| nb클라이언트 | 0.5.3 | nbconvert | 6.1.0 | nb포맷 (nbformat) | 5.1.3 |
| nest-asyncio (파이썬 비동기 I/O 라이브러리) | 1.5.1 | 네트워크엑스 | 2.6.3 | nltk (자연언어처리 도구) | 3.6.5 |
| notebook | 6.4.5 | 넘바 | 0.54.1 | numpy (파이썬의 수치 계산용 라이브러리) | 1.20.3 |
| oauthlib | 3.2.0 | opt-einsum | 3.3.0 | 패키징 | 21.0 |
| 팬더 | 1.3.4 | 팬더스 프로파일링 | 3.1.0 | pandocfilters | 1.4.3 |
| 판미코 (Paramiko라는 Python 라이브러리) | 2.9.2 | 파르소 | 0.8.2 | 패스스펙 (pathspec) | 0.9.0 |
| 병 | 0.6.2 | 바보 | 0.5.2 | 페타스톰 | 0.11.4 |
| pexpect (피엑스펙트) | 4.8.0 | 피크 (phik) | 0.12.2 | pickleshare (픽클셰어) | 0.7.5 |
| 베개 | 8.4.0 | 파이썬 패키지 설치 도구 pip | 21.2.4 | platformdirs | 2.5.2 |
| plotly | 5.9.0 | pmdarima | 1.8.5 | 프레쉐드 | 3.0.7 |
| prompt-toolkit (프롬프트 도구 키트) | 3.0.20 | 예언자 | 1.0.1 | 프로토버프 (protobuf) | 3.19.4 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | PtyProcess | 0.7.0 |
| pyarrow | 7.0.0 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.10.0 | pycparser | 2.20 | pydantic | 1.9.2 |
| 파이그먼츠 | 2.10.0 | PyGObject | 3.36.0 | PyJWT | 2.4.0 |
| PyMeeus | 0.5.11 | PyNaCl | 1.5.0 | pyodbc | 4.0.31 |
| pyparsing (파이썬 파싱 라이브러리) | 3.0.4 | pyrsistent | 0.18.0 | 피스탄 | 2.19.1.1 |
| python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil (파이썬 날짜 유틸) | 2.8.2 | 파이썬 편집기 | 1.0.4 |
| pytz (파이썬의 타임존 계산을 위한 라이브러리) | 2021.3 | PyWavelets | 1.1.1 | PyYAML | 6.0 |
| pyzmq | 22.2.1 | 정규식 | 2021년 8월 3일 | 요청사항 | 2.26.0 |
| requests-oauthlib | 1.3.1 | requests-unixsocket (요청-유닉스소켓) | 0.2.0 | RSA (암호화 알고리즘) | 4.9 |
| s3transfer | 0.5.2 | scikit-learn (파이썬 머신러닝 라이브러리) | 0.24.2 | scipy (과학 컴퓨팅 라이브러리) | 1.7.1 |
| 바다에서 태어난 | 0.11.2 | Send2Trash | 1.8.0 | setuptools (셋업툴즈) | 58.0.4 |
| setuptools-git | 1.2 | 샤프 | 0.41.0 | simplejson | 3.17.6 |
| 6 | 1.16.0 | 절단기 | 0.0.7 | 스마트-오픈 | 5.2.1 |
| 스맵 | 5.0.0 | 스페이시 | 3.4.0 | 스페이시-레거시 | 3.0.9 |
| 스페이시 로거 | 1.0.3 | 스파크-텐서플로-디스트리뷰터 | 1.0.0 | sqlparse | 0.4.2 |
| 진심? | 2.4.4 | ssh-import-id | 5.10 | statsmodels (파이썬 통계 모형 라이브러리) | 0.12.2 |
| 표로 정리하다 | 0.8.9 | 유니코드에 얽히다 | 0.1.0 | 끈기 | 8.0.1 |
| 텐서보드 | 2.9.1 | tensorboard-data-server (텐서보드 데이터 서버) | 0.6.1 | tensorboard-plugin-profile (텐서보드 플러그인 프로파일) | 2.8.0 |
| tensorboard-plugin-wit (텐서보드 플러그인 위트) | 1.8.1 | 텐서플로우 | 2.9.1 | 텐서플로우 에스티메이터 (tensorflow-estimator) | 2.9.0 |
| tensorflow-io-gcs-filesystem (텐서플로우 입출력-GCS 파일 시스템) | 0.26.0 | 터칼라 (termcolor) | 1.1.0 | 끝났다 | 0.9.4 |
| 테스트 경로 | 0.5.0 | 띵크 | 8.1.0 | threadpoolctl | 2.2.0 |
| 토크나이즈-RT | 4.2.1 | 토크나이저 | 0.12.1 | tomli | 2.0.1 |
| 횃불 | 1.11.0+cu113 | 토치비전 | 0.12.0+cu113 | 토네이도 | 6.1 |
| tqdm | 4.62.3 | 트레잇렛츠 | 5.1.0 | 변압기 | 4.20.1 |
| 타이퍼 | 0.4.2 | 타이핑 확장 모듈 (typing-extensions) | 3.10.0.2 | ujson | 4.0.2 |
| 사용자 개입 없는 자동 업데이트 | 0.1 | urllib3 | 1.26.7 | virtualenv | 20.8.0 |
| 비전 | 0.7.4 | 와사비 | 0.10.1 | wcwidth(문자의 너비를 계산하는 함수) | 0.2.5 |
| 웹인코딩 | 0.5.1 | 웹소켓 클라이언트 (websocket-client) | 1.3.1 | 도구 | 2.0.2 |
| 바퀴 | 0.37.0 | widgetsnbextension (위젯 확장 프로그램) | 3.6.0 | 감싼 | 1.12.1 |
| xgboost | 1.5.2 | 지프 | 3.6.0 |
R 라이브러리
R 라이브러리는 Databricks Runtime 11.2의 R 라이브러리와 동일합니다.
Java 및 Scala 라이브러리(Scala 2.12 클러스터)
Databricks Runtime 11.2의 Java 및 Scala 라이브러리 외에도 Databricks Runtime 11.2 ML에는 다음 JAR이 포함됩니다.
CPU 클러스터
| 그룹 아이디 | 아티팩트 ID | 버전 |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
| ml.dmlc | xgboost4j_2.12 | 1.5.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.28.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | Spark 텐서플로우 커넥터_2.12 | 1.15.0 |
GPU 클러스터
| 그룹 아이디 | 아티팩트 ID | 버전 |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.5.2 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.5.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.28.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | Spark 텐서플로우 커넥터_2.12 | 1.15.0 |