메모
이 Databricks Runtime 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 및 수명 종료 기록을 참조하세요. 지원되는 모든 Databricks Runtime 버전은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.
Databricks Runtime 15.0 for Machine Learning은 Databricks Runtime 15.0(EoS) 기반으로 기계 학습 및 데이터 과학을 위한 완비된 환경을 제공합니다. Databricks Runtime ML에는 TensorFlow, PyTorch 및 XGBoost를 비롯한 많은 인기 있는 기계 학습 라이브러리가 포함되어 있습니다. Databricks Runtime ML에는 기계 학습 파이프라인을 자동으로 학습시키는 도구인 AutoML이 포함되어 있습니다. Databricks Runtime ML은 Horovod를 사용한 분산 딥 러닝 학습도 지원합니다.
새로운 기능 및 개선 사항
Databricks Runtime 15.0 ML은 Databricks Runtime 15.0을 기반으로 빌드됩니다. Apache Spark MLlib 및 SparkR을 포함하여 Databricks Runtime 15.0의 새로운 기능과 관련된 자세한 내용은 Databricks Runtime 15.0(EoS) 릴리스 정보를 참조하세요.
파괴적 변경
레거시 Databricks CLI는 기본적으로 더 이상 설치되지 않습니다.
미리 설치된 MLflow 버전에 레거시 Databricks CLI(databricks/databricks-cli)가 필요했기 때문에 Databricks Runtime 14.3 LTS ML 이하에서는 자동으로 $PATH에 설치되었습니다. Databricks Runtime 15.0 ML에는 레거시 CLI가 필요하지 않은 MLflow 버전 2.10.2가 포함되어 있습니다.
Databricks Runtime 15.0 ML부터 레거시 Databricks CLI는 더 이상 자동으로 $PATH에 설치되지 않습니다. 이는 런타임에 설치되는 레거시 CLI에 의존하는 사용자에게 중대한 변경입니다.
%sh databricks ...와 같은 명령은 Databricks Runtime 15.0 ML 이상에서 더 이상 작동하지 않습니다.
Notebook에서 레거시 Databricks CLI를 계속 사용하려면 클러스터 또는 Notebook 라이브러리로 설치합니다. 새 Databricks CLI(databricks/cli)는 웹 터미널에서 사용할 수 있습니다. 자세한 내용은 웹 터미널 및 Databricks CLI 사용을 참조하세요.
Databricks Runtime 15.0 ML부터 MLeap을 더 이상 사용할 수 없습니다.
Databricks Runtime 15.0 ML 이상에서 MLeap을 더 이상 사용할 수 없습니다. JVM 기반 프레임워크에 배포할 모델을 패키지할 때 Databricks에서는 ONNX 형식을 사용하는 것이 좋습니다.
Horovod 및 HorovodRunner 사용 중지 권고
Horovod 및 HorovodRunner는 이제 더 이상 사용되지 않습니다. 분산 딥 러닝의 경우 Databricks는 PyTorch와 함께 분산 학습에 TorchDistributor를 사용하거나 TensorFlow를 사용한 분산 학습을 위해 tf.distribute.Strategy API를 사용하는 것이 좋습니다. Horovod 및 HorovodRunner는 Databricks Runtime 15.0 ML에 미리 설치되어 있지만, 다음 주요 Databricks Runtime ML 버전에서 제거될 예정입니다.
메모
horovod.spark pyarrow 버전 11.0 이상을 지원하지 않습니다(관련 GitHub 문제 참조). Databricks Runtime 15.0 ML에는 pyarrow 버전 14.0.1이 포함되어 있습니다. Databricks Runtime 15.0 ML 이상과 함께 horovod.spark을 사용 하려면 11.0 미만의 버전을 지정하여 pyarrow를 수동으로 설치해야 합니다.
시스템 환경
Databricks Runtime 15.0 ML의 시스템 환경은 다음과 같은 면에서 Databricks Runtime 15.0과 다릅니다.
- GPU 클러스터의 경우 Databricks Runtime ML에는 다음과 같은 NVIDIA GPU 라이브러리가 포함됩니다.
- CUDA 12.1
- cuDNN 8.9.0.131-1
- NCCL 2.17.1
- TensorRT 8.6.1.6-1
라이브러리
다음 섹션에서는 Databricks Runtime 15.0에 포함된 라이브러리와 다른 Databricks Runtime 15.0 ML에 포함된 라이브러리를 나열합니다.
이 섹션에서는 다음을 수행합니다.
최상위 계층 라이브러리
Databricks Runtime 15.0 ML에는 다음과 같은 최상위 계층 라이브러리가 포함되어 있습니다.
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector (스파크-텐서플로우-커넥터)
- Tensorflow
- TensorBoard
- Scikit-learn
- (사용되지 않음) Horovod 및 HorovodRunner
Python 라이브러리
Databricks Runtime 15.0 ML은 Python 패키지 관리에 virtualenv 사용하며 많은 인기 있는 ML 패키지를 포함합니다.
다음 섹션에 지정된 패키지 외에도 Databricks Runtime 15.0 ML에는 다음 패키지도 포함됩니다.
- hyperopt 0.2.7+db4
- sparkdl 3.0.0_db1
- automl 1.25.0
로컬 Python 가상 환경에서 Databricks Runtime ML Python 환경을 재현하려면 requirements-15.0.txt 파일을 다운로드하고 pip install -r requirements-15.0.txt 실행합니다. 이 명령은 Databricks Runtime ML에서 사용하는 모든 open source 라이브러리를 설치하지만 databricks에서 개발한 라이브러리(예: databricks-automl, databricks-feature-store 또는 hyperopt Databricks 포크)를 설치하지 않습니다.
CPU 클러스터의 파이썬 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | 가속 | 0.25.0 | aiohttp | 3.8.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | 애니오 | 3.5.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings (아르곤2-CFFI 바인딩) | 21.2.0 | 아스토르 | 0.8.1 |
| 에이에스티토큰 | 2.0.5 | astunparse (파이썬 코드 분석 라이브러리) | 1.6.3 | 비동기-타임아웃 | 4.0.2 |
| 속성들 | 22.1.0 | 오디오리드 | 3.0.1 | 애저 코어 | 1.30.1 |
| azure-cosmos | 4.3.1 | azure-storage-blob (애저 스토리지 블롭) | 12.19.0 | azure-storage-file-datalake (아주르 스토리지 파일 데이터레이크) | 12.14.0 |
| 역호출 | 0.2.0 | bcrypt (비크립트) | 3.2.0 | beautifulsoup4 | 4.12.2 |
| 검정색 | 23.3.0 | 표백제 | 4.1.0 | 축복받은 | 1.20.0 |
| 깜빡이 | 1.4 | 블리스 | 0.7.11 | boto3 | 1.34.39 |
| 보토코어 | 1.34.39 | 캐시툴즈 (cachetools) | 5.3.3 | 카탈로그 | 2.0.10 |
| 카테고리 인코더 | 2.6.3 | 서티피 | 2023년 7월 22일 | cffi | 1.15.1 |
| 챠데트 | 4.0.0 | charset-normalizer (문자셋 정규화 도구) | 2.0.4 | 클릭하세요 | 8.0.4 |
| cloudpathlib | 0.16.0 | cloudpickle (클라우드피클) | 2.2.1 | cmdstanpy | 1.2.1 |
| 다채로운 | 0.5.6 | 통신 | 0.1.2 | 과자 | 0.1.4 |
| 컨피그파서 | 5.2.0 | contourpy (컨투어파이) | 1.0.5 | 암호화 | 41.0.3 |
| 자전거 타는 사람 | 0.11.0 | 사이멤 | 2.0.8 | 사이톤 (Cython) | 0.29.32 |
| 데사이트 | 1.8.1 | 데이터브릭스-오토ML-런타임 | 0.2.21 | 데이터브릭스 특성 엔지니어링 | 0.3.0 |
| 데이터브릭스 SDK (소프트웨어 개발 키트) | 0.20.0 | 데이터클래스-제이슨 (dataclasses-json) | 0.6.4 | 데이터세트 | 2.16.1 |
| dbl-tempo | 0.1.26 | dbus-python | 1.2.18 | debugpy | 1.6.7 |
| 장식자 | 5.1.1 | 딥스피드 | 0.13.1 | defusedxml (디퓨즈드 XML) | 0.7.1 |
| 딜 | 0.3.6 | 디스크 캐시 (disk cache) | 5.6.3 | distlib (디스트립 라이브러리) | 0.3.8 |
| 디엠-트리 | 0.1.8 | 진입 지점 | 0.4 | 평가하다 | 0.4.1 |
| 실행 중 | 0.8.3 | 구성 요소 개요 | 1.1.1 | Farama-알림 | 0.0.4 |
| fastjsonschema (파스트제이슨스키마) | 2.19.1 | 패스트텍스트 (fasttext) | 0.9.2 | 파일 잠금 | 3.9.0 |
| 플라스크 | 2.2.5 | 플랫버퍼스 | 23년 5월 26일 | 폰트툴즈 (fonttools) | 4.25.0 |
| 프로즌리스트 (frozenlist) | 1.3.3 | fsspec | 2023.5.0 | 미래 | 0.18.3 |
| 가스트 | 0.4.0 | GitDB (기트 데이터베이스) | 4.0.11 | GitPython | 3.1.27 |
| google-api-core (구글 API 핵심) | 2.17.1 | 구글 인증 (google-auth) | 2.21.0 | google-auth-oauthlib (구글 인증 OAuth 라이브러리) | 1.0.0 |
| google-cloud-core (구글 클라우드 코어) | 2.4.1 | 구글 클라우드 스토리지 (Google Cloud Storage) | 2.11.0 | google-crc32c (구글의 CRC32C 알고리즘) | 1.5.0 |
| 구글-파스타 | 0.2.0 | google-resumable-media (구글 재개 가능한 미디어) | 2.7.0 | googleapis-common-protos | 1.62.0 |
| gpustat | 1.1.1 | greenlet (그린렛) | 2.0.1 | grpcio (Python용 gRPC 패키지) | 1.60.0 |
| grpcio-status | 1.60.0 | gunicorn (구니콘) | 20.1.0 | gviz-api | 1.10.0 |
| 체육관 | 0.28.1 | h11 | 0.14.0 | h5py | 3.9.0 |
| hjson | 3.1.0 | 휴일 | 0.38 | 호로보드 (Horovod) | 0.28.1+db1 |
| htmlmin | 0.1.12 | httpcore | 1.0.4 | httplib2 | 0.20.2 |
| httpx | 0.27.0 | huggingface-hub (허깅페이스 허브) | 0.20.2 | 아이드나 | 3.4 |
| 이미지해시 | 4.3.1 | imageio | 2.31.1 | imbalanced-learn (불균형 데이터 학습 도구) | 0.11.0 |
| importlib-metadata | 6.0.0 | importlib_resources | 6.1.2 | ipyflow-core | 0.0.198 |
| ipykernel | 6.25.1 | ipython | 8.15.0 | ipython-genutils (아이파이썬 젠유틸스) | 0.2.0 |
| ipywidgets (아이파이위젯) | 8.0.4 | 아이소데이트 (isodate) | 0.6.1 | 위험하다 | 2.0.1 |
| 잭스 점피 | 1.0.0 | Jedi | 0.18.1 | 지프니 | 0.7.1 |
| Jinja2 | 3.1.2 | jmespath | 0.10.0 | joblib (잡리브) | 1.2.0 |
| joblibspark | 0.5.1 | jsonpatch (JSON 패치) | 1.33 | jsonpointer (JSON 포인터) | 2.4 |
| JSON 스키마 | 4.17.3 | 주피터 서버 | 1.23.4 | 주피터 클라이언트 (jupyter_client) | 7.4.9 |
| 주피터 코어 (jupyter_core) | 5.3.0 | jupyterlab-pygments | 0.1.2 | 주피터랩 위젯 | 3.0.5 |
| 케라스 | 2.15.0 | 열쇠고리 (키링) | 23.5.0 | 키위솔버 (kiwisolver) | 1.4.4 |
| langchain | 0.1.3 | 랭체인 커뮤니티 | 0.0.20 | langchain-core | 0.1.23 |
| 언어 코드 | 3.3.0 | langsmith | 0.0.87 | launchpadlib (런치패드 라이브러리) | 1.10.16 |
| lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 | 레이지 로더 | 0.2 |
| libclang | 16.0.6 | librosa (리브로사) | 0.10.1 | lightgbm | 4.2.0 |
| llvmlite | 0.40.0 | lxml | 4.9.2 | lz4 | 4.3.2 |
| 마코 (Mako) | 1.2.0 | Markdown | 3.4.1 | 마크다운-it-py | 2.2.0 |
| MarkupSafe (마크업세이프) | 2.1.1 | 마시멜로 | 3.21.1 | matplotlib (매트플롯립) | 3.7.2 |
| matplotlib-inline (매트플롯립-인라인) | 0.1.6 | mdurl | 0.1.0 | 미스튠 (Mistune) | 0.8.4 |
| ml-dtypes | 0.2.0 | mlflow-skinny | 2.10.2 | more-itertools (모어 이터툴즈) | 8.10.0 |
| mpmath | 1.3.0 | 메시지팩 (MessagePack) | 1.0.8 | 멀티딕트 | 6.0.2 |
| 멀티메소드 | 1.11.2 | 멀티프로세스 | 0.70.14 | 머머해시 (murmurhash) | 1.0.10 |
| mypy-extensions (마이파이-익스텐션) | 0.4.3 | nbclassic | 0.5.5 | nb클라이언트 | 0.5.13 |
| nbconvert | 6.5.4 | nb포맷 (nbformat) | 5.7.0 | nest-asyncio (파이썬 비동기 I/O 라이브러리) | 1.5.6 |
| 네트워크엑스 | 3.1 | 닌자 | 1.11.1.1 | nltk (자연언어처리 도구) | 3.8.1 |
| notebook | 6.5.4 | notebook_shim | 0.2.2 | 넘바 | 0.57.1 |
| numpy (파이썬의 수치 계산용 라이브러리) | 1.23.5 | nvidia-ml-py | 12.535.133 | oauthlib | 3.2.0 |
| 오픈AI | 1.9.0 | opencensus | 0.11.4 | 오픈센서스-컨텍스트 | 0.1.3 |
| opt-einsum | 3.3.0 | 패키징 | 23.2 | 팬더 | 2.0.3 |
| pandocfilters | 1.5.0 | 판미코 (Paramiko라는 Python 라이브러리) | 2.9.2 | 파르소 | 0.8.3 |
| 패스스펙 (pathspec) | 0.10.3 | 바보 | 0.5.3 | 페타스톰 | 0.12.1 |
| pexpect (피엑스펙트) | 4.8.0 | 피크 (phik) | 0.12.4 | pickleshare (픽클셰어) | 0.7.5 |
| 베개 | 9.4.0 | 파이썬 패키지 설치 도구 pip | 23.2.1 | platformdirs | 3.10.0 |
| plotly | 5.9.0 | pmdarima | 2.0.4 | 강아지 | 1.8.1 |
| 프레쉐드 | 3.0.9 | prometheus-client | 0.14.1 | prompt-toolkit (프롬프트 도구 키트) | 3.0.36 |
| 예언자 | 1.1.5 | 프로토버프 (protobuf) | 4.24.1 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | PtyProcess | 0.7.0 | pure-eval | 0.2.2 |
| py-cpuinfo (파이-씨피유인포) | 8.0.0 | py-spy | 0.3.14 | pyarrow | 14.0.1 |
| pyarrow-hotfix | 0.6 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.11.1 | 피콜로 | 0.0.52 | pycparser | 2.21 |
| pydantic | 1.10.6 | 파이그먼츠 | 2.15.1 | PyGObject | 3.42.1 |
| PyJWT | 2.3.0 | PyNaCl | 1.5.0 | pynvml (파이엔브이엠엘) | 11.5.0 |
| pyodbc | 4.0.38 | pyparsing (파이썬 파싱 라이브러리) | 3.0.9 | pyrsistent | 0.18.0 |
| pytesseract (파이테서랙트) | 0.3.10 | python-dateutil (파이썬 날짜 유틸) | 2.8.2 | 파이썬 편집기 | 1.0.4 |
| 파이썬-LSP-JSON-RPC | 1.1.1 | pytz (파이썬의 타임존 계산을 위한 라이브러리) | 2022년 7월 | PyWavelets | 1.4.1 |
| PyYAML | 6.0 | pyzmq | 23.2.0 | 광선 | 2.9.3 |
| 정규식 | 2022.7.9 | 요청사항 | 2.31.0 | requests-oauthlib | 1.3.1 |
| 응답 | 0.13.3 | 부유한 | 13.7.1 | RSA (암호화 알고리즘) | 4.9 |
| s3transfer | 0.10.0 | safetensors (세이프텐서) | 0.3.2 | scikit-image | 0.20.0 |
| scikit-learn (파이썬 머신러닝 라이브러리) | 1.3.0 | scipy (과학 컴퓨팅 라이브러리) | 1.11.1 | 바다에서 태어난 | 0.12.2 |
| SecretStorage | 3.3.1 | Send2Trash | 1.8.0 | sentence-transformers (문장 변환기) | 2.2.2 |
| sentencepiece 알고리즘 | 0.1.99 | setuptools (셋업툴즈) | 68.0.0 | 샤프 | 0.44.0 |
| simplejson | 3.17.6 | 6 | 1.16.0 | 절단기 | 0.0.7 |
| 스마트-오픈 | 5.2.1 | 스맵 | 5.0.0 | 스니피오 | 1.2.0 |
| 사운드파일 | 0.12.1 | 수프시브 | 2.4 | 소크스 (soxr) | 0.3.7 |
| 스페이시 | 3.7.2 | 스페이시-레거시 | 3.0.12 | 스페이시 로거 | 1.0.5 |
| 스파크-텐서플로-디스트리뷰터 | 1.0.0 | SQLAlchemy | 1.4.39 | sqlparse | 0.4.2 |
| 진심? | 2.4.8 | ssh-import-id | 5.11 | stack-data | 0.2.0 |
| 스탄니오 | 0.3.0 | statsmodels (파이썬 통계 모형 라이브러리) | 0.14.0 | sympy (심볼릭 수학 라이브러리) | 1.11.1 |
| 유니코드에 얽히다 | 0.2.0 | 끈기 | 8.2.2 | 텐서보드 | 2.15.1 |
| tensorboard-data-server (텐서보드 데이터 서버) | 0.7.2 | tensorboard-plugin-profile (텐서보드 플러그인 프로파일) | 2.15.0 | tensorboardX | 2.6.2.2 |
| 텐서플로-CPU | 2.15.0 | 텐서플로우 에스티메이터 (tensorflow-estimator) | 2.15.0 | tensorflow-io-gcs-filesystem (텐서플로우 입출력-GCS 파일 시스템) | 0.36.0 |
| 터칼라 (termcolor) | 2.4.0 | 끝났다 | 0.17.1 | 띵크 | 8.2.3 |
| threadpoolctl | 2.2.0 | tifffile (TIFF 파일을 읽기 위한 라이브러리) | 2021년 7월 2일 | tiktoken (틱토큰) | 0.5.2 |
| tinycss2 | 1.2.1 | 토크나이즈-RT | 4.2.1 | 토크나이저 | 0.15.0 |
| 횃불 | 2.1.2+cpu | torcheval | 0.0.7 | 토치비전 | 0.16.2+cpu |
| 토네이도 | 6.3.2 | tqdm | 4.65.0 | 트레잇렛츠 | 5.7.1 |
| 변압기 | 4.36.2 | 타입가드 (typeguard) | 2.13.3 | 타이퍼 | 0.9.0 |
| 타이핑 검사 | 0.9.0 | 타이핑_익스텐션 | 4.7.1 | tzdata | 2022년 1월 |
| ujson | 5.4.0 | 사용자 개입 없는 자동 업데이트 | 0.1 | urllib3 | 1.26.16 |
| virtualenv | 20.21.0 | 비전 | 0.7.5 | wadllib | 1.3.6 |
| 와사비 | 1.1.2 | wcwidth(문자의 너비를 계산하는 함수) | 0.2.5 | 족제비 | 0.3.4 |
| 웹인코딩 | 0.5.1 | 웹소켓 클라이언트 (websocket-client) | 0.58.0 | 도구 | 2.2.3 |
| 바퀴 | 0.38.4 | widgetsnbextension (위젯 확장 프로그램) | 4.0.5 | 워드클라우드 | 1.9.3 |
| 감싼 | 1.14.1 | xgboost | 2.0.3 | xxhash | 3.4.1 |
| yarl | 1.8.1 | ydata-프로파일링 | 4.5.1 | 지프 | 3.11.0 |
Python 라이브러리의 GPU 클러스터에서의 사용
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | 가속 | 0.25.0 | aiohttp | 3.8.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | 애니오 | 3.5.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings (아르곤2-CFFI 바인딩) | 21.2.0 | 아스토르 | 0.8.1 |
| 에이에스티토큰 | 2.0.5 | astunparse (파이썬 코드 분석 라이브러리) | 1.6.3 | 비동기-타임아웃 | 4.0.2 |
| 속성들 | 22.1.0 | 오디오리드 | 3.0.1 | 애저 코어 | 1.30.1 |
| azure-cosmos | 4.3.1 | azure-storage-blob (애저 스토리지 블롭) | 12.19.0 | azure-storage-file-datalake (아주르 스토리지 파일 데이터레이크) | 12.14.0 |
| 역호출 | 0.2.0 | bcrypt (비크립트) | 3.2.0 | beautifulsoup4 | 4.12.2 |
| 검정색 | 23.3.0 | 표백제 | 4.1.0 | 축복받은 | 1.20.0 |
| 깜빡이 | 1.4 | 블리스 | 0.7.11 | boto3 | 1.34.39 |
| 보토코어 | 1.34.39 | 캐시툴즈 (cachetools) | 5.3.3 | 카탈로그 | 2.0.10 |
| 카테고리 인코더 | 2.6.3 | 서티피 | 2023년 7월 22일 | cffi | 1.15.1 |
| 챠데트 | 4.0.0 | charset-normalizer (문자셋 정규화 도구) | 2.0.4 | 클릭하세요 | 8.0.4 |
| cloudpathlib | 0.16.0 | cloudpickle (클라우드피클) | 2.2.1 | cmdstanpy | 1.2.1 |
| 다채로운 | 0.5.6 | 통신 | 0.1.2 | 과자 | 0.1.4 |
| 컨피그파서 | 5.2.0 | contourpy (컨투어파이) | 1.0.5 | 암호화 | 41.0.3 |
| 자전거 타는 사람 | 0.11.0 | 사이멤 | 2.0.8 | 사이톤 (Cython) | 0.29.32 |
| 데사이트 | 1.8.1 | 데이터브릭스-오토ML-런타임 | 0.2.21 | 데이터브릭스 특성 엔지니어링 | 0.3.0 |
| 데이터브릭스 SDK (소프트웨어 개발 키트) | 0.20.0 | 데이터클래스-제이슨 (dataclasses-json) | 0.6.4 | 데이터세트 | 2.16.1 |
| dbl-tempo | 0.1.26 | dbus-python | 1.2.18 | debugpy | 1.6.7 |
| 장식자 | 5.1.1 | 딥스피드 | 0.13.1 | defusedxml (디퓨즈드 XML) | 0.7.1 |
| 딜 | 0.3.6 | 디스크 캐시 (disk cache) | 5.6.3 | distlib (디스트립 라이브러리) | 0.3.8 |
| 디엠-트리 | 0.1.8 | einops | 0.7.0 | 진입 지점 | 0.4 |
| 평가하다 | 0.4.1 | 실행 중 | 0.8.3 | 구성 요소 개요 | 1.1.1 |
| Farama-알림 | 0.0.4 | fastjsonschema (파스트제이슨스키마) | 2.19.1 | 패스트텍스트 (fasttext) | 0.9.2 |
| 파일 잠금 | 3.9.0 | 플래시 주의 | 2.5.0 | 플라스크 | 2.2.5 |
| 플랫버퍼스 | 23년 5월 26일 | 폰트툴즈 (fonttools) | 4.25.0 | 프로즌리스트 (frozenlist) | 1.3.3 |
| fsspec | 2023.5.0 | 미래 | 0.18.3 | 가스트 | 0.4.0 |
| GitDB (기트 데이터베이스) | 4.0.11 | GitPython | 3.1.27 | google-api-core (구글 API 핵심) | 2.17.1 |
| 구글 인증 (google-auth) | 2.21.0 | google-auth-oauthlib (구글 인증 OAuth 라이브러리) | 1.0.0 | google-cloud-core (구글 클라우드 코어) | 2.4.1 |
| 구글 클라우드 스토리지 (Google Cloud Storage) | 2.11.0 | google-crc32c (구글의 CRC32C 알고리즘) | 1.5.0 | 구글-파스타 | 0.2.0 |
| google-resumable-media (구글 재개 가능한 미디어) | 2.7.0 | googleapis-common-protos | 1.62.0 | gpustat | 1.1.1 |
| greenlet (그린렛) | 2.0.1 | grpcio (Python용 gRPC 패키지) | 1.60.0 | grpcio-status | 1.60.0 |
| gunicorn (구니콘) | 20.1.0 | gviz-api | 1.10.0 | 체육관 | 0.28.1 |
| h11 | 0.14.0 | h5py | 3.9.0 | hjson | 3.1.0 |
| 휴일 | 0.38 | 호로보드 (Horovod) | 0.28.1+db1 | htmlmin | 0.1.12 |
| httpcore | 1.0.4 | httplib2 | 0.20.2 | httpx | 0.27.0 |
| huggingface-hub (허깅페이스 허브) | 0.20.2 | 아이드나 | 3.4 | 이미지해시 | 4.3.1 |
| imageio | 2.31.1 | imbalanced-learn (불균형 데이터 학습 도구) | 0.11.0 | importlib-metadata | 6.0.0 |
| importlib_resources | 6.1.2 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
| ipython | 8.15.0 | ipython-genutils (아이파이썬 젠유틸스) | 0.2.0 | ipywidgets (아이파이위젯) | 8.0.4 |
| 아이소데이트 (isodate) | 0.6.1 | 위험하다 | 2.0.1 | 잭스 점피 | 1.0.0 |
| Jedi | 0.18.1 | 지프니 | 0.7.1 | Jinja2 | 3.1.2 |
| jmespath | 0.10.0 | joblib (잡리브) | 1.2.0 | joblibspark | 0.5.1 |
| jsonpatch (JSON 패치) | 1.33 | jsonpointer (JSON 포인터) | 2.4 | JSON 스키마 | 4.17.3 |
| 주피터 서버 | 1.23.4 | 주피터 클라이언트 (jupyter_client) | 7.4.9 | 주피터 코어 (jupyter_core) | 5.3.0 |
| jupyterlab-pygments | 0.1.2 | 주피터랩 위젯 | 3.0.5 | 케라스 | 2.15.0 |
| 열쇠고리 (키링) | 23.5.0 | 키위솔버 (kiwisolver) | 1.4.4 | langchain | 0.1.3 |
| 랭체인 커뮤니티 | 0.0.20 | langchain-core | 0.1.23 | 언어 코드 | 3.3.0 |
| langsmith | 0.0.87 | launchpadlib (런치패드 라이브러리) | 1.10.16 | lazr.restfulclient | 0.14.4 |
| lazr.uri | 1.0.6 | 레이지 로더 | 0.2 | libclang | 16.0.6 |
| librosa (리브로사) | 0.10.1 | lightgbm | 4.2.0 | llvmlite | 0.40.0 |
| lxml | 4.9.2 | lz4 | 4.3.2 | 마코 (Mako) | 1.2.0 |
| Markdown | 3.4.1 | 마크다운-it-py | 2.2.0 | MarkupSafe (마크업세이프) | 2.1.1 |
| 마시멜로 | 3.21.1 | matplotlib (매트플롯립) | 3.7.2 | matplotlib-inline (매트플롯립-인라인) | 0.1.6 |
| mdurl | 0.1.0 | 미스튠 (Mistune) | 0.8.4 | ml-dtypes | 0.2.0 |
| mlflow-skinny | 2.10.2 | more-itertools (모어 이터툴즈) | 8.10.0 | mpmath | 1.3.0 |
| 메시지팩 (MessagePack) | 1.0.8 | 멀티딕트 | 6.0.2 | 멀티메소드 | 1.11.2 |
| 멀티프로세스 | 0.70.14 | 머머해시 (murmurhash) | 1.0.10 | mypy-extensions (마이파이-익스텐션) | 0.4.3 |
| nbclassic | 0.5.5 | nb클라이언트 | 0.5.13 | nbconvert | 6.5.4 |
| nb포맷 (nbformat) | 5.7.0 | nest-asyncio (파이썬 비동기 I/O 라이브러리) | 1.5.6 | 네트워크엑스 | 3.1 |
| 닌자 | 1.11.1.1 | nltk (자연언어처리 도구) | 3.8.1 | notebook | 6.5.4 |
| notebook_shim | 0.2.2 | 넘바 | 0.57.1 | numpy (파이썬의 수치 계산용 라이브러리) | 1.23.5 |
| nvidia-ml-py | 12.535.133 | oauthlib | 3.2.0 | 오픈AI | 1.9.0 |
| opencensus | 0.11.4 | 오픈센서스-컨텍스트 | 0.1.3 | opt-einsum | 3.3.0 |
| 패키징 | 23.2 | 팬더 | 2.0.3 | pandocfilters | 1.5.0 |
| 판미코 (Paramiko라는 Python 라이브러리) | 2.9.2 | 파르소 | 0.8.3 | 패스스펙 (pathspec) | 0.10.3 |
| 바보 | 0.5.3 | 페타스톰 | 0.12.1 | pexpect (피엑스펙트) | 4.8.0 |
| 피크 (phik) | 0.12.4 | pickleshare (픽클셰어) | 0.7.5 | 베개 | 9.4.0 |
| 파이썬 패키지 설치 도구 pip | 23.2.1 | platformdirs | 3.10.0 | plotly | 5.9.0 |
| pmdarima | 2.0.4 | 강아지 | 1.8.1 | 프레쉐드 | 3.0.9 |
| prompt-toolkit (프롬프트 도구 키트) | 3.0.36 | 예언자 | 1.1.5 | 프로토버프 (protobuf) | 4.24.1 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | PtyProcess | 0.7.0 |
| pure-eval | 0.2.2 | py-cpuinfo (파이-씨피유인포) | 8.0.0 | py-spy | 0.3.14 |
| pyarrow | 14.0.1 | pyarrow-hotfix | 0.6 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.11.1 | 피콜로 | 0.0.52 |
| pycparser | 2.21 | pydantic | 1.10.6 | 파이그먼츠 | 2.15.1 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | PyNaCl | 1.5.0 |
| pynvml (파이엔브이엠엘) | 11.5.0 | pyodbc | 4.0.38 | pyparsing (파이썬 파싱 라이브러리) | 3.0.9 |
| pyrsistent | 0.18.0 | pytesseract (파이테서랙트) | 0.3.10 | python-dateutil (파이썬 날짜 유틸) | 2.8.2 |
| 파이썬 편집기 | 1.0.4 | 파이썬-LSP-JSON-RPC | 1.1.1 | pytz (파이썬의 타임존 계산을 위한 라이브러리) | 2022년 7월 |
| PyWavelets | 1.4.1 | PyYAML | 6.0 | pyzmq | 23.2.0 |
| 광선 | 2.9.3 | 정규식 | 2022.7.9 | 요청사항 | 2.31.0 |
| requests-oauthlib | 1.3.1 | 응답 | 0.13.3 | 부유한 | 13.7.1 |
| RSA (암호화 알고리즘) | 4.9 | s3transfer | 0.10.0 | safetensors (세이프텐서) | 0.3.2 |
| scikit-image | 0.20.0 | scikit-learn (파이썬 머신러닝 라이브러리) | 1.3.0 | scipy (과학 컴퓨팅 라이브러리) | 1.11.1 |
| 바다에서 태어난 | 0.12.2 | SecretStorage | 3.3.1 | Send2Trash | 1.8.0 |
| sentence-transformers (문장 변환기) | 2.2.2 | sentencepiece 알고리즘 | 0.1.99 | setuptools (셋업툴즈) | 68.0.0 |
| 샤프 | 0.44.0 | simplejson | 3.17.6 | 6 | 1.16.0 |
| 절단기 | 0.0.7 | 스마트-오픈 | 5.2.1 | 스맵 | 5.0.0 |
| 스니피오 | 1.2.0 | 사운드파일 | 0.12.1 | 수프시브 | 2.4 |
| 소크스 (soxr) | 0.3.7 | 스페이시 | 3.7.2 | 스페이시-레거시 | 3.0.12 |
| 스페이시 로거 | 1.0.5 | 스파크-텐서플로-디스트리뷰터 | 1.0.0 | SQLAlchemy | 1.4.39 |
| sqlparse | 0.4.2 | 진심? | 2.4.8 | ssh-import-id | 5.11 |
| stack-data | 0.2.0 | 스탄니오 | 0.3.0 | statsmodels (파이썬 통계 모형 라이브러리) | 0.14.0 |
| sympy (심볼릭 수학 라이브러리) | 1.11.1 | 유니코드에 얽히다 | 0.2.0 | 끈기 | 8.2.2 |
| 텐서보드 | 2.15.1 | tensorboard-data-server (텐서보드 데이터 서버) | 0.7.2 | tensorboard-plugin-profile (텐서보드 플러그인 프로파일) | 2.15.0 |
| tensorboardX | 2.6.2.2 | 텐서플로우 | 2.15.0 | 텐서플로우 에스티메이터 (tensorflow-estimator) | 2.15.0 |
| tensorflow-io-gcs-filesystem (텐서플로우 입출력-GCS 파일 시스템) | 0.36.0 | 터칼라 (termcolor) | 2.4.0 | 끝났다 | 0.17.1 |
| 띵크 | 8.2.3 | threadpoolctl | 2.2.0 | tifffile (TIFF 파일을 읽기 위한 라이브러리) | 2021년 7월 2일 |
| tiktoken (틱토큰) | 0.5.2 | tinycss2 | 1.2.1 | 토크나이즈-RT | 4.2.1 |
| 토크나이저 | 0.15.0 | 횃불 | 2.1.2+cu121 | torcheval | 0.0.7 |
| 토치비전 | 0.16.2+cu121 | 토네이도 | 6.3.2 | tqdm | 4.65.0 |
| 트레잇렛츠 | 5.7.1 | 변압기 | 4.36.2 | 트라이튼 | 2.1.0 |
| 타입가드 (typeguard) | 2.13.3 | 타이퍼 | 0.9.0 | 타이핑 검사 | 0.9.0 |
| 타이핑_익스텐션 | 4.7.1 | tzdata | 2022년 1월 | ujson | 5.4.0 |
| 사용자 개입 없는 자동 업데이트 | 0.1 | urllib3 | 1.26.16 | virtualenv | 20.21.0 |
| 비전 | 0.7.5 | wadllib | 1.3.6 | 와사비 | 1.1.2 |
| wcwidth(문자의 너비를 계산하는 함수) | 0.2.5 | 족제비 | 0.3.4 | 웹인코딩 | 0.5.1 |
| 웹소켓 클라이언트 (websocket-client) | 0.58.0 | 도구 | 2.2.3 | 바퀴 | 0.38.4 |
| widgetsnbextension (위젯 확장 프로그램) | 4.0.5 | 워드클라우드 | 1.9.3 | 감싼 | 1.14.1 |
| xgboost | 2.0.3 | xxhash | 3.4.1 | yarl | 1.8.1 |
| ydata-프로파일링 | 4.5.1 | 지프 | 3.11.0 |
R 라이브러리
R 라이브러리는 Databricks Runtime 15.0의 R 라이브러리와 동일합니다.
Java 및 Scala 라이브러리(Scala 2.12 클러스터)
Databricks Runtime 15.0의 Java 및 Scala 라이브러리 외에도 Databricks Runtime 15.0 ML에는 다음 JAR이 포함됩니다.
CPU 클러스터
| 그룹 아이디 | 아티팩트 ID | 버전 |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
| org.mlflow | mlflow-client | 2.10.2 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | Spark 텐서플로우 커넥터_2.12 | 1.15.0 |
GPU 클러스터
| 그룹 아이디 | 아티팩트 ID | 버전 |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
| org.mlflow | mlflow-client | 2.10.2 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | Spark 텐서플로우 커넥터_2.12 | 1.15.0 |