AKS(Azure Kubernetes Service)에서 완전 관리형 GPU 노드 풀 만들기(미리 보기)

AKS(Azure Kubernetes Service) NVIDIA GPU 워크로드를 실행하려면 일반적으로 각 GPU 노드에 NVIDIA GPU 드라이버, Kubernetes 디바이스 플러그 인 및 GPU 메트릭 내보내기를 설치하고 유지 관리해야 합니다. 이러한 구성 요소는 GPU 예약, 컨테이너 수준 GPU 액세스 및 원격 분석을 지원하지만 수동으로 또는 NVIDIA GPU 연산 자를 통해 설치하면 운영 오버헤드가 추가됩니다.

완전히 관리되는 GPU 노드(미리 보기)를 사용하면 AKS는 NVIDIA GPU 드라이버, 디바이스 플러그 인 및 DCGM(Data Center GPU Manager ) 메트릭 내보내기를 설치하고 유지 관리합니다. GPU 노드 풀 만들기는 단일 단계가 되고 GPU 용량은 다른 AKS 노드 풀처럼 동작합니다.

다음의 gpuProfile.nvidia두 필드를 통해 관리되는 GPU 노드 풀을 구성합니다.

• managementMode (Managed 또는 Unmanaged) AKS가 전체 관리형 GPU 스택(드라이버, 디바이스 플러그 인 및 DCGM 메트릭 내보내기)을 설치할지 또는 드라이버만 설치할지 여부를 제어합니다. 기본값은 Unmanaged입니다.
• migStrategy(None또는SingleMixed) A100 및 H100과 같은 지원되는 GPU SKU에 대한 MIG(다중 인스턴스 GPU) 전략을 설정합니다. 기본값은 None입니다.

이 문서에서는 관리되는 GPU 노드 풀을 프로비전하고, 필요에 따라 MIG를 사용하도록 설정하고, 스택을 확인하고, 샘플 GPU 워크로드를 실행합니다.

시작하기 전 주의 사항:

• 이 문서에서는 기존 AKS 클러스터가 있다고 가정합니다. 클러스터가 없으면 Azure CLI, Azure PowerShell 또는 Azure Portal을 사용하여 클러스터를 만듭니다.
• Azure CLI 버전 2.85.0 이상이 설치되어 있어야 합니다. 버전을 확인하려면 az --version을 실행합니다. 설치 또는 업그레이드해야 하는 경우 Azure CLI 설치를 참조하세요.
• 최신 버전의 aks-preview 확장을 설치하고 업그레이드해야 합니다.
• AKS 클러스터에 대한 자격 증명을 az aks get-credentials으로 얻은 후, 이 문서에 있는 kubectl 예제를 실행하세요.

관리되는 GPU 구성 요소

관리되는 GPU 노드 풀은 모든 노드에 다음 구성 요소를 포함할 수 있습니다.

프로필 설치

두 gpuProfile 필드는 AKS가 설치하는 구성 요소 중 어느 것을 결정하는지 결정합니다.

• gpuProfile.driver (Install 또는 None): AKS에서 NVIDIA GPU 드라이버를 설치하는지 여부입니다.
• gpuProfile.nvidia.managementMode (Managed 또는 Unmanaged): AKS가 드라이버 위에 Kubernetes 연결 GPU 스택을 설치하는지 여부입니다.

함께 세 개의 설치 프로필을 생성합니다.

기본값 및 재정의

• 기본값: --enable-managed-gpu 또는 --gpu-driver를 전달하지 않으면 AKS는 NVIDIA GPU가 장착된 VM 크기로 생성된 노드 풀에 드라이버 전용 프로필을 적용합니다.
• 재정의: managementMode: Managed 드라이버가 필요하므로 --gpu-driver None 드라이버가 여전히 설치된 경우 --enable-managed-gpu=true 무시됩니다. 드라이버를 건너뛰려면 --enable-managed-gpu=false 및 --gpu-driver None를 설정하세요.
• 불변성: managementMode, migStrategy및 driver 생성 시 모두 수정됩니다. 프로필을 변경하려면 새 노드 풀을 만듭니다.

aks-preview CLI 확장 설치

1. aks-preview 명령을 사용하여 az extension add CLI 확장을 설치합니다. 버전 19.0.0b29 이상이 필요합니다.

   az extension add --name aks-preview
   

2. az extension update 명령을 사용하여 최신 버전이 설치되어 있는지 확인하려면 확장을 업데이트합니다.

   az extension update --name aks-preview
   

ManagedGPUExperiencePreview 기능 플래그 등록

ManagedGPUExperiencePreview 명령을 사용하여 구독에 az feature register 기능 플래그를 등록합니다.

az feature register --namespace Microsoft.ContainerService --name ManagedGPUExperiencePreview

제한점

• 이 기능은 현재 NVIDIA GPU 지원 VM(가상 머신) 크기 만 지원합니다.
• GPU VM 크기를 추가하도록 범용 노드 풀을 업데이트하는 것은 AKS에서 지원되지 않습니다.
• Windows 노드 풀은 GPU 메트릭이 지원되지 않으므로 이 기능에서 지원되지 않습니다. Windows GPU 노드 풀을 만들 때 AKS는 드라이버 및 DirectX 디바이스 플러그 인을 자동으로 설치하고 관리합니다. 자세한 내용은 AKS Windows GPU 설명서 참조하세요.
• 이 기능을 사용하도록 기존 다중 인스턴스 GPU 노드 풀을 마이그레이션하는 것은 지원되지 않습니다.
• 기존 NVIDIA GPU 노드 풀에서 관리되는 GPU 노드 풀로의 현재 위치 업그레이드는 지원되지 않습니다. 기존 GPU 노드를 격리하고 드레인한 후, --enable-managed-gpu=true로 생성된 새 GPU 노드 풀에 워크로드를 재배포합니다. 자세한 내용은 AKS의 노드 풀 크기 조정을 참조하세요.
• 노드 풀을 만든 후에는 , , 및 필드는 아래에서 변경할 수 없습니다. 이러한 값을 변경하려면 새 노드 풀을 만듭니다.
• 클러스터 자동 크기 조정기는 미리 보기 중에 관리되는 GPU 노드 풀에서 지원되지 않습니다. 이러한 풀의 크기를 수동으로 조정합니다.

AKS 관리 GPU 노드 풀 만들기(미리 보기)

기존 AKS 클러스터에 관리형 GPU 노드 풀을 추가하려면 --enable-managed-gpu=true를 az aks nodepool add에 전달하세요. AKS는 gpuProfile.nvidia.managementMode를 Managed로 설정하고 GPU 드라이버, 디바이스 플러그인 및 DCGM 메트릭 내보내기를 자동으로 설치합니다.

관리형 MIG(다중 인스턴스 GPU) 노드 풀 만들기(미리 보기)

다중 인스턴스 GPU(예: A100 및 H100)를 지원하는 GPU SKU의 경우 플래그를 사용하여 노드 풀 만들기 --gpu-mig-strategy 에서 MIG 전략을 구성합니다. 이 전략은 MIG 파티션이 Kubernetes에 노출되는 방식을 제어합니다.

• Single: 모든 MIG 인스턴스는 표준 nvidia.com/gpu 리소스에 따라 집계됩니다.
• Mixed: 각 MIG 프로필은 다음과 같은 nvidia.com/mig-1g.10gb별도의 리소스로 노출됩니다.
• None (기본값): MIG가 구성되지 않았습니다.

노드 풀을 만든 후에는 migStrategy 필드를 변경할 수 없습니다.

MIG 분할, 지원되는 VM 크기 및 GPU 인스턴스 프로필에 대한 배경 정보는 AKS 및 NVIDIA 다중인스턴스 GPU에서 다중 인스턴스 GPU 노드 풀 만들기를 참조하세요.

az aks nodepool add \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name mignp \
    --node-count 1 \
    --node-vm-size Standard_NC24ads_A100_v4 \
    --node-taints sku=gpu:NoSchedule \
    --enable-managed-gpu=true \
    --gpu-instance-profile MIG1g \
    --gpu-mig-strategy Single

az aks nodepool add \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name mignp \
    --node-count 1 \
    --node-vm-size Standard_NC24ads_A100_v4 \
    --node-taints sku=gpu:NoSchedule \
    --enable-managed-gpu=true \
    --gpu-instance-profile MIG1g \
    --gpu-mig-strategy Mixed

관리되는 GPU 노드 풀 확인(미리 보기)

노드 풀이 준비되면 다음 검사를 실행하여 전체 관리형 스택이 설치되고 정상 상태인지 확인합니다.

1. NPD(Node Problem Detector)에서 GPU 관련 노드 조건을 확인합니다.

   GPU_NODE=$(kubectl get nodes -l agentpool=gpunp -o jsonpath='{.items[0].metadata.name}')
   kubectl describe node $GPU_NODE
   

   관리형 GPU 노드에서는 다음 조건이 모두 False로 보고되어야 합니다.

   Condition	상태	Reason
   UnhealthyNvidiaDevicePlugin	False	HealthyNvidiaDevicePlugin
   UnhealthyNvidiaDCGMServices	False	HealthyNvidiaDCGMServices

2. 관리되는 GPU 레이블이 노드에 있는지 확인합니다.

   kubectl get node $GPU_NODE -o jsonpath='{.metadata.labels.kubernetes\.azure\.com/dcgm-exporter}'
   

   예상 출력: enabled.

3. GPU 리소스가 노드의 할당 가능한 리소스에 보급되는지 확인합니다.

   kubectl get node $GPU_NODE -o jsonpath='{.status.allocatable}'
   

   MIG가 아닌 노드 풀의 경우 출력에는 SKU에 따라 "nvidia.com/gpu": "1" (또는 그 이상)이 포함됩니다. MIG Mixed 노드 풀의 경우 출력에는 MIG 관련 리소스(예: "nvidia.com/mig-1g.10gb": "7".)가 포함됩니다.

4. 샘플 워크로드를 실행하여 컨테이너 내에서 GPU 액세스를 확인합니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: managed-gpu-test
   spec:
     restartPolicy: Never
     tolerations:
       - key: "sku"
         operator: "Equal"
         value: "gpu"
         effect: "NoSchedule"
     containers:
     - name: gpu-test
       image: mcr.microsoft.com/azuredocs/samples-tf-mnist-demo:gpu
       command: ["nvidia-smi"]
       resources:
         limits:
           nvidia.com/gpu: 1
   

   GPU 디바이스, 드라이버 버전 및 CUDA 버전을 보여 주는 출력을 보려면 nvidia-smi Pod 로그를 봅니다.

   kubectl logs managed-gpu-test
   

관리되는 GPU 노드 풀 크기 조정(미리 보기)

를 사용하여 관리되는 GPU 노드 풀의 크기를 수동으로 조정합니다 az aks nodepool scale. 새 노드는 전체 관리형 GPU 스택을 설치합니다.

az aks nodepool scale \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name gpunp \
    --node-count 2

대체 설치 프로필

전체 관리형 스택 프로필이 적합하지 않은 경우 AKS는 GPU 노드 풀에서 두 개의 대체 프로필을 지원합니다.

az aks nodepool add \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name gpunp \
    --node-count 1 \
    --node-vm-size Standard_NC6s_v3 \
    --node-taints sku=gpu:NoSchedule \
    --enable-managed-gpu=false

az aks nodepool add \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name gpunp \
    --node-count 1 \
    --node-vm-size Standard_NC6s_v3 \
    --node-taints sku=gpu:NoSchedule \
    --enable-managed-gpu=false \
    --gpu-driver None

다음 단계

• AKS 관리 GPU 사용 노드에 샘플 GPU 워크로드 를 배포합니다.
• GPU 노드 풀의 관리되는 NVIDIA DCGM 익스포터에서 GPU 사용률 및 성능 메트릭에 대해 알아봅니다.

관련 문서

• 표준(비관리) GPU 환경에는 AKS에서 NVIDIA GPU를 사용합니다.
• 다중 인스턴스 GPU(MIG) 노드 풀을 만들어 MIG 분할 및 지원되는 VM 크기에 대한 배경 정보를 제공합니다.
• GPU 드라이버 및 디바이스 플러그 인을 직접 관리하기 위한 NVIDIA GPU 연산자입니다.
• 관리되는 NVIDIA DCGM 내보내기에서 GPU 메트릭을 모니터링합니다.
• AKS의 NPD(Node Problem Detector)를 사용한 GPU 상태 모니터링.
• WINDOWS GPU 노드 풀에 AKS Windows GPU를 사용합니다.
• Azure GPU VM 크기 NVIDIA GPU 사용 VM의 전체 목록입니다.
• 여러 AKS GPU 노드에서 분산 유추를 실행합니다.