관리형 컴퓨팅을 사용하여 오픈 소스 모델 배포(미리 보기)

1. 모델 카드에서 배포 를 선택하여 배포 마법사를 엽니다.

2. 배포 이름을 지정합니다. 배포 이름은 애플리케이션이 유추 시간에 필드에 전달하는 model 이름입니다. 안정적인 애플리케이션 친화적인 이름(예: nemotron-3-nano-30b)을 선택합니다.

3. 배포 유형(전역 관리형 컴퓨팅)은 배포 마법사에서 미리 선택되어 있습니다.

4. 워크로드와 일치하는 배포 템플릿 을 선택합니다. 예를 들어 중간 컨텍스트 길이에서 가장 낮은 비용으로 H100 단일 가속기 템플릿을 사용하거나 프롬프트가 단일 가속기 컨텍스트 제한을 초과하는 경우 2 가속기 템플릿을 사용합니다.

5. 액셀러레이터 유형(예: )H100_80GB을 선택합니다.

6. 모델 인스턴스를 (워크로드를 1 측정한 경우 이상)으로 설정합니다. 모델 인스턴스는 관리형 컴퓨팅의 크기를 조정하며 배포 SKU의 값입니다 capacity . 각 인스턴스는 템플릿에서 정의한 가속기 수를 사용합니다. 예를 들어 용량이 2인 인스턴스당 하나의 H100을 지정하는 템플릿은 총 2개의 H100 가속기를 사용합니다.

   Tip

   첫 번째 배포부터 capacity: 1 시작한 다음 워크로드를 측정한 후 용량을 늘려 스케일 아웃합니다. 용량을 늘리는 방법은 배포 관리 및 크기 조정 을 참조하세요.

7. 배포 비용을 승인하려면 확인란을 선택합니다.

8. 배포를 선택합니다. 프로비전하는 데 일반적으로 10~15분이 걸립니다.

배포 확인

배포 세부 정보 페이지는 모델이 Foundry 엔드포인트를 통해 라이브 상태가 되면 Creating에서 Succeeded로 업데이트됩니다. 배포를 만드는 동안 프로비전 상태, 배포 유형 및 기타 선택 항목을 포함하여 배포에 대한 세부 정보를 볼 수 있습니다.

테스트 요청 보내기

배포가 준비되면 Foundry Playground에서 대화형으로 테스트 합니다.

1. 플레이그라운드 탭을 선택하여 배포 세부 정보 페이지에서 전환합니다.
2. 배포를 테스트하는 프롬프트를 보냅니다.

배포 모니터링

관리되는 컴퓨팅 배포는 다른 Foundry 배포와 동일한 Azure Monitor 화면에서 메트릭을 내보낸다. Foundry 포털의 배포 세부 정보 페이지에서 모니터 탭에 다음이 표시됩니다.

• HTTP 상태 코드별로 그룹화된 요청 수입니다.
• 응답 시간 백분위수(p50, p90, p99).
• 채팅 완료 모델의 경우: 입력 및 출력 토큰 수, 첫 토큰 생성까지 걸리는 시간(TTFT) 분위수, 그리고 토큰 간 디코딩 시간 분위수.

심층 분석 또는 경고를 보려면 Azure 포털 배포를 열고 모니터링에서 Metrics> 사용하여 동일한 메트릭을 차트로 작성하고, 배포별로 그룹화하고, 경고를 구성합니다. 배포별 과금 태그는 자동으로 생성됩니다. 배포 태그를 기준으로 Cost Management를 필터링하여 지출을 특정 관리형 컴퓨팅 배포에 귀속시킵니다. 자세한 내용은 Microsoft Foundry 대한 비용 계획 및 관리를 참조하세요.

배포 삭제

배포를 삭제하면 가속기 할당이 해제되고 즉시 청구가 중지됩니다. 배포를 삭제하려면 다음을 수행합니다.

1. Foundry 포털의 배포 목록으로 이동합니다.
2. 배포 이름 옆에 있는 라디오 단추를 선택합니다.
3. 오른쪽 창에서 삭제를 선택합니다.

추가 할당량 요청

관리형 컴퓨팅 할당량은 Foundry 할당량 프로세스를 통해 지역당 액셀러레이터 패밀리별로 부여되며 Azure VM 할당량 과 다릅니다. 기존 Azure VM 할당량은 관리되는 컴퓨팅 배포에 적용할 수 없습니다.

더 많은 할당량을 요청하려면 다음을 수행합니다.

1. 오른쪽 위 탐색에서 작동 을 선택한 다음 왼쪽 창에서 할당량 을 선택합니다.
2. 관리형 컴퓨팅 탭을 선택합니다. 표에는 액셀러레이터 패밀리 및 지역별로 그룹화된 현재 할당이 나열되어 있습니다.
3. 오른쪽 위 모서리에서 요청 할당량 을 선택합니다.
4. 요청 양식에서 액셀러레이터 패밀리(A100, H100 또는 MI300X), 대상 지역 및 요청된 할당량을 선택합니다. 요청을 제출합니다.

승인된 할당량 변경 내용이 전파되는 데 최대 15분이 걸릴 수 있습니다. 할당량 페이지를 새로 고쳐 업데이트된 할당을 확인합니다. 할당량 개념에 대한 자세한 내용은 리소스에 대한 할당량 관리 및 증가를 참조하세요.

다음 Python 스크립트를 사용하여 모델을 배포합니다. 자리 표시자를 고유한 구독 ID, 리소스 그룹, Foundry 계정 이름 및 배포 이름으로 바꿉니다.

from azure.identity import DefaultAzureCredential
from azure.mgmt.cognitiveservices import CognitiveServicesManagementClient

SUBSCRIPTION_ID  = "<your-subscription-id>"
RESOURCE_GROUP   = "<your-resource-group>"
ACCOUNT_NAME     = "<your-foundry-account>"
DEPLOYMENT_NAME  = "nemotron-3-nano-30b"

MODEL = "azureml://registries/azure-huggingface/models/nvidia--nvidia-nemotron-3-nano-30b-a3b-fp8/versions/2"
TEMPLATE = "azureml://registries/azure-huggingface/deploymenttemplates/nvidia--nvidia-nemotron-3-nano-30b-a3b-fp8--nvidia-h100/labels/latest"

client = CognitiveServicesManagementClient(
    DefaultAzureCredential(), SUBSCRIPTION_ID
)

deployment = client.managed_compute_deployments.begin_create_or_update(
    resource_group_name=RESOURCE_GROUP,
    account_name=ACCOUNT_NAME,
    deployment_name=DEPLOYMENT_NAME,
    resource={
        "sku": {"name": "GlobalManagedCompute", "capacity": 1},
        "properties": {
            "model": MODEL,
            "deploymentTemplate": TEMPLATE,
            "acceleratorType": "H100_80GB",
            "versionUpgradeOption": "OnceNewDefaultVersionAvailable",
        },
    },
).result()  # blocks until terminal state (~10–15 min)

print(f"State: {deployment.properties.provisioning_state}")
print(f"ID:    {deployment.id}")

배포 확인

배포를 만든 후 트래픽을 보내기 전에 정상인지 확인합니다.

d = client.managed_compute_deployments.get(
    resource_group_name=RESOURCE_GROUP,
    account_name=ACCOUNT_NAME,
    deployment_name=DEPLOYMENT_NAME,
)

print(f"State:        {d.properties.provisioning_state}")    # expect: Succeeded
print(f"Model:        {d.properties.model}")
print(f"Template:     {d.properties.deployment_template}")
print(f"Accelerator:  {d.properties.accelerator_type}")
print(f"Capacity:     {d.sku.capacity}")

살펴볼 항목:

• provisioningState: Succeeded 는 배포가 라이브 상태임을 의미합니다.
• acceleratorType 는 요청한 값과 일치합니다.
• sku.capacity 은 요청한 인스턴스 수와 일치합니다.

provisioningState이 Failed인 경우 문제 해결을 참조하세요.

테스트 요청 보내기

관리형 컴퓨팅 배포는 다음의 통합 Foundry 엔드포인트를 통해 연결할 수 있습니다.

https://<account>.services.ai.azure.com/openai/v1/

model 요청 본문의 필드는 모델 ID가 아니라 지정한 배포 이름을 사용합니다.

from azure.identity import DefaultAzureCredential, get_bearer_token_provider
from openai import OpenAI

ACCOUNT_NAME    = "<your-foundry-account>"
DEPLOYMENT_NAME = "nemotron-3-nano-30b"

token_provider = get_bearer_token_provider(
    DefaultAzureCredential(),
    "https://cognitiveservices.azure.com/.default",
)

client = OpenAI(
    base_url=f"https://{ACCOUNT_NAME}.services.ai.azure.com/openai/v1",
    api_key="placeholder",  # required by OpenAI SDK; overridden by Authorization header
    default_headers={"Authorization": f"Bearer {token_provider()}"},
)

resp = client.chat.completions.create(
    model=DEPLOYMENT_NAME,
    messages=[{"role": "user", "content": "What is the capital of France?"}],
)

print(resp.choices[0].message.content)

from azure.identity import DefaultAzureCredential
from azure.mgmt.cognitiveservices import CognitiveServicesManagementClient
from openai import OpenAI

SUBSCRIPTION_ID = "<your-subscription-id>"
RESOURCE_GROUP  = "<your-resource-group>"
ACCOUNT_NAME    = "<your-foundry-account>"
DEPLOYMENT_NAME = "nemotron-3-nano-30b"

mgmt = CognitiveServicesManagementClient(
    DefaultAzureCredential(), SUBSCRIPTION_ID
)
api_key = mgmt.accounts.list_keys(RESOURCE_GROUP, ACCOUNT_NAME).key1

client = OpenAI(
    base_url=f"https://{ACCOUNT_NAME}.services.ai.azure.com/openai/v1",
    api_key=api_key,
)

resp = client.chat.completions.create(
    model=DEPLOYMENT_NAME,
    messages=[{"role": "user", "content": "What is the capital of France?"}],
)

print(resp.choices[0].message.content)

배포 관리 및 크기 조정

관리형 컴퓨팅 배포는 모델 중심이므로 노드 크기를 조정하는 것이 아니라 모델 인스턴스 수를 변경하여 배포 크기를 조정합니다.

용량 변경

d = client.managed_compute_deployments.get(
    RESOURCE_GROUP, ACCOUNT_NAME, DEPLOYMENT_NAME
)
d.sku.capacity = 3

client.managed_compute_deployments.begin_create_or_update(
    resource_group_name=RESOURCE_GROUP,
    account_name=ACCOUNT_NAME,
    deployment_name=DEPLOYMENT_NAME,
    resource=d,
).result()

런타임 및 모델 업데이트 가져오기

배포에서 versionUpgradeOption를 OnceNewDefaultVersionAvailable(으)로 설정하면 Microsoft가 새 기본 모델 및 런타임 버전을 게시할 때 해당 배포에서 이를 사용하도록 설정됩니다. 런타임 패치 및 CVE 수정 사항은 실행 중인 고객 배포 환경에 자동으로 적용됩니다. 이러한 변경 사항을 반영하기 위해 모델을 다시 배포할 필요는 없습니다.

배포 모니터링

관리되는 컴퓨팅 배포는 다른 Foundry 배포와 동일한 Azure Monitor 화면에서 메트릭을 내보낸다. 심층 분석 또는 경고를 보려면 Azure 포털에서 배포를 열고 모니터링> 아래의 Metrics을 사용하여 다음과 같은 차트 메트릭을 사용합니다.

• HTTP 상태 코드별로 그룹화된 요청 수입니다.
• 응답 시간 백분위수(p50, p90, p99).
• 채팅 완료 모델의 경우: 입력 및 출력 토큰 수, 첫 토큰 생성까지 걸리는 시간(TTFT) 분위수, 그리고 토큰 간 디코딩 시간 분위수.

배포별로 그룹화하고 경고를 구성할 수도 있습니다. 배포별 과금 태그는 자동으로 생성됩니다. 배포 태그를 기준으로 Cost Management를 필터링하여 지출을 특정 관리형 컴퓨팅 배포에 귀속시킵니다. 자세한 내용은 Microsoft Foundry 대한 비용 계획 및 관리를 참조하세요.

배포 삭제

배포를 삭제하면 가속기 할당이 해제되고 즉시 청구가 중지됩니다. 배포를 삭제하려면 다음을 수행합니다.

client.managed_compute_deployments.begin_delete(
    resource_group_name=RESOURCE_GROUP,
    account_name=ACCOUNT_NAME,
    deployment_name=DEPLOYMENT_NAME,
).result()