Microsoft Foundry는 거버넌스를 위한 최상위 Foundry 리소스, 개발 격리 프로젝트, 스토리지, 검색 및 비밀 관리를 위한 연결된 Azure 서비스 등 계층화된 아키텍처를 통해 AI 워크로드를 구성합니다.
이 문서에서는 IT 운영 및 보안 팀에 Foundry 리소스 및 기본 Azure 서비스 아키텍처, 해당 구성 요소 및 다른 Azure 리소스 유형과의 관계를 자세히 설명합니다. 이 정보를 사용하여 Foundry 배포를 조직의 요구 사항에 맞게 사용자 지정 하는 방법을 안내합니다. 조직에서 Foundry를 롤아웃하는 방법에 대한 자세한 내용은 Foundry 롤아웃을 참조하세요.
이 아키텍처를 사용하는 경우
시나리오에 다음이 포함되는 경우 Foundry 리소스 모델을 고려합니다.
- 처음 설치: 새 AI 프로젝트를 시작하고 모델 액세스, 에이전트 호스팅 및 평가 도구를 번들로 묶는 단일 리소스를 원합니다.
- 다중 팀 액세스: 여러 팀에는 공유 모델 배포 및 중앙 집중식 거버넌스가 있는 격리된 프로젝트가 필요합니다.
- Compliance 기반 디자인: 조직에는 리소스 및 프로젝트 수준 모두에서 프라이빗 네트워킹, 고객 관리형 암호화 또는 Azure RBAC 범위 지정이 필요합니다.
- Azure OpenAI 마이그레이션: 독립 실행형 Azure OpenAI 리소스에서 이동하고 에이전트 및 평가 기능을 추가하는 동안 기존 정책 및 RBAC를 유지하려고 합니다.
단일 개발자 탐색의 경우 하나의 프로젝트가 있는 Foundry 리소스가 권장되는 기본값입니다. 워크로드에 에이전트 호스팅 또는 평가 없이 Azure OpenAI 완료만 필요한 경우 독립 실행형 Azure OpenAI 리소스로 충분할 수 있습니다.
AZURE AI 리소스 종류 및 공급자
Azure AI 제품군 내에서 스택의 여러 계층에서 사용자 요구를 지원하는 이러한 Azure 리소스 공급자 사용할 수 있습니다.
| 리소스 공급자 | 목적 | 지원되는 서비스 |
|---|---|---|
| Microsoft. CognitiveServices | 에이전트 및 GenAI 애플리케이션 개발 구성 및 미리 빌드된 모델 사용자 지정을 지원합니다. | Foundry; Azure OpenAI; Foundry Tools의 Azure Speech; Foundry Tools의 Azure Language; Foundry Tools의 Azure Vision |
| Microsoft. 검색 | 데이터에 대한 지식 검색을 지원합니다. | Azure AI 검색 |
에이전트 빌드, 모델 배포 및 평가 워크플로를 비롯한 대부분의 AI 개발 시나리오에서 Foundry 리소스가 권장되는 시작점입니다. Foundry 리소스는 Azure OpenAI, Speech, Vision 및 Language와 같은 서비스와 함께 Microsoft CognitiveServices 공급자 네임스페이스를 공유합니다. 이 공유 공급자 네임스페이스는 관리 API, 액세스 제어 패턴, 네트워킹 및 정책 동작을 관련 AI 리소스에 맞게 조정하는 데 도움이 됩니다.
다음 표를 사용하여 워크로드와 일치하는 리소스 유형을 식별합니다. Microsoft.CognitiveServices 제공자 내의 특정 리소스 종류 및 기능을 보여줍니다.
| 리소스 종류 | 리소스 공급자 및 형식 | 종류 | 지원되는 기능 |
|---|---|---|---|
| Microsoft Foundry | Microsoft.CognitiveServices/accounts |
AIServices |
에이전트, 평가, Azure OpenAI, 음성, 비전, 언어 및 콘텐츠 이해 |
| Foundry 프로젝트 | Microsoft.CognitiveServices/accounts/projects |
AIServices |
위의 하위 리소스 |
| Foundry 도구의 Azure Speech | Microsoft.CognitiveServices/accounts |
Speech |
음성 |
| Foundry 도구의 Azure 언어 | Microsoft.CognitiveServices/accounts |
Language |
언어 |
| Foundry Tools에서의 Azure Vision | Microsoft.CognitiveServices/accounts |
Vision |
비전 |
동일한 공급자 네임스페이스의 리소스 유형은 같은 관리 API를 공유하며, Azure RBAC(Azure 역할 기반 액세스 제어) 작업, 네트워킹 구성, 그리고 Azure Policy 구성을 위한 별칭을 유사하게 사용합니다. Azure OpenAI에서 Foundry로 업그레이드하는 경우 기존 사용자 지정 Azure 정책 및 Azure RBAC 작업이 계속 적용됩니다.
Foundry 리소스 계층 구조
다음 다이어그램에서는 모델 배포, 보안 설정, 연결 및 두 개의 프로젝트가 있는 Foundry 리소스를 보여 줍니다. Storage, Key Vault 및 Azure AI 검색 같은 연결된 Azure 서비스는 자체 거버넌스 경계에서 별도의 Azure 리소스입니다.
중요
스토리지, Key Vault 및 Azure AI 검색 같은 연결된 리소스는 자체 거버넌스 경계가 있는 독립적인 Azure 리소스입니다. 이러한 리소스에 대한 네트워킹, 액세스 정책 및 규정 준수 설정을 Foundry 리소스와 별도로 관리합니다.
아키텍처 및 액세스 경계를 계획할 때 이 모델을 사용합니다.
- Foundry 리소스: 네트워킹, 보안 및 모델 배포와 같은 거버넌스 설정을 관리하는 최상위 Azure 리소스입니다.
- Project: 팀이 사용 사례를 빌드하고 평가하는 Foundry 리소스 내의 개발 경계입니다. 프로젝트를 통해 팀은 미리 구성된 환경 내에서 프로토타입을 작성하여 반복적인 IT 설정 없이 기존 모델 배포 및 연결을 다시 사용할 수 있습니다.
- 프로젝트 자산: 프로젝트 범위가 지정된 파일, 에이전트, 평가 및 관련 아티팩트입니다.
- 연결 리소스: Foundry 리소스가 연결을 통해 참조하는 스토리지, Key Vault 및 Azure AI 검색 같은 Azure 서비스입니다. 이러한 리소스에는 별도의 거버넌스 경계가 있으므로 네트워킹 및 액세스 정책을 독립적으로 관리합니다.
이러한 분리를 통해 IT 팀은 리소스 수준에서 중앙 집중식 컨트롤을 적용하고 개발 팀은 프로젝트 수준 경계 내에서 작업할 수 있습니다.
참고
대부분의 새 API는 프로젝트 범위에서 사용할 수 있습니다. 그러나 Azure OpenAI, Speech, Vision 및 Language Services를 통해 원래 계정 수준에서 지원되는 일부 기능은 프로젝트 범위가 아닌 Foundry 리소스 수준에서만 사용할 수 있습니다. 예를 들어 Translator API는 Foundry 리소스 수준에서만 사용할 수 있습니다. 워크로드에 필요한 API 범위에 따라 배포 구조를 계획합니다.
보안 중심의 관심사 분리
Foundry는 관리 작업과 개발 작업 간에 명확한 분리를 적용하여 안전하고 확장 가능한 AI 워크로드를 보장합니다.
최상위 리소스 거버넌스
최상위 Foundry 리소스는 보안 구성, 다른 Azure 서비스와의 연결 설정 및 배포 관리와 같은 관리 작업을 범위로 지정합니다. 전용 프로젝트 컨테이너는 개발 활동을 격리하고 액세스 제어, 파일, 에이전트 및 평가에 대한 경계를 제공합니다.
역할 기반 액세스 제어
Azure RBAC 작업은 이러한 우려 분리를 반영합니다. 배포 및 프로젝트 만들기와 같은 컨트롤 플레인 작업은 에이전트 빌드, 평가 실행 및 파일 업로드와 같은 데이터 평면 작업과 다릅니다. 최상위 리소스 및 개별 프로젝트 수준에서 RBAC 할당의 범위를 지정할 수 있습니다. 보안 자동화 및 서비스 액세스를 지원하려면 어느 범위에서든 관리 ID 를 할당합니다. 자세한 내용은 Microsoft Foundry에 대한Role 기반 액세스 제어 참조하세요.
최소 권한 온보딩에 대한 일반적인 시작 할당은 다음과 같습니다.
Foundry 리소스 범위의 각 개발자 사용자 주체에 대한 Foundry 사용자입니다.
중요
Foundry RBAC 역할의 이름이 최근에 바뀌었습니다. Foundry User, Foundry OwnerFoundry 계정 소유자 및 Foundry Project Manager는 이전에 Azure AI 사용자, Azure AI 소유자, Azure AI 계정 소유자 및 Azure AI Project Manager로 이름이 지정되었습니다. 이름 바꾸기가 롤아웃되는 동안 일부 위치에서는 이전 이름이 계속 표시될 수 있습니다. 역할 ID 및 핵심 권한은 이름 바꾸기에 의해 변경되지 않습니다.
Foundry 리소스 범위의 각 프로젝트 관리형 ID에 대한 Foundry User
역할 정의 및 범위 계획 지침은 Microsoft Foundry에 대한 Role 기반 액세스 제어 참조하세요.
모니터링 및 관찰 가능성
Azure Monitor는 범위에 따라 메트릭을 분류합니다. 최상위 리소스에서 관리 및 사용 메트릭을 볼 수 있으며, 평가 성능 또는 에이전트 활동과 같은 프로젝트별 메트릭은 개별 프로젝트 컨테이너로 범위가 지정됩니다.
주요 모니터링 기능은 다음과 같습니다.
- 리소스 수준 메트릭: 모든 프로젝트의 토큰 사용량, 모델 대기 시간, 요청 수 및 오류 비율입니다.
- 프로젝트 수준 메트릭: 평가 실행 결과, 에이전트 호출 수 및 파일 작업입니다.
- 진단 로깅: 분석 및 보존을 위해 로그를 Log Analytics, 스토리지 또는 Event Hubs로 라우팅하는 진단 설정을 사용하도록 설정합니다.
자세한 내용은 Azure Monitor 개요 참조하세요.
컴퓨팅 인프라
Foundry는 모델 호스팅, 에이전트 실행 및 일괄 처리에 대한 컴퓨팅 인프라를 관리합니다. 이 섹션에서는 배포 유형, 에이전트 및 평가 인프라, 가상 네트워크 통합, 테넌트 격리, 콘텐츠 안전 제어 및 지역 가용성에 대해 설명합니다.
모델 배포 유형
Foundry는 전역(지역 간), 데이터 영역(정의된 경계 내) 및 지역(단일 지역) 등 데이터 처리 범위별로 그룹화된 모델 호스팅을 위한 여러 배포 유형을 지원합니다. 각 형식은 대기 시간, 처리량 및 데이터 처리 위치의 균형을 다르게 조정합니다.
| 배포 유형 | 데이터 처리 | 청구서 발행 |
|---|---|---|
| 글로벌 표준 | 다중 지역, Azure에서 관리하는 | 토큰당 종량제 |
| 전역 프로비전 | 다중 지역, Azure에서 관리하는 | 시간별 예약 용량 |
| 전역 일괄 처리 | 다중 지역, Azure에서 관리하는 | 일괄 처리 토큰 가격 책정 |
| 데이터 영역 표준 | 데이터 영역 경계 내 | 토큰당 종량제 |
| 프로비전된 데이터 영역 | 데이터 영역 경계 내 | 시간별 예약 용량 |
| 데이터 영역 일괄 처리 | 데이터 영역 경계 내 | 일괄 처리 토큰 가격 책정 |
| 표준 | 단일 지역 | 토큰당 종량제 |
| 프로비저닝된 지역 | 단일 지역 | 시간별 예약 용량 |
| 개발자 | 모든 Azure 지역(데이터 상주 보장 없음) | 토큰당 종량제(미세 조정된 모델 평가만, 24시간 수명, SLA 없음) |
올바른 배포 유형을 선택하는 방법에 대한 자세한 내용은 Foundry 모델의 배포 유형을 참조하세요.
에이전트, 평가 및 일괄 처리
에이전트, 평가 및 일괄 처리 작업은 Microsoft 완전히 관리됩니다. 에이전트 워크로드는 네트워크 격리 시나리오에 대한 가상 네트워크 통합 을 지원하는 플랫폼의 컨테이너 인프라 내에서 실행됩니다. 평가는 모델 엔드포인트를 호출하고, 출력을 채점 기준과 비교하고, 프로젝트 범위 내에 결과를 저장합니다. 일괄 처리 큐는 토큰당 가격 책정이 감소할 때 비동기 실행에 대한 요청을 유추합니다. 세 가지 워크로드 유형 모두에 대한 결과는 포털 또는 SDK를 통해 액세스할 수 있습니다.
가상 네트워크 통합
에이전트가 외부 시스템과 연결되면 플랫폼이 가상 네트워크에 서브넷을 삽입하는 컨테인더 삽입을 사용하여 네트워크 트래픽을 격리하여 동일한 가상 네트워크 내의 Azure 리소스와의 로컬 통신을 가능하게 할 수 있습니다.
Foundry는 아웃바운드 격리를 위한 두 가지 네트워킹 모델을 지원합니다.
| 모델 | 작동 방식 | 장단점 |
|---|---|---|
| BYO(고객 관리형 VNet) | VNet과 전용으로 설정된 서브넷을 제공하고 이 서브넷은 Microsoft.App/environments에 위임됩니다. 플랫폼은 서브넷에 삽입되어 프라이빗 Azure 리소스와의 로컬 통신을 가능하게 합니다. |
네트워크 구성에 대한 모든 권한; 에는 사용자 고유의 네트워크 관리가 필요합니다. |
| 관리형 VNet (미리 보기) | Foundry는 사용자를 대신하여 VNet을 관리합니다. | 더 간단한 설정; 는 사용자 지정 옵션을 제한합니다. 자세한 내용은 관리되는 가상 네트워크 구성을 참조하세요. |
참고
일부 네트워크 격리 시나리오에는 포털 대신 SDK 또는 CLI가 필요합니다. 예를 들어 모든 공용 액세스를 차단하는 프라이빗 엔드포인트가 있는 배포는 포털 UI를 통해 구성할 수 없습니다. 자세한 내용은 Foundry에 대한 프라이빗 링크를 구성하는 방법을 참조하세요.
테넌트 격리
워크로드는 Foundry 리소스당 논리적으로 격리된 환경에서 실행됩니다. 고객 코드는 런타임 컨테이너를 다른 테넌트와 공유하지 않습니다.
콘텐츠 안전 및 가드레일
Foundry는 콘텐츠 안전 컨트롤을 모델 및 에이전트 유추 파이프라인에 통합합니다. 가드레일은 탐지할 위험, 스캔할 개입 지점(사용자 입력, 출력, 도구 호출(미리 보기) 및 도구 응답(미리 보기)) 및 위험이 감지되었을 때의 응답 조치를 정의합니다. 콘텐츠 필터는 모델 요청과 함께 인라인으로 실행되며 배포별로 구성할 수 있습니다. 자세한 내용은 Guardrails 및 컨트롤 개요 및 콘텐츠 필터링 심각도 수준을 참조하세요.
지역별 가용성
컴퓨팅 기능은 Azure 지역에 따라 다릅니다. 모델 가용성, 배포 유형 옵션 및 에이전트 또는 평가와 같은 기능 지원은 지역마다 다를 수 있습니다. 프로비전하기 전에 대상 지역이 필요한 기능을 지원하는지 확인합니다. 현재 가용성은 클라우드 지역 간 기능 가용성을 참조하세요.
데이터 스토리지
Foundry는 광범위한 AI 워크로드를 지원하는 유연하고 안전한 데이터 스토리지 옵션을 제공합니다.
파일 업로드를 위한 관리 스토리지
기본 설정에서 Foundry는 논리적으로 구분된 Microsoft 관리되는 스토리지 계정을 사용하고 고객이 제공한 스토리지 계정을 요구하지 않고 OpenAI 모델 및 에이전트와 같은 선택 사용 사례에 대해 직접 파일 업로드를 지원합니다.
사용자 고유의 스토리지 가져오기
필요에 따라 고유한 Azure Storage 계정을 연결할 수 있습니다. 평가 및 일괄 처리와 같은 Foundry 도구는 이러한 계정에서 입력을 읽고 출력을 쓸 수 있습니다. 지원되는 시나리오에 대한 자세한 내용은 에이전트 서비스를 사용하여 사용자 고유의 리소스를 가져옵니다.
에이전트 상태 스토리지
- basic 에이전트 설정을 사용하면 에이전트 서비스는 논리적 분리를 통해 Microsoft 관리되는 다중 테넌트 스토리지에 스레드, 메시지 및 파일을 저장합니다.
- 표준 에이전트 설정 사용하여 파일, 대화 및 벡터 저장소를 비롯한 모든 고객 데이터에 대한 고유한 Azure 리소스를 가져옵니다. 이 구성에서 데이터는 스토리지 계정 내의 프로젝트에 의해 격리됩니다.
고객 관리형 키 암호화
기본적으로 Azure 서비스는 FIPS 140-2 호환 256비트 AES 암호화를 사용하여 Microsoft 관리형 키를 사용하여 미사용 및 전송 중인 데이터를 암호화합니다. 코드 변경이 필요하지 않습니다.
대신 사용자 고유의 키를 사용하려면 Foundry에 대해 고객 관리형 키를 사용하도록 설정하기 전에 다음 필수 구성 요소를 확인합니다.
- Key Vault Foundry 리소스와 동일한 Azure 지역에 배포됩니다.
- '소프트 삭제' 및 '제거 보호'가 Key Vault에서 사용하도록 설정되어 있습니다.
- 관리 ID에는 Azure RBAC를 사용할 때 Key Vault Crypto User 역할과 같은 키 권한이 필요합니다.
고유한 Key Vault 가져오기
기본적으로 Foundry는 모든 API 키 기반 연결 비밀을 관리되는 Azure Key Vault 저장합니다. 비밀을 직접 관리하려면 Key Vault를 Foundry 리소스에 연결합니다. 하나의 Azure Key Vault 연결은 모든 프로젝트 및 리소스 수준 연결 비밀을 관리합니다. 자세한 내용은 Foundry 대한 Azure Key Vault 연결을 설정하는 방법을 참조하세요.
데이터 암호화에 대한 자세한 내용은 Foundry를 사용한 암호화에 대한 고객 관리형 키를 참조하세요.
데이터 보존 및 규정 준수
Foundry는 지정된 Azure 지역에 모든 미사용 데이터를 저장합니다. 유추 데이터(프롬프트 및 완료)는 배포 유형에 따라 처리됩니다. 전역 배포는 Azure 지역으로 라우팅될 수 있고, 데이터 영역 배포는 미국 또는 EU 영역 내에 유지되고, 배포 지역의 표준 또는 지역 배포 프로세스는 처리됩니다. 자세한 내용은 배포 유형을 참조하세요. Foundry는 자동 지역 간 페일오버를 지원하지 않습니다. 조직에 다중 지역 가용성이 필요한 경우 각 대상 지역에 별도의 Foundry 리소스를 배포하고 애플리케이션 계층에서 데이터 동기화 및 라우팅을 관리합니다. 규정 준수 인증 세부 정보는 Azure 규정 준수 설명서 참조하세요.
아키텍처 결정 유효성 검사
롤아웃하기 전에 대상 환경에 대해 다음의 유효성을 검사합니다.
- 배포 지역에서 필요한 모델 및 기능을 사용할 수 있는지 확인합니다. 자세한 내용은 클라우드 지역의 기능 가용성을 참조하세요.
- 역할 할당이 Foundry 리소스 및 프로젝트 수준 모두에서 올바르게 범위가 지정되었는지 확인합니다. 자세한 내용은 Microsoft Foundry에 대한 Role 기반 액세스 제어 참조하세요.
- 네트워크 격리 요구 사항 및 프라이빗 액세스 경로의 유효성을 검사합니다. 자세한 내용은 Foundry에 대한 프라이빗 링크를 구성하는 방법을 참조하세요.
- 고객 관리형 키 및 Azure Key Vault 통합을 포함하여 암호화 및 비밀 관리 요구 사항을 확인합니다. 자세한 내용은 Foundry에서의 암호화를 위한 고객 관리형 키 및 Foundry와의 연결을 위한 Azure Key Vault 설정 방법을 참조하세요.
- 모델 배포 제한 및 속도 제한을 포함하여 대상 리소스에 대한 할당량 및 제한을 검토합니다. 자세한 내용은 Azure OpenAI 할당량 및 한도 및 Agent 서비스 제한, 할당량 및 지역 참조하세요.