이 문서에서는 Azure VMware Solution 2세대(Gen 2) 프라이빗 클라우드에 대한 주요 디자인 고려 사항을 간략하게 설명합니다. 이 세대는 온-프레미스 인프라와 Azure 기반 리소스 모두에서 애플리케이션에 액세스할 수 있도록 VMware 기반 프라이빗 클라우드 환경에 제공하는 기능을 설명합니다. Azure VMware Solution Gen 2 프라이빗 클라우드를 설정하기 전에 몇 가지 사항을 검토해야 합니다. 이 문서에서는 프라이빗 클라우드 유형을 사용할 때 발생할 수 있는 사용 사례에 대한 솔루션을 제공합니다.
비고
2세대는 특정 Azure 공용 지역에서 사용할 수 있습니다. Microsoft 계정 팀 또는 Microsoft 지원 문의하여 적용 범위를 확인합니다.
제한점
이 시간 동안에는 다음 기능이 제한됩니다. 이러한 제한 사항은 나중에 해제될 예정입니다.
- 프라이빗 클라우드를 포함하는 리소스 그룹은 삭제할 수 없습니다. 리소스 그룹을 삭제하기 전에 먼저 프라이빗 클라우드를 삭제해야 합니다.
- Azure 가상 네트워크당 1 프라이빗 클라우드만 배포할 수 있습니다.
- 리소스 그룹당 프라이빗 클라우드는 1개만 만들 수 있습니다. 단일 리소스 그룹의 여러 프라이빗 클라우드는 지원되지 않습니다.
- 프라이빗 클라우드와 프라이빗 클라우드의 가상 네트워크는 동일 리소스 그룹에 있어야 합니다.
- 프라이빗 클라우드를 만든 후에는 프라이빗 클라우드를 한 리소스 그룹에서 다른 리소스 그룹으로 이동할 수 없습니다.
- 프라이빗 클라우드를 만든 후에는 프라이빗 클라우드를 한 테넌트에서 다른 테넌트로 이동할 수 없습니다.
- AVS 프라이빗 클라우드에 ExpressRoute FastPath 또는 글로벌 Virtual Network 피어링 필요한 경우 Azure 포털을 통해 지원 사례를 만듭니다.
- 서비스 엔드포인트 Azure VMware Solution 워크로드의 직접 연결은 지원되지 않습니다.
- Azure VMware Solution으로 연결된 지역 간에 전역적으로 피어링된 프라이빗 엔드포인트는 지원되지 않습니다.
- 프라이빗 엔드포인트를 사용하는 vCloud 디렉터가 지원됩니다. 그러나 퍼블릭 엔드포인트를 사용하는 vCloud 디렉터는 지원되지 않습니다.
- vSAN 확장 클러스터는 지원되지 않습니다.
- 인터넷 구성을 위한 VMware NSX Microsoft Edge의 공용 IP는 지원되지 않습니다. 인터넷 연결 옵션에서 지원되는 인터넷 옵션을 확인할 수 있습니다.
- SDDC(소프트웨어 정의 데이터 센터)의 처음 4개 호스트에서 호스트 하드웨어 오류와 같은 계획되지 않은 유지 관리 중에 일부 워크로드에 대한 일시적인 North-South 네트워크 연결 중단이 발생할 수 있으며 최대 30초 동안 지속될 수 있습니다. North-South 연결은 AZURE 서비스 또는 온-프레미스 환경과 같이 NSX-T T0(Tier-0) Edge를 초과하는 AVS VMware 워크로드와 외부 엔드포인트 간의 트래픽을 나타냅니다. 이 제한 사항은 특정 Azure 지역에서 제거되었습니다. Azure 지원을 확인하여 해당 지역이 이 제한의 영향을 받는지 확인합니다.
- 프라이빗 클라우드 호스트 가상 네트워크와 연결된 네트워크 보안 그룹은 프라이빗 클라우드 및 해당 가상 네트워크와 동일한 리소스 그룹에 만들어야 합니다.
-
고객 가상 네트워크에서 Azure VMware Solution 가상 네트워크로의 리소스 그룹 간 및 구독 간 참조는 기본적으로 지원되지 않습니다. 여기에는 UDR(사용자 정의 경로), DDoS Protection 계획 및 기타 연결된 네트워킹 리소스와 같은 리소스 종류가 포함됩니다. 고객 가상 네트워크가 Azure VMware Solution 가상 네트워크와 다른 리소스 그룹 또는 구독에 있는 이러한 참조 중 하나와 연결된 경우 네트워크 프로그래밍(예: NSX 세그먼트 전파)이 실패할 수 있습니다. 문제를 방지하려면 고객은 Azure VMware Solution 가상 네트워크가 다른 리소스 그룹 또는 구독의 리소스에 연결되어 있지 않은지 확인해야 합니다. 계속하기 전에 가상 네트워크에서 DDoS Protection 계획과 같은 연결을 제거합니다.
- 리소스 그룹 간 참조를 유지하려면 리소스 간 그룹 또는 구독에서 역할 할당을 만들고 "AzS VIS Prod 앱"에 "AVS on Fleet VIS 역할"을 제공합니다. 역할 할당을 사용하면 참조를 사용하고 Azure VMware Solution 프라이빗 클라우드에 대한 참조를 올바르게 적용할 수 있습니다.
- Azure 정책이 네트워크 보안 그룹 또는 경로 테이블(예: 특정 명명 규칙) 엄격한 규칙을 적용하는 경우 Gen 2 프라이빗 클라우드
배포가 실패할 수 있습니다. 이러한 정책 제약 조건은 배포 중에 필요한 Azure VMware Solution 네트워크 보안 그룹 및 경로 테이블 생성을 차단할 수 있습니다. 프라이빗 클라우드를 배포하기 전에 Azure VMware Solution 가상 네트워크에서 이러한 정책을 제거해야 합니다. 프라이빗 클라우드가 배포되면 이러한 정책을 Azure VMware Solution 프라이빗 클라우드에 다시 추가할 수 있습니다. - Azure VMware Solution Gen 2 프라이빗 클라우드에 프라이빗 DNS 사용하는 경우 Azure VMware Solution Gen 2 프라이빗 클라우드가 배포된 가상 네트워크에서 Custom DNS 사용은 지원되지 않습니다. 사용자 지정 DNS는 크기 조정, 업그레이드, 패치 등의 수명 주기 작업을 중단합니다.
- 프라이빗 클라우드를 삭제 일부 Azure VMware Solution 만든 리소스가 제거되지 않는 경우 Azure CLI 사용하여 Azure VMware Solution 프라이빗 클라우드 삭제를 다시 시도할 수 있습니다.
- Azure VMware Solution Gen 2는 HTTP 프록시를 사용하여 고객 및 관리 네트워크 트래픽을 구분합니다. 특정 VMware 클라우드 서비스 엔드포인트는 일반 vCenter 관리 트래픽과 동일한 네트워크 경로 또는 프록시 규칙을 따르지 않을 수 있습니다. 예로는 "scapi.vmware" 및 "apigw.vmware"가 있습니다. VAMI 프록시는 vCenter Server Appliance(VCSA) 일반 아웃바운드 인터넷 액세스를 제어하지만, 모든 서비스 엔드포인트 상호 작용이 이 프록시를 통해 흐르는 것은 아닙니다. 일부 상호 작용은 사용자의 브라우저 또는 통합 구성 요소에서 직접 시작되며, 대신 워크스테이션의 프록시 설정을 따르거나 독립적으로 연결을 시작합니다. 따라서 VMware 클라우드 서비스 엔드포인트에 대한 트래픽은 VCSA 프록시를 완전히 무시할 수 있습니다.
- 2세대의 HCX RAV 및 대량 마이그레이션은 기본 동기화 및 온라인 동기화 단계 중 중단으로 인해 성능이 느려질 수 있습니다. 고객은 더 긴 마이그레이션 기간을 계획하고 현재에 따라 웨이브를 예약해야 합니다. 적절한 워크로드의 경우 vMotion은 호스트 및 네트워크 조건이 허용되는 경우 더 빠르고 낮은 오버헤드 옵션을 제공합니다.
- 가상 허브(가상 WAN) 피어링: Gen-2 가상 네트워크와 가상 허브(가상 WAN) 간에 피어링 연결을 설정하려면 가상 허브가 Gen-2 가상 네트워크와 동일한 지역에 있어야 합니다. 다른 지역의 가상 허브와 피어해야 하는 경우 Azure 포털을 통해 지원 사례를 만들어야 합니다.
- 피어링된 Virtual Network(VNET)에서 /32 경로 대상: NSX에서 /32 경로(예: HCX MON 경로 또는 DNS 전달자 경로)를 광고하고, 피어링된 가상 네트워크에서 해당 /32 대상에 액세스해야 하는 경우 Azure 포털에서 지원 요청을 열어야 합니다. /32 대상에 대한 연결은 로컬 VNET 내에서 올바르게 작동합니다.
- VNET 피어 동기화 서브넷 광고 및 Azure 경로 테이블(UDR) 연결 – Azure VMware Solution Gen 2는 두 가지 내부 아키텍처를 사용합니다. 현재 아키텍처는 NSX 세그먼트 또는 서브넷 경로에 대한 특정 서브넷과 더 광범위한 Azure 주소 공간을 피어된 Azure 가상 네트워크와 동기화합니다. 따라서 Gen 2의 현재 아키텍처를 사용하면 Azure VMware Solution 워크로드 세그먼트에 일반 주소 공간 경로를 사용하는 대신 보다 구체적인 NSX 세그먼트 서브넷 경로로 Azure 경로 테이블(UDR)을 구성해야 할 수 있습니다.
지원되지 않는 통합
다음 자사 및 타사 통합은 사용할 수 없습니다.
- Zerto DR
Gen 2에 대한 위임된 서브넷 및 네트워크 보안 그룹
AVS(Azure VMware Solution) Gen 2 프라이빗 클라우드가 배포되면 Azure 프라이빗 클라우드의 호스트 가상 네트워크 내에 위임된 여러 서브넷을 자동으로 만듭니다. 이러한 서브넷은 프라이빗 클라우드의 관리 구성 요소를 격리하고 보호하는 데 사용됩니다.
고객은 Azure 포털 또는 Azure CLI/PowerShell을 통해 표시되는 NSG(네트워크 보안 그룹)를 사용하여 이러한 서브넷에 대한 액세스를 관리할 수 있습니다. AVS는 고객이 관리할 수 있는 NSG 외에도 중요한 관리 인터페이스에 시스템 관리 NSG를 추가로 적용합니다. 이러한 시스템 관리 NSG는 고객이 보거나 편집할 수 없으며 프라이빗 클라우드가 기본적으로 안전하게 유지되도록 합니다.
기본 보안 상태의 일부로:
- 고객이 명시적으로 사용하도록 설정하지 않는 한 프라이빗 클라우드에 대한 인터넷 액세스가 비활성화됩니다.
- 필요한 관리 트래픽만 플랫폼 서비스에 연결할 수 있습니다.
비고
Azure 포털에 특정 포트가 인터넷에 노출되는 것처럼 보인다는 경고가 표시될 수 있습니다. 포털에서 고객이 볼 수 있는 NSG(네트워크 보안 그룹) 구성만 평가하기 때문에 이 문제가 발생합니다. 그러나 Azure VMware Solution 포털에 표시되지 않는 추가 시스템 관리 네트워크 보안 그룹도 적용합니다. 이러한 시스템 관리 네트워크 보안 그룹은 Azure VMware Solution 구성을 통해 액세스를 명시적으로 사용하도록 설정하지 않은 한 인바운드 트래픽을 차단합니다.
이 디자인은 AVS 환경을 안전하게 유지하고 기본적으로 구분하는 동시에 고객이 자신의 요구에 맞게 네트워크 액세스를 관리하고 조정할 수 있도록 합니다.
라우팅 및 서브넷 고려 사항
Azure VMware Solution Gen 2 프라이빗 클라우드는 온-프레미스 및 Azure 기반 환경 또는 리소스에서 사용자 및 애플리케이션에 액세스할 수 있는 VMware 프라이빗 클라우드 환경을 제공합니다. 연결은 표준 Azure 네트워킹을 통해 제공됩니다. 이러한 서비스를 사용하려면 특정 네트워크 주소 범위와 방화벽 포트가 필요합니다. 이 섹션에서는 Azure VMware Solution 작동하도록 네트워킹을 구성하는 데 도움이 됩니다.
프라이빗 클라우드는 표준 Azure 네트워킹을 사용하여 Azure 가상 네트워크에 연결합니다. Azure VMware Solution Gen 2 프라이빗 클라우드에는 서브넷에 대해 최소 /22 CIDR 네트워크 주소 블록이 필요합니다. 이 네트워크는 온-프레미스 네트워크를 보완하므로 주소 블록은 구독 및 온-프레미스 네트워크의 다른 가상 네트워크에 사용되는 주소 블록과 겹치지 않아야 합니다. 관리, vMotion 및 복제 네트워크는 가상 네트워크 내부의 서브넷으로 이 주소 블록에 자동으로 프로비전됩니다.
비고
주소 블록에 허용되는 범위는 RFC 1918 개인 주소 공간(10.0.0.0/8, 172.16.0.0/12, 192.168.0.0/16)입니다(172.17.0.0/16 제외). 복제 네트워크는 AV64 노드에 적용되지 않으며 나중에 일반 사용 중단될 예정입니다.
VMware NSX 사용을 위해 예약된 다음 IP 스키마를 사용하지 않습니다.
- 169.254.0.0/24 - 내부 전송 네트워크에 사용
- 169.254.2.0/23 - VRF 간 전송 네트워크에 사용
- 100.64.0.0/16 - T1 및 T0 게이트웨이를 내부적으로 연결하는 데 사용
- 100.73.x.x – Microsoft의 관리 네트워크에서 사용
비고
테이블에 나열된 대부분의 서브넷은 Azure 가상 네트워크 내에서 서브넷으로 표시됩니다. Azure VMware Solution 컨트롤 플레인에서 관리되고 수정이 부정적인 결과를 초래할 수 있으므로 이러한 서브넷 구성을 수동으로 변경하지 마세요.
예제 /22 CIDR 네트워크 주소 블록 10.31.0.0/22 는 다음 서브넷으로 나뉩니다.
| 네트워크 사용량 | 서브넷 | 설명 | 예시 |
|---|---|---|---|
| VMware NSX 네트워크 | /27 | NSX Manager 네트워크. | 10.31.0.0/27 |
| vCSA 네트워크 | /27 | vCenter Server 네트워크. | 10.31.0.32/27 |
| avs-mgmt | /27 | 관리 어플라이언스(vCenter Server, NSX 관리자 및 HCX 클라우드 관리자)는 이 서브넷에서 보조 IP 범위로 프로그래밍된 "avs-mgmt" 서브넷 뒤에 있습니다. 관리 어플라이언스에 대한 네트워크 트래픽이 NVA 또는 방화벽을 통해 라우팅해야 하는 경우 이 서브넷과 연결된 경로 테이블을 조정해야 할 수 있습니다. | 10.31.0.64/27 |
| avs-vnet-sync | /27 | Azure VMware Solution Gen 2에서 VMware NSX에서 만든 경로를 가상 네트워크로 프로그래밍하는 데 사용됩니다. | 10.31.0.96/27 |
| avs-services | /27 | Azure VMware Solution Gen 2 공급자 서비스에 사용됩니다. 또한 프라이빗 클라우드에 대한 프라이빗 DNS 확인을 구성하는 데 사용됩니다. | 10.31.0.224/27 |
| avs-nsx-gw, avs-nsx-gw-1 | /27 | 두 avs-nsx-gw 서브넷은 Azure VMware Solution Virtual Network 이후까지의 모든 아웃바운드 트래픽을 처리합니다. 따라서 Azure 경로 테이블(UDR) 및 NSG(네트워크 보안 그룹)는 모든 시나리오에서 이러한 서브넷에 적용되어야 합니다. 초기 AVS Gen-2 프라이빗 클라우드에서 이러한 서브넷은 들어오는 트래픽도 관리하며 모든 NSX 세그먼트 서브넷은 보조 IP로 구성됩니다. 현재 AVS Gen-2 프라이빗 클라우드에서는 들어오는 모든 트래픽을 처리하기 위해 "avs-network-infra-gw"라고 하는 세 번째 서브넷이 추가됩니다. 이제 모든 NSX 세그먼트가 avs-nsx-gw 서브넷이 아닌 이 서브넷에 할당됩니다. | 10.31.0.128/27, 10.31.0.160/27 |
| avs-network-infra-gw | /26 | 이 서브넷이 있으면 VNET의 모든 NSX 워크로드에 대해 들어오는 트래픽을 처리하고 Azure VMware Solution 관리에서 NSX 세그먼트 서브넷을 보조 IP로 구성하는 데 사용됩니다. Azure 경로 테이블을 이 서브넷과 연결하지 마세요. 대신 "avs-nsx-gw" 서브넷을 사용하여 Azure Firewall 또는 타사 NVA(네트워크 가상 어플라이언스)와 같은 아웃바운드 AVS 트래픽을 관리합니다. | 10.31.2.128/26 |
| esx-mgmt-vmk1 | /25 | vmk1은 고객이 호스트에 액세스하는 데 사용하는 관리 인터페이스입니다. vmk1 인터페이스의 IP는 이러한 서브넷에서 제공됩니다. 모든 호스트에 대한 모든 vmk1 트래픽은 이 서브넷 범위에서 가져옵니다. | 10.31.1.0/25 |
| esx-vmotion-vmk2 | /25 | vMotion VMkernel 인터페이스. | 10.31.1.128/25 |
| esx-vsan-vmk3 | /25 | vSAN VMkernel 인터페이스 및 노드 통신. | 10.31.2.0/25 |
| 예약됨 | /27 | 예약된 공간입니다. | 10.31.0.128/27 |
| 예약됨 | /27 | 예약된 공간입니다. | 10.31.0.192/27 |
비고
Azure VMware Solution Gen 2 배포의 경우 고객은 이제 SDDC 배포 중에 입력한 /22 외에도 HCX 관리 및 업링크에 대해 2개의 추가 /24 서브넷을 할당해야 합니다. AVS Gen 2에서는 HCX mgmt 및 HCX 업링크 서브넷만 필요합니다. AVS Gen 2에는 vMotion 및 복제 네트워크가 필요하지 않습니다.
Azure 가상 네트워크로의 NSX 경로 프로그래밍
Azure VMware Solution Gen-2 NSX 경로는 주소 공간을 사용하고 이를 "avs-network-infra-gw" 시스템에서 생성한 서브넷의 보조 IP로 할당함으로써 Azure에 통합되며, Azure와 AVS 고객 워크로드 간의 원활한 연결을 지원합니다. NSX 계층 0이 세그먼트 만들기, 정적 경로 추가 또는 HCX MON 가상 머신 사용과 같은 사용자 설정에 따라 경로를 보급하는 경우 Azure VMware Solution 컨트롤 플레인은 경로 접두사가 가상 네트워크 주소 공간에 있는지 여부를 확인합니다. 그렇지 않으면 주소 공간을 생성하고 경로 접두사를 "avs-network-infra-gw" 서브넷에 보조 IP로 할당합니다. HCX MON 경로와 같은 계층 0 보급 /32 경로의 경우 보조 IP는 설정되지 않지만 데이터 평면은 내부적으로 구성되어 Azure VMware Solution /32 대상에 연결되도록 합니다.
NSX 경로에 대한 주소 공간 및 서브넷 업데이트와 함께, 특히 하위 서브넷 마스크를 사용할 때 지원되는 규모와 관련하여 고객이 알아야 할 내부 프로그래밍이 있습니다. 확장성 측면에 대한 자세한 내용은 Azure VMware Solution Gen 2용 경로 아키텍처를 참조하세요.
Azure 경로 테이블(UDR) 연결 시 고려 사항
Azure VMware Solution Gen-2에는 약간의 변형이 있는 두 개의 내부 아키텍처가 포함되어 있습니다. 초기 Gen-2 프라이빗 클라우드 중 일부는 초기 내부 아키텍처를 사용합니다. 이는 고객과 조정된 예약된 유지 관리를 통해 현재 아키텍처로 업데이트됩니다. 그러나 아래 설명된 대로 특정 네트워크 디자인 고려 사항에 영향을 줄 수 있는 초기 아키텍처에 비해 현재 아키텍처의 동작이 변경되었습니다.
초기 Gen-2 프라이빗 클라우드:
- Azure VNET에는 "avs-nsx-gw"라는 두 개의 기본 게이트웨이 서브넷이 있으며 현재 아키텍처와 같이 "avs-network-infra-gw" 서브넷이 없습니다.
- 모든 AVS NSX 세그먼트 서브넷은 NSX 워크로드에 Azure 연결하기 위한 추가 IPv4 주소로 "avs-nsx-gw" 서브넷으로 프로그래밍됩니다.
- AVS에서 Azure VNET 및 그 너머(예: 온-프레미스)로 향하는 트래픽에 대한 경로 테이블(UDR) 또는 Azure NSG는 "avs-nsx-gw" 서브넷에 적용되어야 합니다.
현재 Gen-2 프라이빗 클라우드:
이 동작의 변경 사항에 유의해야 합니다.
- Azure VNET에는 초기 아키텍처와 같이 이름이 "avs-nsx-gw"인 두 개의 기본 게이트웨이 서브넷과 함께 "avs-network-infra-gw" 접두사로 추가 서브넷이 표시됩니다.
- 이제 모든 AVS NSX 세그먼트 서브넷이 NSX 워크로드에 Azure 연결하기 위한 보조 IPv4 주소로 이 서브넷 아래에 프로그래밍됩니다. 이렇게 하면 고객 네트워크 연결이 변경되지 않습니다.
- VNET 피어링에서는 주소 공간과 서브넷을 모두 피어링된 VNET에 보급합니다. 이는 주소 공간만 동기화되는 초기 아키텍처 또는 Azure 네이티브 VNET 동기화와 다릅니다.
Gen-2 내부 아키텍처의 변경으로 인한 디자인 고려 사항
- 고객은 VNET 피어 동기화 동작의 변경으로 인해 피어된 VNET 내에서 AVS 서브넷에 대한 추가 유효 경로를 관찰합니다.
- 고객이 UDR(Azure 경로 테이블)을 사용하여 방화벽 또는 네트워크 가상 어플라이언스를 통해 온-프레미스에서 AVS로 트래픽을 보내는 경우 이전에 사용된 광범위한 슈퍼넷 주소 범위 대신 특정 NSX 서브넷 경로를 사용하도록 UDR을 업데이트해야 합니다. 이는 Azure 라우팅의 최장 접두사 일치 동작으로 인해 AVS 대상으로 향하는 트래픽이 더 구체적인 VNET 서브넷 경로를 따라 의도된 방화벽을 우회하지 않도록 하기 위해 필요합니다. 그렇지 않으면 비대칭 라우팅이 발생하여 연결 문제가 발생할 수 있습니다.
- 그러나 AVS에서 Azure VNET 및 그 너머(예: 온-프레미스)로 향하는 트래픽에 대한 경로 테이블(UDR) 또는 Azure NSG는 "avs-network-infra-gw"가 아니라 "avs-nsx-gw" 서브넷에 계속 적용됩니다. NSX 세그먼트 서브넷이 보조 IP로 구성된 경우에도 고객은 "avs-network-infra-gw" 서브넷에서 UDR(경로 테이블)을 사용하면 안 됩니다.
다음 단계
사전 조건으로 Azure VMware Solution 서비스 주체 구성을 시작하세요. 방법을 알아보려면 Azure VMware Solution 서비스 주체 사용 퀵스타트를 참조하세요.
Azure VMware Gen 2 프라이빗 클라우드 만들기