你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
本文概述了 Azure VMware 解决方案第 2 代(第 2 代)私有云的关键设计注意事项。 它解释了此版本为基于 VMware 的私有云环境带来的功能,使你的应用程序可以从本地基础结构和基于 Azure 的资源访问。 在设置 Azure VMware 解决方案 第 2 代私有云之前,需要考虑几个注意事项。 本文提供使用私有云类型时可能遇到的用例的解决方案。
注释
第 2 代在特定Azure公共区域中可用。 请联系Microsoft帐户团队或Microsoft 支持部门确认覆盖范围。
局限性
在此期间,以下功能受到限制。 将来将取消这些限制:
- 无法删除包含私有云的 资源组。 必须先删除私有云,然后才能删除资源组。
- 每个Azure虚拟网络只能部署 1 个私有云。
- 每个资源组只能创建 1 个私有云。 不支持单个资源组中的多个私有云。
- 私有云和私有云的虚拟网络必须位于相同的资源组中。
- 创建私有云后,无法将私有云从一个资源组 移到 另一个资源组。
- 创建私有云后,无法将私有云从一个租户 移到 另一个租户。
- 如果你的 AVS 私有云需要 ExpressRoute FastPath 或全局虚拟网络对等互连,请通过 Azure 门户创建支持案例。
- Service Endpoints不支持从Azure VMware 解决方案工作负荷直接连接。
- 在连接到 Azure VMware 解决方案的跨区域全局对等互连环境中,不支持使用专用终结点。
- 支持使用专用终结点的vCloud 控制器。 但是,vCloud Director 不支持使用公共终结点。
- 不支持 vSAN 拉伸群集。
- 不支持将公共 IP 下放到 VMware NSX Microsoft Edge 来配置互联网。 可以在“Internet 访问选项”中找到支持哪些 Internet 选项。
- 在您的软件定义数据中心(SDDC)的前四台主机中,若任意一台在计划外维护期间(例如主机硬件故障)发生问题,某些工作负载可能会遇到最长达 30 秒的临时南北向网络连接中断。 North-South 连接是指 AVS VMware 工作负荷与外部终结点之间的流量,这些流量超出了 NSX-T 第 0 层(T0)边缘,例如Azure服务或本地环境。 在特定Azure区域中删除了此限制。 通过检查Azure支持,确认区域是否受到此限制的影响。
- 与私有云主机虚拟网络关联的网络安全组必须在与私有云及其虚拟网络相同的资源组中创建。
- 默认情况下,不支持从客户虚拟网络到 Azure VMware 解决方案 虚拟网络的 跨资源组和跨订阅引用。 其中包括以下资源类型:用户定义路由 (UDR)、DDoS 防护计划和其他链接的网络资源。 如果客户虚拟网络与位于与 Azure VMware 解决方案虚拟网络不同的资源组或订阅中的这些引用之一关联,则网络编程(例如 NSX 段传播)可能会失败。 为了避免问题,客户应确保Azure VMware 解决方案虚拟网络未连接到其他资源组或订阅中的资源。 在继续之前,请从虚拟网络中删除任何此类连接,例如 DDoS 保护计划。
- 若要保留跨资源组引用,请在跨资源组或订阅中创建角色分配,并向“AzS VIS Prod App”授予“AVS on Fleet VIS Role”角色。此角色分配使你能够使用该引用,并确保该引用正确应用于你的 Azure VMware 解决方案 私有云。
- 如果 Azure 策略对网络安全组或路由表(例如,特定命名约定)强制实施严格规则,则 Gen 2 私有云部署可能会失败。 在部署期间,这些策略约束可以阻止所需的Azure VMware 解决方案网络安全组和路由表创建。 部署私有云之前,必须先从Azure VMware 解决方案虚拟网络中删除这些策略。 部署私有云后,可将这些策略添加回Azure VMware 解决方案私有云。
- 如果你正在为 Azure VMware 解决方案 第 2 代私有云使用 专用 DNS,则不支持在部署 Azure VMware 解决方案 第 2 代私有云的虚拟网络上使用 Custom DNS。 自定义 DNS 中断生命周期操作,例如缩放、升级和修补。
- 如果要删除私有云,并且不会删除某些Azure VMware 解决方案创建的资源,则可以使用Azure CLI重试删除Azure VMware 解决方案私有云。
- Azure VMware 解决方案第 2 代使用 HTTP 代理来区分客户和管理网络流量。 某些 VMware 云服务终结点 可能不遵循与常规 vCenter 托管流量相同的网络路径或代理规则。 示例包括:“scapi.vmware”和“apigw.vmware”。VAMI 代理控制 vCenter 服务器设备(VCSA)的常规出站 Internet 访问,但并非所有服务终结点交互都流经此代理。 某些交互直接源自用户的浏览器或集成组件,并遵循工作站的代理设置或独立发起连接。 因此,发到 VMware 云服务终结点的流量可能会完全绕过 VCSA 代理。
- 第 2 代上的 HCX RAV 和批量迁移可能会因基本同步和联机同步阶段的停滞而性能降低。 客户应提前计划更长的迁移窗口期,并相应地安排迁移批次。 对于合适的工作负载,vMotion 在主机和网络条件允许时提供更快的低开销选项。
- 虚拟中心(虚拟 WAN)对等互连:若要在 Gen-2 虚拟网络与虚拟中心(虚拟 WAN)之间建立对等互连连接,虚拟中心必须与 Gen-2 虚拟网络位于同一区域。 如果需要与其他区域的虚拟中心对等互连,则需要通过 Azure 门户创建支持案例。
- 来自对等互连虚拟网络 (VNET) 的 /32 路由目标:如果要从 NSX 播发 /32 路由(例如 HCX MON 路由或 DNS 转发器路由),并且需要从对等互连虚拟网络访问该 /32 目标,则需要在 Azure 门户中打开支持案例。 在本地 VNET 内部,与 /32 目标的连通性正常。
- VNET 对等互连同步子网播发和 Azure 路由表 (UDR) 关联 - Azure VMware 解决方案 Gen 2 利用两个内部体系结构。 当前体系结构将 NSX 网段或子网路由的特定子网以及更广泛的 Azure 地址空间与对等互连的 Azure 虚拟网络同步。 因此,在第 2 代当前的体系结构下,你可能需要在 Azure 路由表(UDR)中配置更具体的 NSX 网段子网路由,而不是为 Azure VMware 解决方案 工作负载网段使用通用地址空间路由。
不支持的集成
不支持以下第一方和第三方集成:
- Zerto DR
第 2 代的委托子网和网络安全组
部署 Azure VMware 解决方案(AVS) 第 2 代私有云时,Azure会自动在私有云的主机虚拟网络中创建多个委托子网。 这些子网用于隔离和保护私有云的管理组件。
客户可以使用Azure门户中可见的网络安全组(NSG)或通过 Azure CLI/PowerShell 管理对这些子网的访问。 除了客户可管理的 NSG 之外,AVS 还向关键管理接口应用额外的系统管理的 NSG。 这些系统托管的 NSG 不可供客户查看或编辑,并且存在以确保私有云默认保持安全。
作为默认安全状况的一部分:
- 除非客户明确启用 Internet 访问,否则私有云将禁用 Internet 访问。
- 仅允许所需的管理流量访问平台服务。
注释
你可能会在Azure门户中看到一条警告,指示某些端口似乎暴露在 Internet 上。 之所以发生这种情况,是因为门户仅评估客户可见的网络安全组(NSG)配置。 但是,Azure VMware 解决方案 还会应用其他由系统管理且在门户中不可见的网络安全组。 除非通过Azure VMware 解决方案配置显式启用访问,否则这些系统管理的网络安全组会阻止入站流量。
此设计默认使 AVS 环境安全且隔离,同时仍允许客户管理和调整网络访问以满足其需求。
路由和子网注意事项
Azure VMware 解决方案第 2 代私有云提供可供本地和基于Azure的环境或资源的用户和应用程序访问的 VMware 私有云环境。 连接通过标准Azure网络交付。 需要特定的网络地址范围和防火墙端口才能启用这些服务。 本部分可帮助你配置网络以使用Azure VMware 解决方案。
私有云使用标准Azure网络连接到Azure虚拟网络。 Azure VMware 解决方案 Gen2 私有云要求至少对子网使用 /22 CIDR 网络地址块。 该网络是对本地网络的补充,因此地址块不应与订阅和本地网络的其他虚拟网络中使用的地址块重叠。 在此地址块中,管理、vMotion 和复制网络会自动预配为虚拟网络中的子网。
注释
地址块的允许范围为 RFC 1918 专用地址空间(10.0.0.0/8、172.16.0.0/12、192.168.0.0/16),172.17.0.0/16 除外。 复制网络不适用于 AV64 节点,并计划在未来某个日期整体停止使用。
避免使用以下为 VMware NSX 使用保留的 IP 架构:
- 169.254.0.0/24 - 用于内部传输网络
- 169.254.2.0/23 - 用于 VRF 间传输网络
- 100.64.0.0/16 - 用于在内部连接 T1 和 T0 网关
- 100.73.x.x – Microsoft 管理网络使用
注释
表中列出的大多数子网将显示为Azure虚拟网络中的子网。 请不要对这些子网配置进行手动更改,因为它们由Azure VMware 解决方案控制平面管理,任何修改都可能产生负面影响。
示例 /22 CIDR 网络地址块 10.31.0.0/22 分为以下子网:
| 网络使用情况 | 子网 | 说明 | 示例 |
|---|---|---|---|
| VMware NSX 网络 | /27 | NSX 管理器网络。 | 10.31.0.0/27 |
| vCSA 网络 | /27 | vCenter Server 网络。 | 10.31.0.32/27 |
| avs-mgmt | /27 | 管理设备(vCenter Server、NSX 管理器和 HCX 云管理器)位于“avs-mgmt”子网后面,此子网上编程为辅助 IP 范围。 如果你的管理设备的网络流量需要通过 NVA 或防火墙路由,那么可能需要调整与此子网关联的路由表。 | 10.31.0.64/27 |
| avs-vnet-sync | /27 | 由 Azure VMware 解决方案第 2 代用于将在 VMware NSX 中创建的路由编程到虚拟网络。 | 10.31.0.96/27 |
| avs-services | /27 | 用于 Azure VMware 解决方案第二代提供方服务。 还用于为私有云配置专用 DNS 解析。 | 10.31.0.224/27 |
| avs-nsx-gw、avs-nsx-gw-1 | /27 | 这两个 avs-nsx-gw 子网处理从 Azure VMware 解决方案 发往虚拟网络及其他外部网络的所有出站流量。 因此,Azure路由表(UDR)和网络安全组(NSG)应应用于每个方案中的这些子网。 在初始 AVS Gen-2 私有云中,这些子网还管理传入流量,并将所有 NSX 网段子网都配置为辅助 IP。 在当前的 AVS Gen-2 私有云中,添加了一个名为“avs-network-infra-gw”的第三个子网来处理所有传入流量。 现在,所有 NSX 段都分配给此子网,而不是 avs-nsx-gw 子网。 | 10.31.0.128/27, 10.31.0.160/27 |
| avs-network-infra-gw | /26 | 此子网存在时,此子网将处理来自 VNET 的所有 NSX 工作负荷的传入流量,并由 Azure VMware 解决方案管理用于将 NSX 网段子网配置为辅助 IP。 避免将任何 Azure 路由表与此子网关联;应改为使用“avs-nsx-gw”子网来管理出站 AVS 流量,例如流向 Azure 防火墙 或第三方网络虚拟设备(NVA)的流量。 | 10.31.2.128/26 |
| esx-mgmt-vmk1 | /25 | vmk1 是客户用于访问主机的管理接口。 来自 vmk1 接口的 IP 来自这些子网。 所有主机的所有 vmk1 流量都来自此子网范围。 | 10.31.1.0/25 |
| esx-vmotion-vmk2 | /25 | vMotion VMkernel 接口。 | 10.31.1.128/25 |
| esx-vsan-vmk3 | /25 | vSAN VMkernel 接口和节点通信。 | 10.31.2.0/25 |
| 保留 | /27 | 保留的空间。 | 10.31.0.128/27 |
| 保留 | /27 | 保留的空间。 | 10.31.0.192/27 |
注释
对于 Azure VMware 解决方案第 2 代部署,除了在 SDDC 部署期间输入的 /22 外,客户现在还必须为 HCX 管理和上行链路分配两个额外的 /24 子网。 在 AVS 第 2 代中,仅需要 HCX 管理和 HCX 上行链路子网。 AVS Gen 2 不需要 vMotion 和复制网络。
Azure 虚拟网络上的 NSX 路由编程
在“avs-network-infra-gw”系统创建的子网上,使用地址空间并将其分配为辅助 IP 时,可将 Azure VMware 解决方案 Gen-2 NSX 集成到 Azure 中,从而实现 Azure 与 AVS 客户工作负荷之间的顺畅连接。 当 NSX Tier-0 根据用户设置(例如创建段、添加静态路由或使用 HCX MON 虚拟机)播发路由时,Azure VMware 解决方案控制平面会检查虚拟网络地址空间中是否存在路由前缀。 如果不存在,它将创建该地址空间,并将路由前缀作为次要 IP 地址添加到“avs-network-infra-gw”子网上。 对于 Tier-0 通告的 /32 路由(例如 HCX MON 路由),无需设置辅助 IP 地址,但数据平面会在内部进行配置,以确保能够连通 Azure VMware 解决方案 上的 /32 目标。
除了 NSX 路由的地址空间和子网更新外,客户还需要了解内部编程,尤其是在使用较少子网掩码时支持的缩放。 有关扩展规模方面的详细信息,请参阅 Azure VMware 解决方案 Gen 2 的路由体系结构
Azure 路由表 (UDR) 关联注意事项
Azure VMware 解决方案 Gen-2 包括两个内部体系结构,略有变化。 某些初始第 2 代私有云使用初始内部体系结构。 这些内容将通过计划内维护更新到当前架构,并与客户协调进行。 但是,与初始体系结构相比,当前体系结构的行为发生了变化,这可能会影响某些网络设计方面的考量,如下所述。
初始第 2 代私有云:
- Azure VNET 有两个名为“avs-nsx-gw”的基本网关子网,但没有当前体系结构中的“avs-network-infra-gw”子网。
- 所有 AVS NSX 段子网都在“avs-nsx-gw”子网下配置为附加 IPv4 地址,用于连接 Azure 与 NSX 工作负载。
- 对于从 AVS 发往 Azure VNET 及更远(例如本地)的流量,需要将其路由表 (UDR) 或 Azure NSG 应用于“avs-nsx-gw”子网。
当前第 2 代私有云:
请务必留意这一行为变化。
- 与初始体系结构类似,Azure VNET 将看到前缀为“avs-network-infra-gw”的附加子网,以及两个名称为“avs-nsx-gw”的基本网关子网。
- 现在,所有 AVS NSX 网段子网都在此子网下编程为辅助 IPv4 地址,用于将 Azure 连接到 NSX 工作负荷。 这不会更改客户网络连接。
- VNET 对等互连会将地址空间和子网都播发到对等互连 VNET,这与初始体系结构或 Azure 本机 VNET 同步,后者仅同步地址空间。
Gen-2 内部架构变更带来的设计注意事项
- 由于 VNET 对等互连同步行为发生更改,客户会在对等互连 VNET 中看到 AVS 子网的附加有效路由。
- 如果客户使用Azure路由表(UDR)通过防火墙或网络虚拟设备将流量从本地发送到 AVS,则应更新 UDR 以使用特定的 NSX 子网路由,而不是之前使用的广泛超级网络地址范围。 由于 Azure 路由的最长前缀匹配行为,因此需要这样,以便防止发往 AVS 的流量采用更多的特定 VNET 子网路由,从而绕过预期的防火墙。 否则,这可能会导致非对称路由,从而导致连接问题。
- 但是,针对从 AVS 发往 Azure VNET 以及更远端网络(例如本地环境)的流量,路由表(UDR)或 Azure NSG 仍将应用于“avs-nsx-gw”子网,而不是“avs-network-infra-gw”。 即使将 NSX 网段子网配置为辅助 IP,客户也不应在“avs-network-infra-gw”子网上使用路由表 (UDR)。
后续步骤
首先将 Azure VMware 解决方案服务主体配置为先决条件。 若要了解如何操作,请参阅 启用 Azure VMware 解决方案服务主体快速入门。
按照
创建 Azure VMware Gen 2 私有云 的教程