빠른 시작: 사용자 지정 가상 네트워크에서 프라이빗 AKS(Azure Kubernetes Service) 자동 클러스터 만들기

가상 네트워크 만들기

az network vnet create 명령을 사용하여 가상 네트워크를 만듭니다. 명령을 사용하여 API 서버 서브넷 및 클러스터 서브넷을 만듭니다 az network vnet subnet create .

AKS Automatic에서 사용자 지정 가상 네트워크를 사용하는 경우 API 서버 서브넷을 만들고 Microsoft.ContainerService/managedClusters 위임해야 합니다. 이 서브넷은 AKS 서비스 권한을 부여하여 API 서버 Pod 및 내부 부하 분산 장치를 해당 서브넷에 삽입합니다. 다른 워크로드에는 서브넷을 사용할 수 없지만 동일한 가상 네트워크에 있는 여러 AKS 클러스터에 사용할 수 있습니다. 지원되는 최소 API 서버 서브넷 크기는 /28입니다.

az network vnet create --name ${VNET_NAME} \
--resource-group ${RG_NAME} \
--location ${LOCATION} \
--address-prefixes 172.19.0.0/16

az network vnet subnet create --resource-group ${RG_NAME} \
--vnet-name ${VNET_NAME} \
--name apiServerSubnet \
--delegations Microsoft.ContainerService/managedClusters \
--address-prefixes 172.19.0.0/28

az network vnet subnet create --resource-group ${RG_NAME} \
--vnet-name ${VNET_NAME} \
--name clusterSubnet \
--address-prefixes 172.19.1.0/24

네트워크 보안 그룹 규칙

가상 네트워크 내의 모든 트래픽은 기본적으로 허용됩니다. 그러나 서로 다른 서브넷 간의 트래픽을 제한하는 NSG(네트워크 보안 그룹) 규칙을 추가한 경우 NSG 보안 규칙에서 다음 유형의 통신을 허용하는지 확인합니다.

관리 ID 만들기 및 가상 네트워크에 대한 권한 부여

az identity create 명령어를 사용하여 관리형 ID를 만들고 주체 ID를 검색합니다. 명령을 사용하여 가상 네트워크의 네트워크 기여자 역할을 관리 ID에 할당합니다 az role assignment create .

az identity create \
--resource-group ${RG_NAME} \
 --name ${IDENTITY_NAME} \
 --location ${LOCATION}

IDENTITY_PRINCIPAL_ID=$(az identity show --resource-group ${RG_NAME} --name ${IDENTITY_NAME} --query principalId -o tsv)

az role assignment create \
--scope "/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RG_NAME}/providers/Microsoft.Network/virtualNetworks/${VNET_NAME}" \
--role "Network Contributor" \
--assignee-object-id "${IDENTITY_PRINCIPAL_ID}" \
--assignee-principal-type ServicePrincipal

사용자 지정 가상 네트워크에서 프라이빗 AKS 자동 클러스터 만들기

프라이빗 AKS 자동 클러스터를 만들려면 az aks create 명령을 사용합니다. --enable-private-cluster 플래그의 사용을 유념하세요.

az aks create \
--resource-group ${RG_NAME} \
--name ${CLUSTER_NAME} \
--location ${LOCATION} \
--apiserver-subnet-id "/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RG_NAME}/providers/Microsoft.Network/virtualNetworks/${VNET_NAME}/subnets/apiServerSubnet" \
--vnet-subnet-id "/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RG_NAME}/providers/Microsoft.Network/virtualNetworks/${VNET_NAME}/subnets/clusterSubnet" \
--assign-identity "/subscriptions/${SUBSCRIPTION_ID}/resourcegroups/${RG_NAME}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/${IDENTITY_NAME}" \
--sku automatic \
--enable-private-cluster \
--no-ssh-key

몇 분 후 명령이 완료되면 클러스터에 대한 JSON 형식 정보가 반환됩니다.

클러스터에 연결

AKS 자동 클러스터가 프라이빗 클러스터로 만들어지면 API 서버 엔드포인트에 공용 IP 주소가 없습니다. 예를 들어 kubectl 통해 API 서버를 관리하려면 클러스터의 Azure 가상 네트워크에 액세스할 수 있는 컴퓨터를 통해 연결해야 합니다. 프라이빗 클러스터에 대한 네트워크 연결을 설정할 경우, 몇 가지 옵션이 있습니다.

• az vm create 명령어에 --vnet-name 플래그를 사용하여 AKS 자동 클러스터와 동일한 가상 네트워크에 가상 머신을 만듭니다.
• 별도의 가상 네트워크에서 가상 머신을 사용하고 가상 네트워크 피어링을 설정합니다.
• Express Route 또는 VPN 연결을 사용합니다.
• 프라이빗 엔드포인트 연결을 사용합니다.

AKS 클러스터와 동일한 가상 네트워크에 가상 머신을 만드는 것이 가장 쉬운 옵션입니다. ExpressRoute 및 VPN은 비용을 추가하고 추가 네트워킹 복잡성이 필요합니다. 가상 네트워크 피어링을 사용하려면 중첩되는 범위가 없도록 네트워크 CIDR 범위를 계획해야 합니다. 자세한 내용은 프라이빗 클러스터에 연결하기 위한 옵션을 참조하세요.

Kubernetes 클러스터를 관리하려면 Kubernetes 명령줄 클라이언트인 kubectl을 사용합니다. Azure Cloud Shell 사용하는 경우 kubectl 이미 설치되어 있습니다. 로컬로 설치 kubectl 하려면 az aks install-cli 명령을 실행합니다. AKS 자동 클러스터는 Microsoft Entra ID로 Kubernetes 역할 기반 액세스 제어 (RBAC)에 대해 구성됩니다.

Azure CLI을 사용하여 클러스터를 생성할 때, 사용자는 에 대해 Azure Kubernetes Service RBAC Cluster Admin이 할당됩니다.

kubectl 명령을 사용하여 Kubernetes 클러스터에 연결하도록 을 구성합니다. 이 명령은 자격 증명을 다운로드하고 이를 사용하도록 Kubernetes CLI를 구성합니다.

az aks get-credentials --resource-group ${RG_NAME} --name ${CLUSTER_NAME}

kubectl get 명령을 사용하여 클러스터에 대한 연결을 확인합니다. 이 명령은 클러스터 노드 목록을 반환합니다.

kubectl get nodes

다음 샘플 출력은 로그인하라는 메시지가 표시되는 방법을 보여줍니다.

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code AAAAAAAAA to authenticate.

로그인한 후 다음 샘플 출력은 관리되는 시스템 노드 풀을 보여 줍니다. 노드 상태가 준비인지 확인합니다.

NAME                                STATUS   ROLES   AGE     VERSION
aks-nodepool1-13213685-vmss000000   Ready    agent   2m26s   v1.28.5
aks-nodepool1-13213685-vmss000001   Ready    agent   2m26s   v1.28.5
aks-nodepool1-13213685-vmss000002   Ready    agent   2m26s   v1.28.5

가상 네트워크 만들기

이 Bicep 파일은 가상 네트워크를 정의합니다.

@description('The location of the managed cluster resource.')
param location string = resourceGroup().location

@description('The name of the virtual network.')
param vnetName string = 'aksAutomaticVnet'

@description('The address prefix of the virtual network.')
param addressPrefix string = '172.19.0.0/16'

@description('The name of the API server subnet.')
param apiServerSubnetName string = 'apiServerSubnet'

@description('The subnet prefix of the API server subnet.')
param apiServerSubnetPrefix string = '172.19.0.0/28'

@description('The name of the cluster subnet.')
param clusterSubnetName string = 'clusterSubnet'

@description('The subnet prefix of the cluster subnet.')
param clusterSubnetPrefix string = '172.19.1.0/24'

// Virtual network with an API server subnet and a cluster subnet
resource virtualNetwork 'Microsoft.Network/virtualNetworks@2023-09-01' = {
    name: vnetName
    location: location
    properties: {
        addressSpace: {
            addressPrefixes: [ addressPrefix ]
        }
        subnets: [
            {
                name: apiServerSubnetName
                properties: {
                    addressPrefix: apiServerSubnetPrefix
                }
            }
            {
                name: clusterSubnetName
                properties: {
                    addressPrefix: clusterSubnetPrefix
                }
            }
        ]
    }
}

output apiServerSubnetId string = resourceId('Microsoft.Network/virtualNetworks/subnets', vnetName, apiServerSubnetName)
output clusterSubnetId string = resourceId('Microsoft.Network/virtualNetworks/subnets', vnetName, clusterSubnetName)

Bicep 파일 virtualNetwork.bicep을 로컬 컴퓨터에 저장합니다.

Azure CLI 사용하여 Bicep 파일을 배포합니다.

az deployment group create --resource-group <resource-group> --template-file virtualNetwork.bicep

가상 네트워크 내의 모든 트래픽은 기본적으로 허용됩니다. 그러나 서로 다른 서브넷 간의 트래픽을 제한하는 NSG(네트워크 보안 그룹) 규칙을 추가한 경우 NSG 보안 규칙에서 다음 유형의 통신을 허용하는지 확인합니다.

관리 ID 만들기

이 Bicep 파일은 사용자가 할당한 관리 ID를 정의합니다.

param location string = resourceGroup().location
param uamiName string = 'aksAutomaticUAMI'

resource userAssignedManagedIdentity 'Microsoft.ManagedIdentity/userAssignedIdentities@2023-01-31' = {
  name: uamiName
  location: location
}

output uamiId string = userAssignedManagedIdentity.id
output uamiPrincipalId string = userAssignedManagedIdentity.properties.principalId
output uamiClientId string = userAssignedManagedIdentity.properties.clientId

Bicep 파일 uami.bicep을 로컬 컴퓨터에 저장하세요.

Azure CLI 사용하여 Bicep 파일을 배포합니다.

az deployment group create --resource-group <resource-group> --template-file uami.bicep

가상 네트워크를 통해 네트워크 기여자 역할 할당

이 Bicep 파일은 가상 네트워크를 통해 역할 할당을 정의합니다.

@description('The name of the virtual network.')
param vnetName string = 'aksAutomaticVnet'

@description('The principal ID of the user assigned managed identity.')
param uamiPrincipalId string

// Get a reference to the virtual network
resource virtualNetwork 'Microsoft.Network/virtualNetworks@2023-09-01' existing ={
  name: vnetName
}

// Assign the Network Contributor role to the user assigned managed identity on the virtual network
// '4d97b98b-1d4f-4787-a291-c67834d212e7' is the built-in Network Contributor role definition
// See: https://dotnet.territoriali.olinfo.it/en-us/azure/role-based-access-control/built-in-roles/networking#network-contributor
resource networkContributorRoleAssignmentToVirtualNetwork 'Microsoft.Authorization/roleAssignments@2022-04-01' = {
  name: guid(uamiPrincipalId, '4d97b98b-1d4f-4787-a291-c67834d212e7', resourceGroup().id, virtualNetwork.name)
  scope: virtualNetwork
  properties: {
      roleDefinitionId: resourceId('Microsoft.Authorization/roleDefinitions', '4d97b98b-1d4f-4787-a291-c67834d212e7')
      principalId: uamiPrincipalId
  }
}

Bicep 파일 roleAssignments.bicep을 로컬 컴퓨터에 저장하세요.

Azure CLI 사용하여 Bicep 파일을 배포합니다. 사용자 할당 ID 보안 주체 ID를 제공해야 합니다.

az deployment group create --resource-group <resource-group> --template-file roleAssignments.bicep \
--parameters uamiPrincipalId=<user assigned identity prinicipal id>

사용자 지정 가상 네트워크에서 프라이빗 AKS 자동 클러스터 만들기

이 Bicep 파일은 AKS 자동 클러스터를 정의합니다.

@description('The name of the managed cluster resource.')
param clusterName string = 'aksAutomaticCluster'

@description('The location of the managed cluster resource.')
param location string = resourceGroup().location

@description('The resource ID of the API server subnet.')
param apiServerSubnetId string

@description('The resource ID of the cluster subnet.')
param clusterSubnetId string

@description('The resource ID of the user assigned managed identity.')
param uamiId string

/// Create the private AKS Automatic cluster using the custom virtual network and user assigned managed identity
resource aks 'Microsoft.ContainerService/managedClusters@2024-03-02-preview' = {
  name: clusterName
  location: location  
  sku: {
    name: 'Automatic'
  }
  properties: {
    agentPoolProfiles: [
      {
        name: 'systempool'
        mode: 'System'
          count: 3
        vnetSubnetID: clusterSubnetId
      }
    ]
    apiServerAccessProfile: {
        subnetId: apiServerSubnetId
        enablePrivateCluster: true
    }
    networkProfile: {
      outboundType: 'loadBalancer'
    }
  }
  identity: {
    type: 'UserAssigned'
    userAssignedIdentities: {
      '${uamiId}': {}
    }
  }
}

Bicep 파일 aks.bicep을(를) 로컬 컴퓨터에 저장합니다.

Azure CLI 사용하여 Bicep 파일을 배포합니다. API 서버 서브넷 리소스 ID, 클러스터 서브넷 리소스 ID 및 사용자 할당 ID 보안 주체 ID를 제공해야 합니다.

az deployment group create --resource-group <resource-group> --template-file aks.bicep \
--parameters apiServerSubnetId=<API server subnet resource id> \
--parameters clusterSubnetId=<cluster subnet resource id> \
--parameters uamiPrincipalId=<user assigned identity prinicipal id>

클러스터에 연결

AKS 자동 클러스터가 프라이빗 클러스터로 만들어지면 API 서버 엔드포인트에 공용 IP 주소가 없습니다. 예를 들어 kubectl 통해 API 서버를 관리하려면 클러스터의 Azure 가상 네트워크에 액세스할 수 있는 컴퓨터를 통해 연결해야 합니다. 프라이빗 클러스터에 대한 네트워크 연결을 설정할 경우, 몇 가지 옵션이 있습니다.

• az vm create 명령어에 --vnet-name 플래그를 사용하여 AKS 자동 클러스터와 동일한 가상 네트워크에 가상 머신을 만듭니다.
• 별도의 가상 네트워크에서 가상 머신을 사용하고 가상 네트워크 피어링을 설정합니다.
• Express Route 또는 VPN 연결을 사용합니다.
• 프라이빗 엔드포인트 연결을 사용합니다.

AKS 클러스터와 동일한 가상 네트워크에 가상 머신을 만드는 것이 가장 쉬운 옵션입니다. Express Route 및 VPN은 비용을 증가시키며 추가적인 네트워킹 복잡성을 요구합니다. 가상 네트워크 피어링을 사용하려면 중첩되는 범위가 없도록 네트워크 CIDR 범위를 계획해야 합니다. 자세한 내용은 프라이빗 클러스터에 연결하기 위한 옵션을 참조하세요.

Kubernetes 클러스터를 관리하려면 Kubernetes 명령줄 클라이언트인 kubectl을 사용합니다. Azure Cloud Shell 사용하는 경우 kubectl 이미 설치되어 있습니다. 로컬로 설치 kubectl 하려면 az aks install-cli 명령을 실행합니다. AKS 자동 클러스터는 Microsoft Entra ID로 Kubernetes 역할 기반 액세스 제어 (RBAC)에 대해 구성됩니다.

kubectl 명령을 사용하여 Kubernetes 클러스터에 연결하도록 을 구성합니다. 이 명령은 자격 증명을 다운로드하고 이를 사용하도록 Kubernetes CLI를 구성합니다.

az aks get-credentials --resource-group <resource-group> --name <cluster-name>

kubectl get 명령을 사용하여 클러스터에 대한 연결을 확인합니다. 이 명령은 클러스터 노드 목록을 반환합니다.

kubectl get nodes

다음 샘플 출력은 로그인하라는 메시지가 표시되는 방법을 보여줍니다.

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code AAAAAAAAA to authenticate.

로그인한 후 다음 샘플 출력은 관리되는 시스템 노드 풀을 보여 줍니다. 노드 상태가 준비인지 확인합니다.

NAME                                STATUS   ROLES   AGE     VERSION
aks-nodepool1-13213685-vmss000000   Ready    agent   2m26s   v1.28.5
aks-nodepool1-13213685-vmss000001   Ready    agent   2m26s   v1.28.5
aks-nodepool1-13213685-vmss000002   Ready    agent   2m26s   v1.28.5