Azure OpenAI 보안 구성 요소 시작

• 패키지와 Responses API를 사용하여 사용자 메시지에 대한 응답을 생성하는 Python Quart 앱입니다.
• ReadableStream을 통해 JSON 선을 사용하여 백 엔드에서 응답을 스트리밍하는 기본 HTML/JavaScript 프런트 엔드입니다.

• Azure.AI.OpenAI NuGet 패키지를 사용하는 Blazor 웹앱으로, 사용자 메시지에 대한 응답을 생성합니다.

• OpenAI npm 패키지를 사용하여 사용자 메시지에 대한 응답을 생성하는 TypeScript 웹앱입니다.

샘플 리포지토리의 비용에 대해 자세히 알아봅니다.

샘플 리포지토리의 cost에 대해 자세히 알아보십시오.

샘플 리포지토리에서 비용에 대해 자세히 알아보세요.

샘플 코드 탐색

OpenAI 및 Azure OpenAI 서비스는 공용 Python 클라이언트 라이브러리를 사용합니다. 그러나 Azure OpenAI 엔드포인트를 사용할 때는 작은 코드 변경이 필요합니다. 이 샘플에서 Microsoft Entra ID 사용하여 키 없는 인증을 구성하고 Azure OpenAI와 통신하는 방법을 살펴보겠습니다.

관리 ID를 사용하여 인증 구성

이 샘플에서 파일은 src/quartapp/chat.py 키 없는 인증 구성으로 시작합니다.

다음 코드 조각은 azure.identity.aio 모듈을 사용하여 비동기 Microsoft Entra 인증 흐름을 만듭니다.

다음 코드 조각은 환경 변수를 사용하여 AZURE_CLIENT_IDazd 사용자 할당 관리 ID를 통해 인증할 수 있는 ManagedIdentityCredential 인스턴스를 만듭니다.

user_assigned_managed_identity_credential = ManagedIdentityCredential(client_id=os.getenv("AZURE_CLIENT_ID")) 

다음 코드 조각은 AZURE_TENANT_IDazd 리소스 환경 변수를 사용하여 현재 Microsoft Entra 테넌트에서 인증할 수 있는 AzureDeveloperCliCredential 인스턴스를 만듭니다.

azure_dev_cli_credential = AzureDeveloperCliCredential(tenant_id=os.getenv("AZURE_TENANT_ID"), process_timeout=60)  

Azure Id 클라이언트 라이브러리는 Azure Core 라이브러리의 TokenCredential 프로토콜을 구현하는 공용 클래스인 자격 증명을 제공합니다. 자격 증명은 Microsoft Entra ID 액세스 토큰을 획득하기 위한 고유한 인증 흐름을 나타냅니다. 이러한 자격 증명을 함께 연결하여 정렬된 일련의 인증 메커니즘을 구성할 수 있습니다.

다음 코드 조각은 ChainedTokenCredential와 ManagedIdentityCredential를 사용하여 AzureDeveloperCliCredential를 만듭니다.

• ManagedIdentityCredential Azure Functions, Azure App Service 및 Azure Container Apps 사용됩니다. 사용자 할당 관리 ID는 client_id을(를) ManagedIdentityCredential에 전달하여 지원됩니다.
• 로컬 AzureDeveloperCliCredential 개발에 사용됩니다. 이전에 사용할 Microsoft Entra 테넌트에 따라 설정되었습니다.

azure_credential = ChainedTokenCredential(
    user_assigned_managed_identity_credential,
    azure_dev_cli_credential
)

다음 코드 조각은 선택한 Azure 자격 증명을 기반으로 Azure OpenAI 토큰 공급자를 가져옵니다. 이 값은 두 개의 인수를 사용하여 azure.identity.aio.get_bearer_token_provider 호출하여 가져옵니다.

• azure_credential ChainedTokenCredential: 요청을 인증하기 위해 이전에 만든 인스턴스입니다.

• https://cognitiveservices.azure.com/.default: 하나 이상의 전달자 토큰 범위가 필요합니다. 이 경우 Azure Cognitive Services 엔드포인트입니다.

token_provider = get_bearer_token_provider(
    azure_credential, "https://cognitiveservices.azure.com/.default"
)

다음 줄에서는 프로비전 중에 설정된 필수 AZURE_OPENAI_ENDPOINT 및 AZURE_OPENAI_CHAT_DEPLOYMENT와 azd 환경 변수를 확인합니다. 값이 없으면 오류가 발생합니다.

openai_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT")
if not openai_endpoint:
    raise ValueError("AZURE_OPENAI_ENDPOINT is required for Azure OpenAI")
if not os.getenv("AZURE_OPENAI_CHAT_DEPLOYMENT"):
    raise ValueError("AZURE_OPENAI_CHAT_DEPLOYMENT is required for Azure OpenAI")

이 코드 조각은 Azure /openai/v1/ 엔드포인트에 대해 OpenAI 클라이언트를 초기화하고 토큰 공급자를 api_key 전달합니다. v1 엔드포인트에는 `api_version`가 필요하지 않습니다.

bp.openai_client = AsyncOpenAI(
    base_url=f"{openai_endpoint.rstrip('/')}/openai/v1/",
    api_key=token_provider,
)

다음 줄에서는 API 호출에 사용할 Azure OpenAI 모델 배포 이름을 설정합니다.

bp.openai_model = os.getenv("AZURE_OPENAI_CHAT_DEPLOYMENT")

이 함수가 완료되면 클라이언트가 올바르게 구성되고 Azure OpenAI 서비스와 상호 작용할 준비가 됩니다.

OpenAI 응답 API를 사용하여 응답 스트리밍

경로 response_stream 에서 응답 API 스트리밍 호출을 처리합니다. 프런트 엔드는 '응답' 형식의 input 항목을 직접 보내고, 백엔드는 그것들을 responses.stream()로 전달합니다.

async def response_stream():
    try:
        async with bp.openai_client.responses.stream(
            model=bp.openai_model,
            input=request_input,
            store=False,
        ) as openai_stream:
            async for event in openai_stream:
                yield json.dumps(event.model_dump(), ensure_ascii=False) + "\n"
    except Exception as e:
        current_app.logger.exception("Responses stream failed")
        yield json.dumps({"error": str(e)}, ensure_ascii=False) + "\n"

샘플 코드 탐색

.NET 애플리케이션은 Azure OpenAI 서비스와 통신하기 위해 Azure.AI.OpenAI 클라이언트 라이브러리에 의존하며, 이 클라이언트 라이브러리는 OpenAI 라이브러리에 종속됩니다. 샘플 앱은 Azure OpenAI와 통신하기 위해 Microsoft Entra ID 사용하여 키 없는 인증을 구성합니다.

인증 및 서비스 등록 구성

이 샘플에서는 program.cs 파일에서 키리스 인증이 구성됩니다. 다음 코드 조각은 AZURE_CLIENT_ID 환경 변수를 사용하여 사용자가 할당한 관리 ID를 통해 인증할 수 있는 ManagedIdentityCredentialazd

var userAssignedIdentityCredential = 
    new ManagedIdentityCredential(builder.Configuration.GetValue<string>("AZURE_CLIENT_ID"));

다음 코드 조각에서는 AZURE_TENANT_ID에 의해 설정된 azd 환경 변수를 사용하여 AzureDeveloperCliCredential 인스턴스를 생성하고, 에 로그인된 계정을 통해 로컬에서 인증할 수 있습니다.

var azureDevCliCredential = new AzureDeveloperCliCredential(
    new AzureDeveloperCliCredentialOptions()
    { 
        TenantId = builder.Configuration.GetValue<string>("AZURE_TENANT_ID") 
    });

Azure Id 클라이언트 라이브러리는 Azure Core 라이브러리의 TokenCredential 프로토콜을 구현하는 자격 증명 클래스를 제공합니다. 자격 증명은 Microsoft Entra ID 액세스 토큰을 획득하기 위한 고유한 인증 흐름을 나타냅니다. 이러한 자격 증명은 ChainedTokenCredential를 사용하여 체인으로 연결됨으로써 시도할 정렬된 일련의 인증 메커니즘을 구성할 수 있습니다.

다음 코드 조각은 AzureOpenAIClient을 종속성 주입을 위해 등록하고, ChainedTokenCredential와 ManagedIdentityCredential를 사용하여 AzureDeveloperCliCredential을 생성합니다.

• ManagedIdentityCredential Azure Functions, Azure App Service 및 Azure Container Apps 사용됩니다. 사용자 할당 관리 ID는 AZURE_CLIENT_ID를 통해 ManagedIdentityCredential에 제공된 ID를 사용하여 지원됩니다.
• 로컬 AzureDeveloperCliCredential 개발에 사용됩니다. 이전에 사용할 Microsoft Entra 테넌트에 따라 설정되었습니다.

builder.Services.AddAzureClients(
    clientBuilder => {
        clientBuilder.AddClient<AzureOpenAIClient, AzureOpenAIClientOptions>((options, _, _)
            => new AzureOpenAIClient(
                new Uri(endpoint),
                new ChainedTokenCredential(
                    userAssignedIdentityCredential, azureDevCliCredential), options));
    });

Azure OpenAI 클라이언트를 사용하여 채팅 완료 가져오기

Blazor 웹앱은 등록된 AzureOpenAIClient를 Home.Razor 구성 요소 맨 위에 삽입합니다.

@inject AzureOpenAIClient azureOpenAIClient

사용자가 양식을 제출하면, AzureOpenAIClient는 사용자의 프롬프트를 OpenAI 모델로 보내어 완료를 생성합니다.

ChatClient chatClient = azureOpenAIClient.GetChatClient("gpt-4o-mini");

messages.Add(new UserChatMessage(model.UserMessage));

ChatCompletion completion = await chatClient.CompleteChatAsync(messages);
    messages.Add(new SystemChatMessage(completion.Content[0].Text));

샘플 코드 탐색

OpenAI 및 Azure OpenAI Service openai(일반적인 JavaScript 클라이언트 라이브러리)를 사용하지만 Azure OpenAI 엔드포인트를 사용할 때는 작은 코드 변경이 필요합니다. 이 샘플에서 Microsoft Entra ID 사용하여 키 없는 인증을 구성하고 Azure OpenAI와 통신하는 방법을 살펴보겠습니다.

각 환경에 대한 키 없는 인증

Azure ID 클라이언트 라이브러리는 Azure Core 라이브러리의 TokenCredential 프로토콜을 구현하는 자격 증명 클래스를 제공합니다. 자격 증명은 Microsoft Entra ID 액세스 토큰을 획득하기 위한 고유한 인증 흐름을 나타냅니다. 이러한 자격 증명은 ChainedTokenCredential 을 사용하여 함께 연결하여 정렬된 일련의 인증 메커니즘을 구성할 수 있습니다. 이렇게 하면 프로덕션 및 로컬 개발 환경 모두에서 동일한 코드를 배포할 수 있습니다.

관리 ID를 사용하여 인증 구성

이 샘플에서 ./src/azure-authentication.ts는 Azure OpenAI에 키 없는 인증을 제공하기 위해 여러 가지 함수를 제공합니다.

첫 번째 함수 getChainedCredential() 체인에 있는 첫 번째 유효한 Azure 자격 증명을 반환합니다.

function getChainedCredential() {

    return new ChainedTokenCredential(
        new ManagedIdentityCredential(process.env.AZURE_CLIENT_ID!), 
        new AzureDeveloperCliCredential({
            tenantId: process.env.AZURE_TENANT_ID! ? process.env.AZURE_TENANT_ID! : undefined
          })
    );
}

• ManagedIdentityCredential 이 먼저 시도됩니다. 프로덕션 런타임에서 AZURE_CLIENT_ID 환경 변수로 설정되며 사용자 할당 관리 ID를 통해 인증할 수 있습니다.
• AzureDeveloperCliCredential 은 두 번째로 시도됩니다. 개발자가 azd auth login 사용하여 Azure Developer CLI에 로그인할 때 설정됩니다.

OpenAI에 대한 전달자 토큰 가져오기

./src/azure-authentication.ts 두 번째 함수는 getTokenProvider()이며, Azure Cognitive Services 엔드포인트로 범위가 지정된 전달자 토큰을 제공하는 콜백을 반환합니다.

function getTokenProvider(): () => Promise<string> {
    const credential  = getChainedCredential();
    const scope = "https://cognitiveservices.azure.com/.default";
    return getBearerTokenProvider(credential, scope);
}

위의 코드 조각에서는 getBearerTokenProvider을 사용하여 자격 증명 및 범위를 처리한 후, 베어러 토큰을 제공하는 콜백을 반환합니다.

인증된 Azure OpenAI 클라이언트 만들기

./src/azure-authentication.ts 세 번째 함수는 Azure OpenAI 클라이언트를 반환하는 getOpenAiClient().

export function getOpenAiClient(): AzureOpenAI | undefined{
    try {

        if (!process.env.AZURE_OPENAI_ENDPOINT) {
            throw new Error("AZURE_OPENAI_ENDPOINT is required for Azure OpenAI");
        }
        if (!process.env.AZURE_OPENAI_CHAT_DEPLOYMENT) {
            throw new Error("AZURE_OPENAI_CHAT_DEPLOYMENT is required for Azure OpenAI");
        }

        const options = { 
            azureADTokenProvider: getTokenProvider(), 
            deployment: process.env.AZURE_OPENAI_CHAT_DEPLOYMENT!, 
            apiVersion: process.env.AZURE_OPENAI_API_VERSION! || "2024-02-15-preview",
            endpoint: process.env.AZURE_OPENAI_ENDPOINT!
        }

        // Create the Asynchronous Azure OpenAI client
        return new AzureOpenAI (options);

    } catch (error) {
        console.error('Error getting Azure OpenAI client: ', error);
    }
}

이 코드는 올바르게 범위가 지정된 토큰을 포함하여 옵션을 사용하고 클라이언트를 AzureOpenAI 만듭니다.

Azure OpenAI를 사용하여 채팅 답변 스트리밍

./src/openai-chat-api.ts 다음 Fastify 경로 처리기를 사용하여 메시지를 Azure OpenAI에 보내고 응답을 스트리밍합니다.

import { FastifyReply, FastifyRequest } from 'fastify';
import { AzureOpenAI } from "openai";
import { getOpenAiClient } from './azure-authentication.js';
import { ChatCompletionChunk, ChatCompletionMessageParam } from 'openai/resources/chat/completions';

interface ChatRequestBody {
    messages: ChatCompletionMessageParam [];
  }

export async function chatRoute (request: FastifyRequest<{ Body: ChatRequestBody }>, reply: FastifyReply) {

    const requestMessages: ChatCompletionMessageParam[] = request?.body?.messages;
    const openaiClient: AzureOpenAI | undefined = getOpenAiClient();

    if (!openaiClient) {
      throw new Error("Azure OpenAI client is not configured");
    }

    const allMessages = [
      { role: "system", content: "You are a helpful assistant."},
      ...requestMessages
    ] as ChatCompletionMessageParam [];

    const chatCompletionChunks = await openaiClient.chat.completions.create({
      // Azure Open AI takes the deployment name as the model name
      model: process.env.AZURE_OPENAI_CHAT_DEPLOYMENT_MODEL || "gpt-4o-mini",
      messages: allMessages,
      stream: true

    })
    reply.raw.setHeader('Content-Type', 'text/html; charset=utf-8');
    reply.raw.setHeader('Cache-Control', 'no-cache');
    reply.raw.setHeader('Connection', 'keep-alive');
    reply.raw.flushHeaders();

    for await (const chunk of chatCompletionChunks as AsyncIterable<ChatCompletionChunk>) {
      for (const choice of chunk.choices) {
        reply.raw.write(JSON.stringify(choice) + "\n")
      }
    }

    reply.raw.end()

}

이 함수는 이전 메시지를 포함하여 채팅 대화를 가져오고 Azure OpenAI로 보냅니다. 스트림 청크가 Azure OpenAI에서 반환되면 클라이언트로 전송됩니다.

문제가 해결되지 않으면 리포지토리의 Issues에 문제를 기록합니다.

다음 단계

문제가 해결되지 않으면 리포지토리의 Issues에 문제를 기록합니다.

문제가 해결되지 않으면 리포지토리의 Issues에 문제를 기록합니다.