LLM tool

Warning

프롬프트 흐름 기능 개발은 2026년 4월 20일에 종료되었습니다. 이 기능은 2027년 4월 20일에 완전히 사용 중지됩니다. 사용 중지 날짜에 프롬프트 흐름이 읽기 전용 모드로 전환됩니다. 기존 흐름은 해당 날짜까지 계속 작동합니다.

사용 작업: 프롬프트 흐름 워크로드를 2027년 4월 20일 이전에 Microsoft 에이전트 프레임워크 마이그레이션합니다.

프롬프트 흐름의 LLM(대규모 언어 모델) 도구를 사용하면 OpenAI 같은 널리 사용되는 큰 언어 모델을 사용할 수 있습니다. Azure Microsoft Foundry 모델의 OpenAI 또는 자연어 처리를 위해 Azure AI 모델 유추 API에서 지원하는 언어 모델입니다.

프롬프트 흐름은 다음과 같은 여러 가지 큰 언어 모델 API를 제공합니다.

  • 완료: OpenAI의 완성 모델은 제공된 프롬프트에 따라 텍스트를 생성합니다.
  • Chat: OpenAI의 채팅 모델 및 Azure AI 채팅 모델은 텍스트 기반 입력 및 응답과 대화형 대화를 용이하게 합니다.

Embeddings API는 LLM 도구에서 사용할 수 없습니다. embedding 도구를 사용하여 OpenAI 또는 Azure OpenAI를 사용하여 포함을 생성합니다.

Note

프롬프트 흐름의 LLM 도구는 추론 모델(예: OpenAI o1 또는 o3)을 지원하지 않습니다. 추론 모델 통합을 위해 Python 도구를 사용하여 모델 API를 직접 호출합니다. 자세한 내용은 Python 도구에서 추론 모델 호출 참조하세요.

Prerequisites

OpenAI 리소스 만들기:

  • OpenAI:

  • Azure OpenAI:

    • 따라 Azure OpenAI 리소스를 만듭니다. Azure OpenAI 리소스 그룹 이름에 ASCII 문자만 사용합니다. 프롬프트 흐름은 리소스 그룹 이름에서 ASCII가 아닌 문자를 지원하지 않습니다.

  • 표준 배포에 배포된 모델:

Connections

프롬프트 흐름에서 프로비전된 리소스에 대한 연결을 설정합니다.

Type Name API key API type API version
OpenAI Required Required - -
OpenAI Azure - API 키 Required Required Required Required
Azure OpenAI - Microsoft Entra ID Required - - Required
Serverless model Required Required - -

Tip

Inputs

다음 섹션에서는 다양한 입력을 보여 줍니다.

Text completion

Name Type Description Required
prompt string 언어 모델에 대한 텍스트 프롬프트입니다. Yes
model, deployment_name string 사용할 언어 모델입니다. Yes
max_tokens integer 완료 시 생성할 최대 토큰 수입니다. 기본값은 16입니다. No
temperature float 생성된 텍스트의 임의성입니다. 기본값은 1입니다. No
stop list 생성된 텍스트에 대한 시퀀스를 중지합니다. 기본값은 null입니다. No
suffix string 완료 끝에 텍스트가 추가되었습니다. No
top_p float 생성된 토큰에서 상위 선택 항목을 사용할 확률입니다. 기본값은 1입니다. No
logprobs integer 생성할 로그 확률의 수입니다. 기본값은 null입니다. No
echo boolean 응답에서 프롬프트를 다시 에코할지 여부를 나타내는 값입니다. 기본값은 false입니다. No
presence_penalty float 반복 구에 대한 모델의 동작을 제어하는 값입니다. 기본값은 0입니다. No
frequency_penalty float 희귀 구를 생성하기 위한 모델의 동작을 제어하는 값입니다. 기본값은 0입니다. No
best_of integer 생성할 최상의 완료 수입니다. 기본값은 1입니다. No
logit_bias dictionary 언어 모델에 대한 로그 바이어스입니다. 기본값은 빈 사전입니다. No

Chat

Name Type Description Required
prompt string 언어 모델이 응답에 사용하는 텍스트 프롬프트입니다. Yes
model, deployment_name string 사용할 언어 모델입니다. 모델이 표준 배포에 배포된 경우에는 이 매개 변수가 필요하지 않습니다. Yes*
max_tokens integer 응답에서 생성할 최대 토큰 수입니다. 기본값은 inf입니다. No
temperature float 생성된 텍스트의 임의성입니다. 기본값은 1입니다. No
stop list 생성된 텍스트에 대한 시퀀스를 중지합니다. 기본값은 null입니다. No
top_p float 생성된 토큰에서 상위 선택 항목을 사용할 확률입니다. 기본값은 1입니다. No
presence_penalty float 반복 구에 대한 모델의 동작을 제어하는 값입니다. 기본값은 0입니다. No
frequency_penalty float 희귀 구를 생성하기 위한 모델의 동작을 제어하는 값입니다. 기본값은 0입니다. No
logit_bias dictionary 언어 모델에 대한 로그 바이어스입니다. 기본값은 빈 사전입니다. No

Outputs

API Return type Description
Completion string 하나의 예측 완료 텍스트
Chat string 대화의 한 응답 텍스트

LLM 도구 사용

  1. OpenAI 리소스 또는 표준 배포에 대한 연결을 설정하고 선택합니다.
  2. 큰 언어 모델 API 및 해당 매개 변수를 구성합니다.
  3. 지침으로 프롬프트를 준비 합니다.
  • Last updated on