다음에만 적용됩니다:
Foundry(클래식) 포털. 이 문서는 새 Foundry 포털에서 사용할 수 없습니다.
새 포털에 대해 자세히 알아봅니다.
참고
이 문서의 링크는 현재 보고 있는 Foundry(클래식) 설명서 대신 새 Microsoft Foundry 설명서의 콘텐츠를 열 수 있습니다.
이 문서에서는 배포를 만드는 데 사용된 것과 다른 프로젝트 또는 허브에서 기존 서버리스 API를 구성하는 방법에 대해 알아봅니다.
중요
미리 보기에 있는 모델은 모델 카탈로그의 모델 카드에서 미리 보기 로 표시됩니다.
모델 카탈로그의 특정 모델은 서버리스 API로 배포할 수 있습니다. 이러한 종류의 배포는 조직이 필요로 하는 엔터프라이즈 보안 및 규정 준수를 유지하면서 모델을 구독에서 호스팅하지 않고도 API로 사용하는 방법을 제공합니다. 이 배포 옵션에는 구독의 할당량이 필요하지 않습니다.
배포를 만드는 데 사용된 것과 다른 프로젝트 또는 허브에서 서버리스 API 엔드포인트를 사용해야 하는 경우 다음과 같은 상황에서 발생할 수 있습니다.
- 지정된 프로젝트 또는 허브에서 배포를 중앙화하고 조직의 다른 프로젝트 또는 허브에서 이를 활용하려고 합니다.
- 해당 모델에 대한 서버리스 배포를 사용할 수 있는 특정 Azure 지역의 허브에 모델을 배포해야 합니다. 그러나 서버리스 배포를 특정 모델에 사용할 수 없는 다른 지역에서 사용해야 합니다.
필수 구성 요소
유효한 결제 방법이 있는 Azure 구독입니다. 무료 또는 평가판 Azure 구독은 작동하지 않습니다. Azure 구독이 없는 경우 시작하려면 유료 Azure 계정을 만드세요.
Microsoft Foundry 허브는 허브 기반 프로젝트를 사용하는 경우에 해당합니다. Foundry 프로젝트는 허브를 사용하지 않습니다. 자세한 내용은 Project 형식 참조하세요.
없는 경우 허브 기반 프로젝트를 만듭니다.
서버리스 API에 배포된 모델입니다. 이 문서에서는 이전에 Meta-Llama-3-8B-Instruct 모델을 배포했다고 가정합니다. 이 모델을 서버리스 API로 배포하는 방법을 알아보려면 서버리스 API로 모델 배포를 참조하세요.
Foundry를 사용하려면 다음 소프트웨어를 설치해야 합니다.
호환되는 웹 브라우저를 사용하여 Foundry를 탐색할 수 있습니다.
서버리스 API 엔드포인트 연결 만들기
다음 단계에 따라 연결을 만듭니다.
엔드포인트가 배포된 프로젝트 또는 허브에 연결합니다.
연결하려는 엔드포인트에 대한 엔드포인트의 URL 및 자격 증명을 가져옵니다. 이 예제에서는 엔드포인트 이름 meta-llama3-8b-qwerty에 대한 세부 정보를 가져옵니다.
Foundry 포털에 있는 프로젝트의 왼쪽 사이드바에서 내 자산>모델 + 엔드포인트 로 이동하여 프로젝트의 배포 목록을 확인합니다.
연결하려는 배포를 선택합니다.
대상 URI 및 키의 값을 복사합니다.
이제 연결을 만들려는 프로젝트 또는 허브 에 연결합니다.
연결을 만들어야 하는 프로젝트로 이동합니다.
프로젝트에서 연결을 만듭니다.
Foundry 포털의 프로젝트에서 왼쪽 사이드바의 아래쪽 부분으로 이동하여 관리 센터를 선택합니다.
관리 센터의 왼쪽 사이드바에서 연결된 리소스를 선택합니다.
새 연결을 선택합니다.
서버리스 모델을 선택합니다.
대상 URI의 경우 이전에 복사한 값을 붙여넣습니다.
키의 경우 이전에 복사한 값을 붙여넣습니다.
이 경우 메타-라마3-8b 연결의 이름을 연결에 지정합니다.
연결 추가를 선택합니다.
이 시점에서 연결이 사용 가능해집니다.
연결이 작동하는지 확인하려면 다음을 수행합니다.
당신의 프로젝트로 돌아가려면 Foundry 포털로 이동하세요.
프로젝트의 왼쪽 사이드바에서 빌드 및 사용자 지정>프롬프트 흐름으로 이동합니다.
만들기를 선택하여 새 흐름을 만듭니다.
채팅 흐름 상자에서 만들기를 선택합니다.
프롬프트 흐름에 이름을 지정하고 만들기를 선택합니다.
그래프에서 채팅 노드를 선택하여 채팅 섹션으로 이동합니다.
연결의 경우 드롭다운 목록을 열어 방금 만든 연결(이 경우 meta-llama3-8b-connection)을 선택합니다.
위쪽 탐색 모음에서 컴퓨팅 세션 시작을 선택하여 프롬프트 흐름 자동 런타임을 시작합니다.
채팅 옵션을 선택합니다. 이제 메시지를 보내고 응답을 받을 수 있습니다.