모델 서비스 만들기 및 관리

Important

이 기능은 베타 버전으로 제공됩니다. 계정 관리자는 계정 콘솔 미리 보기 페이지에서 이 기능에 대한 액세스를 제어할 수 있습니다. Azure Databricks 미리 보기 관리를 참조하세요.

이 페이지에서는 Unity 카탈로그에서 모델 서비스를 만들고, 공유하고, 관리하는 방법을 설명합니다.

Requirements

  • 계정에 대해 Unity AI Gateway 미리 보기가 사용하도록 설정되었습니다. Azure Databricks 미리 보기 관리를 참조하세요.
  • Azure Databricks 작업 영역은 유니티 AI 게이트웨이 지원 지역.
  • 작업 영역에서 Unity 카탈로그가 사용하도록 설정되었습니다. Unity 카탈로그에 작업 영역 사용을 참조하세요.
  • 모델 서비스를 만들려면 다음이 있어야 합니다.
    • 모델 서비스를 생성하는 카탈로그 및 스키마에서의 USE CATALOG, USE SCHEMA, CREATE SERVICE
    • EXECUTE 모델 서비스에서 대상으로 참조하는 각 모델에 대해 설명합니다.
    • 유추 로깅을 사용하도록 설정한 경우, 유추 테이블이 생성되는 카탈로그 및 스키마에서의 USE CATALOG, USE SCHEMA, 및 CREATE TABLE

모델 서비스 만들기

Unity AI 게이트웨이 UI 또는 카탈로그 탐색기에서 모델 서비스를 만들 수 있습니다.

UI 사용

  1. 다음 중 하나를 수행합니다.
    • 작업 영역 사이드바에서 AI 게이트웨이를 클릭한 다음 만들기를 클릭합니다.
    • 카탈로그 탐색기에서 모델 서비스를 만들 스키마로 이동한 다음모델 서비스>를 클릭합니다.
  2. 모델 서비스의 이름을 입력하고 카탈로그와 스키마를 선택하여 만듭니다. 카탈로그 탐색기에서 시작하는 경우 카탈로그 탐색기는 카탈로그와 스키마를 미리 입력합니다.
  3. Databricks에서 호스팅하고 사용자가 EXECUTE을 보유하며 Unity AI Gateway에서 서빙할 수 있는 모델 중에서 서빙할 기본 모델을 선택합니다.
  4. 만들기를 클릭합니다.

모델 서비스를 만든 후 Azure Databricks 개요 페이지를 엽니다. 여기서 유추 로깅과 같은 추가 기능을 시작하거나 구성할 수 있습니다.

모델 서비스에 대한 액세스 권한 부여

다른 사용자가 모델 서비스에 쿼리를 실행할 수 있도록 하려면 모델 서비스에는 EXECUTE, 해당 카탈로그와 스키마에는 USE CATALOG 및 USE SCHEMA 권한을 부여합니다. 모델 서비스가 유추 테이블에 로그하는 경우 테이블에 부여 SELECT 하여 기록된 요청 및 응답을 읽을 수 있도록 합니다.

GRANT USE CATALOG ON CATALOG main TO ai_team;
GRANT USE SCHEMA ON SCHEMA main.default TO ai_team;
GRANT EXECUTE ON MODEL SERVICE main.default.team_chat TO ai_team;

-- Optional: grant access to the inference table
GRANT SELECT ON TABLE main.logging.team_chat_payload TO ai_team;

액세스 권한을 부여하고 검색하는 방법에 대한 자세한 내용은 모델 서비스 관리를 참조하세요.

모델 서비스에서 기능 구성

Unity AI Gateway 엔드포인트에서 구성하는 것과 동일한 방식으로 Unity AI Gateway UI에서 모델 서비스에서 속도 제한, 유추 로깅 및 가드레일과 같은 기능을 구성합니다. See:

추론 로깅

유추 로깅을 사용하도록 설정하면 Azure Databricks 지정한 위치에 미리 정의된 스키마를 사용하여 비어 있는 새 Unity 카탈로그 테이블을 만듭니다. 다음 사항에 유의하세요.

  • 대상 카탈로그와 스키마에 대해 USE CATALOG, USE SCHEMA, CREATE TABLE 권한이 있어야 합니다.
  • 모델 서비스의 작성자는 유추 테이블의 소유자입니다. 사용자가 권한을 부여하지 않는 한 다른 사용자는 액세스할 수 없습니다.
  • 지정한 위치에 테이블이 이미 있는 경우 모델 서비스를 만들지 못합니다.
  • 유추 테이블에는 모델 서비스의 독립적인 수명 주기가 있습니다. 테이블을 삭제하면 모델 서비스가 계속 작동하지만 로깅을 중지합니다.

유추 테이블에 대한 자세한 내용은 유추 테이블을 사용하여 모델 서비스 모니터링을 참조하세요.

모델 서비스 삭제

모델 서비스를 삭제하려면 최소한 MANAGE 모델 서비스에 대한 권한이 있어야 합니다. 소유자는 MANAGE의 상위 집합을 갖고 있습니다.

DROP MODEL SERVICE main.default.team_chat;

시스템 제공 모델 서비스는 system.ai 삭제할 수 없습니다.

다음 단계

  • Last updated on