Erstellen und Verwalten von Modelldiensten

Important

Dieses Feature befindet sich in der Betaversion. Kontoadministratoren können den Zugriff auf dieses Feature über die Seite " Vorschau" der Kontokonsole steuern. Siehe Manage Azure Databricks Previews.

Auf dieser Seite wird beschrieben, wie Modelldienste im Unity-Katalog erstellt, freigegeben und verwaltet werden.

Requirements

  • Unity AI Gateway Preview für Ihr Konto aktiviert. Siehe Manage Azure Databricks Previews.
  • Ein Azure Databricks-Arbeitsbereich in einer von Unity AI Gateway unterstützten Region.
  • Unity-Katalog für Ihren Arbeitsbereich aktiviert. Weitere Informationen finden Sie unter Aktivieren eines Arbeitsbereichs für Unity Catalog.
  • Zum Erstellen eines Modelldiensts benötigen Sie Folgendes:
    • USE CATALOG, USE SCHEMAund CREATE SERVICE im Katalog und Schema, in dem Sie den Modelldienst erstellen.
    • EXECUTE auf jedem Modell, auf das der Modelldienst als Ziel verweist.
    • USE CATALOG, USE SCHEMA und CREATE TABLE für den Katalog und das Schema, in denen die Inferenztabelle erstellt wird, wenn Sie die Inferenzprotokollierung aktivieren.

Erstellen eines Modelldiensts

Sie können einen Modelldienst in der Unity AI Gateway-Benutzeroberfläche oder im Katalog-Explorer erstellen.

Verwende die Benutzeroberfläche

  1. Führen Sie einen der folgenden Schritte aus:
    • Klicken Sie in der Arbeitsbereichs-Randleiste auf "AI-Gateway", und klicken Sie dann auf "Erstellen".
    • Wechseln Sie im Katalog-Explorer zum Schema, in dem Sie den Modelldienst erstellen möchten, und klicken Sie dann auf "Modelldienst>".
  2. Geben Sie einen Namen für den Modelldienst ein, und wählen Sie den Katalog und das Schema aus, in dem er erstellt werden soll. Wenn Sie mit dem Katalog-Explorer beginnen, füllt der Katalog-Explorer den Katalog und das Schema vor.
  3. Wählen Sie aus den von Databricks gehosteten Modellen, für die Sie über EXECUTE verfügen und die vom Unity AI Gateway bereitgestellt werden können, das primäre Modell für die Bereitstellung aus.
  4. Klicken Sie auf "Erstellen".

Nachdem Sie den Modelldienst erstellt haben, öffnet Azure Databricks die Übersichtsseite, auf der Sie beginnen oder zusätzliche Features wie die Ableitungsprotokollierung konfigurieren können.

Gewähren des Zugriffs auf einen Modelldienst

Um anderen Benutzern das Abfragen eines Modelldienstes zu ermöglichen, erteilen Sie ihnen EXECUTE für den Modelldienst sowie USE CATALOG und USE SCHEMA für dessen Katalog und Schema. Wenn der Modelldienst in eine Inferenztabelle protokolliert, gewähren Sie SELECT Berechtigungen für die Tabelle, damit die protokollierten Anfragen und Antworten gelesen werden können.

GRANT USE CATALOG ON CATALOG main TO ai_team;
GRANT USE SCHEMA ON SCHEMA main.default TO ai_team;
GRANT EXECUTE ON MODEL SERVICE main.default.team_chat TO ai_team;

-- Optional: grant access to the inference table
GRANT SELECT ON TABLE main.logging.team_chat_payload TO ai_team;

Weitere Informationen zum Gewähren von und Erkennen von Zugriff finden Sie unter Verwalten von Modelldiensten.

Konfigurieren von Features in einem Modelldienst

Sie konfigurieren Funktionen wie Ratenbegrenzungen, Inferenzprotokollierung und Schutzmechanismen für den Modelldienst in der Unity AI Gateway-Benutzeroberfläche genauso wie an einem Unity AI Gateway-Endpunkt. Siehe:

Inferenzprotokollierung

Wenn Sie die Ableitungsprotokollierung aktivieren, erstellt Azure Databricks eine neue, leere Unity-Katalogtabelle mit einem vordefinierten Schema an dem von Ihnen angegebenen Speicherort. Beachten Sie Folgendes:

  • Sie müssen über USE CATALOG, USE SCHEMA und CREATE TABLE für den Zielkatalog und das Zielschema verfügen.
  • Der Ersteller des Modelldiensts ist der Besitzer der Rückschlusstabelle. Keine anderen Benutzer haben Zugriff, es sei denn, Sie gewähren sie.
  • Wenn an dem angegebenen Speicherort bereits eine Tabelle vorhanden ist, schlägt das Erstellen des Modelldiensts fehl.
  • Die Ableitungstabelle verfügt über einen unabhängigen Lebenszyklus vom Modelldienst. Wenn Sie die Tabelle ablegen, funktioniert der Modelldienst weiterhin, aber die Protokollierung wird beendet.

Weitere Informationen zu Rückschlusstabellen finden Sie unter Überwachen von Modelldiensten mithilfe von Rückschlusstabellen.

Löschen eines Modelldiensts

Um einen Modelldienst zu löschen, müssen Sie mindestens über die MANAGE Berechtigung verfügen. Der Besitzer hat eine Obermenge von MANAGE.

DROP MODEL SERVICE main.default.team_chat;

Die in system.ai vom System bereitgestellten Modelldienste können nicht gelöscht werden.

Nächste Schritte

  • Last updated on