Expressdistributioner för modell som betjänar slutpunkter

Den här artikeln beskriver hur du använder expressdistributioner på din modell som betjänar slutpunkter. Express-driftsättningar minskar driftsättningstiderna dramatiskt och ser till att miljön där modellen används för inferens är densamma som träningsmiljön för modellen.

Vad är expressdistributioner?

Express-distributioner utnyttjar paketering och mellanlagring av modellartefakter i serverlösa notebook-miljöer under modellregistreringen, vilket resulterar i snabbare endpoint-distribution och enhetliga miljöer mellan träning och drift.

Detta skiljer sig från icke-expressdistributioner, där modellartefakter och miljöer paketeras i containrar vid distributionstillfället. I sådana fall kanske serveringsmiljön inte matchar den som används under modellträningen.

Requirements

Expressdistributionsslutpunkter har samma krav som modell som betjänar slutpunkten (se Krav). Dessutom:

• Modellen måste vara en anpassad modell (inte FMAPI)
• Modellen måste loggas och registreras i en serverlös notebook med version 3 eller 4
• Modellen måste loggas och registreras med mlflow>=3.1
• Modellen måste vara registrerad i UC och hanteras med CPU
• Modellens maximala miljöstorlek är 1 GB

Använda expressdistributioner

När du loggar och registrerar en modell använder du en Serverless Notebook med klient 3 eller 4 och mlflow>=3.1.

Information om hur du justerar klientversionen av den serverlösa miljön finns i Konfigurera den serverlösa miljön.

När du registrerar en modell anger du sedan parametern env_pack med önskade värden.

import mlflow
from mlflow.utils.env_pack import EnvPackConfig

mlflow.register_model(
    model_info.model_uri,
    model_name,
    env_pack=EnvPackConfig(name="databricks_model_serving")
)

Om du lägger till parametern env_pack blir funktionspaketet och mellanlagrar modellartefakterna och den serverlösa notebook-miljön under modellregistreringen för att förbereda det för användning under distributionen. Det kan ta ytterligare tid jämfört med att registrera modellen utan env_pack.

EnvPackConfig har en parameter install_dependencies (True som standard) som avgör om modellens beroenden är installerade i den aktuella miljön för att bekräfta att miljön är giltig. Om du vill hoppa över det steget anger du värdet till False.

Du kan också ersätta EnvPackConfig(...) med "databricks_model_serving" som en förkortning. Detta motsvarar EnvPackConfig(name="databricks_model_serving", install_dependencies = True).

När du har registrerat modellen kan du distribuera modellen i modellservern. Observera att distributionstiden minskar och att händelseloggarna inte längre visar containeruppbyggnad.