Migrer vers la mise en service de modèles

Cet article explique comment activer Model Serving dans votre espace de travail et faire passer vos modèles à l’environnement Model Serving basé sur un calcul sans serveur.

Spécifications

• Modèle inscrit dans le Registre de modèles MLflow.
• Les autorisations sur les modèles inscrits sont décrites dans le guide de contrôle d’accès.
• Activer le calcul serverless sur votre espace de travail.

Modifications importantes

• Dans Model Serving, le format de la requête envoyée au point de terminaison et celui de la réponse renvoyée par le point de terminaison diffèrent légèrement de ceux de l’ancien service de modèles MLflow. Consultez Notation d’un point de terminaison du modèle pour plus d’informations sur le nouveau format de protocole.
• Dans Model Serving, l’URL du point de terminaison inclut serving-endpoints au lieu de model.
• Model Serving inclut une prise en charge complète de la gestion des ressources avec des flux de travail d’API.
• Model Serving est prêt pour la production et soutenu par le SLA Azure Databricks.

Identifier les points de terminaison qui utilisent le service de modèles MLflow hérité

Pour identifier les points de terminaison de diffusion de modèles qui utilisent l’ancien service de modèles MLflow :

1. Accédez à l’interface utilisateur des modèles dans votre espace de travail.
2. Sélectionnez le filtre Registre du modèle d’espace de travail .
3. Sélectionnez le filtre de service hérité activé uniquement .

Migrer les modèles servis par l’ancien service de modèles MLflow vers Model Serving

Vous pouvez créer un point de terminaison de Model Serving et faire évoluer en toute flexibilité les workflows de service de modèles sans désactiver MLflow Model Serving hérité.

Les étapes suivantes montrent comment effectuer cette opération avec l’interface utilisateur. Pour chaque modèle pour lequel le service de modèles MLflow hérité est activé :

1. Inscrivez votre modèle dans le catalogue Unity.
2. Accédez à Points de terminaison de service dans la barre latérale de votre espace de travail de machine learning.
3. Suivez la procédure décrite dans Créer et configurer des points de terminaison de mise en service de modèles pour créer un point de terminaison de mise en service avec votre modèle.
4. Effectuez la transition de votre application pour utiliser la nouvelle URL fournie par le point de terminaison de service pour interroger le modèle, ainsi que le nouveau format de scoring.
5. Lorsque vos modèles sont transférés, vous pouvez accéder à Modèles dans la barre latérale de votre espace de travail Machine Learning.
6. Sélectionnez le modèle pour lequel vous souhaitez désactiver le service de modèles MLflow hérité.
7. Sous l’onglet Serving (Mise en service), sélectionnez Stop (Arrêter).
8. Un message de confirmation s’affiche. Sélectionnez Stop Serving (Arrêter la mise en service).

Migrer des versions de modèle déployées vers Model Serving

Dans les versions précédentes de la fonctionnalité Model Serving, le point de terminaison de service a été créé en fonction de l’étape de la version de modèle inscrite : Staging ou Production. Pour migrer vos modèles servis à partir de cette expérience, vous pouvez répliquer ce comportement dans la nouvelle expérience Model Serving.

Cette section montre comment créer des points de terminaison de service de modèle distincts pour les versions de modèles Staging et Production. Les étapes suivantes montrent comment effectuer cette opération avec l’API de points de terminaison de service pour chacun de vos modèles servis.

Dans l’exemple, le nom du modèle inscrit modelA a la version 1 dans l’étape du modèle Production et la version 2 dans l’étape du modèle Staging.

1. Créez deux points de terminaison pour votre modèle inscrit, un pour les versions de modèle Staging et un autre pour les versions de modèle Production.

   Pour les versions de modèle Staging :

   POST /api/2.0/serving-endpoints
     {
        "name":"modelA-Staging"
        "config":
        {
           "served_entities":
           [
              {
                 "entity_name":"model-A",
                 "entity_version":"2",  // Staging Model Version
                 "workload_size":"Small",
                 "scale_to_zero_enabled":true
              },
           ],
        },
     }
   

   Pour les versions de modèle Production :

   POST /api/2.0/serving-endpoints
     {
        "name":"modelA-Production"
        "config":
        {
           "served_entities":
           [
              {
                 "entity_name":"model-A",
                 "entity_version":"1",   // Production Model Version
                 "workload_size":"Small",
                 "scale_to_zero_enabled":true
              },
           ],
        },
     }
   

2. Vérifiez l’état des points de terminaison.

   Pour le point de terminaison de mise en lots : GET /api/2.0/serving-endpoints/modelA-Staging

   Pour le point de terminaison de production : GET /api/2.0/serving-endpoints/modelA-Production

3. Une fois les points de terminaison prêts, interrogez le point de terminaison à l’aide de :

   Pour le point de terminaison de mise en lots : POST /serving-endpoints/modelA-Staging/invocations

   Pour le point de terminaison de production : POST /serving-endpoints/modelA-Production/invocations

4. Mettez à jour le point de terminaison en fonction des transitions de version du modèle.

   Dans le scénario où un nouveau modèle version 3 est créé, vous pouvez faire passer le modèle version 2 à Production, tandis que la version 3 du modèle peut passer à Staging et la version 1 du modèle est Archived. Ces modifications peuvent être reflétées dans des points de terminaison de service de modèle distincts comme suit :

   Pour le point de terminaison Staging, mettez à jour le point de terminaison pour utiliser la nouvelle version du modèle dans Staging.

   PUT /api/2.0/serving-endpoints/modelA-Staging/config
   {
      "served_entities":
      [
         {
            "entity_name":"model-A",
            "entity_version":"3",  // New Staging model version
            "workload_size":"Small",
            "scale_to_zero_enabled":true
         },
      ],
   }
   

   Pour le point de terminaison Production, mettez à jour le point de terminaison pour utiliser la nouvelle version du modèle dans Production.

   PUT /api/2.0/serving-endpoints/modelA-Production/config
   {
      "served_entities":
      [
         {
            "entity_name":"model-A",
            "entity_version":"2",  // New Production model version
            "workload_size":"Small",
            "scale_to_zero_enabled":true
         },
      ],
   }
   

Ressources supplémentaires

• Créer des points de terminaison de mise en service de modèles