Migrar al servicio de modelos

En este artículo se muestra cómo habilitar Model Serving en su espacio de trabajo y cambiar sus modelos para usar la experiencia Model Serving basada en computación sin servidor.

Requisitos

• Modelo registrado en el registro de modelos de MLflow.
• Permisos en los modelos registrados, tal y como se describe en la guía de control de acceso.
• Habilitar procesos sin servidor en el área de trabajo.

Cambios significativos

• En Model Serving, el formato de la solicitud al endpoint y el de la respuesta del endpoint son ligeramente diferentes de los de MLflow Model Serving heredado. Consulte Puntuar un punto de conexión de modelo para más información sobre el nuevo protocolo de formato.
• En Servicio de modelos, la dirección URL del punto de conexión incluye serving-endpoints en lugar de model.
• El servicio de modelos incluye compatibilidad completa con administrar recursos con flujos de trabajo de API.
• El servicio de modelos está listo para producción y está respaldado por el Acuerdo de Nivel de Servicio de Azure Databricks.

Identifique los endpoints de servicio que usan Model Serving heredado de MLflow

Para identificar los extremos de servicio de modelos que utilizan el servicio de modelos heredado de MLflow:

1. Vaya a la interfaz Models en su espacio de trabajo.
2. Seleccione el filtro Registro de modelos del área de trabajo.
3. Seleccione el filtro Solo servicio heredado habilitado .

Migrar modelos heredados servidos con MLflow Model Serving a Model Serving

Puede crear un endpoint de Model Serving y realizar la transición de los flujos de trabajo de servicio de modelos de forma flexible sin deshabilitar Legacy MLflow Model Serving.

Los pasos siguientes muestran cómo realizarlo mediante la UI. Para cada modelo en el que tienes habilitado el servicio heredado de modelos de MLflow:

1. Registre el modelo en el catálogo de Unity.
2. Vaya a Puntos de conexión de servicio en la barra lateral del área de trabajo de aprendizaje automático.
3. Siga el flujo de trabajo descrito en Creación de puntos de conexión de servicio de modelos personalizados sobre cómo crear un punto de conexión de servicio con el modelo.
4. Realice la transición de la aplicación para usar la nueva dirección URL proporcionada por el punto de conexión de servicio para consultar el modelo, junto con el nuevo formato de puntuación.
5. Cuando se realice la transición de los modelos, podrá ir a Modelos en la barra lateral del área de trabajo de Aprendizaje automático.
6. Seleccione el modelo para el que desea deshabilitar legacy MLflow Model Serving.
7. En la pestaña Servicio, seleccione Detener.
8. Aparecerá un mensaje para confirmarlo. Seleccione Detener servicio.

Migrar versiones del modelo desplegadas a Model Serving

En versiones anteriores de la funcionalidad del servicio de modelos, el punto de conexión de servicio se creó en función de la fase de la versión del modelo registrada: Staging o Production. Para migrar los modelos servidos desde esa experiencia, se puede replicar ese comportamiento en la nueva experiencia de servicio de modelos.

En esta sección se muestra cómo crear endpoints de servicio de modelos distintos para las versiones del modelo Staging y para las versiones del modelo Production. Los pasos siguientes muestran cómo lograrlo con la API de extremos de servicio para cada uno de tus modelos implementados.

En el ejemplo, el nombre del modelo registrado modelA tiene la versión 1 en la fase del modelo Production y la versión 2 en la fase del modelo Staging.

1. Cree dos puntos de conexión para el modelo registrado, uno para las versiones del modelo Staging y otro para las versiones del modelo Production.

   Para las versiones del modelo Staging:

   POST /api/2.0/serving-endpoints
     {
        "name":"modelA-Staging"
        "config":
        {
           "served_entities":
           [
              {
                 "entity_name":"model-A",
                 "entity_version":"2",  // Staging Model Version
                 "workload_size":"Small",
                 "scale_to_zero_enabled":true
              },
           ],
        },
     }
   

   Para las versiones del modelo Production:

   POST /api/2.0/serving-endpoints
     {
        "name":"modelA-Production"
        "config":
        {
           "served_entities":
           [
              {
                 "entity_name":"model-A",
                 "entity_version":"1",   // Production Model Version
                 "workload_size":"Small",
                 "scale_to_zero_enabled":true
              },
           ],
        },
     }
   

2. Compruebe el estado de los puntos de conexión.

   Para el punto de conexión de preproducción: GET /api/2.0/serving-endpoints/modelA-Staging

   Para punto de conexión de producción: GET /api/2.0/serving-endpoints/modelA-Production

3. Una vez que los puntos de conexión estén listos, consulte el punto de conexión mediante:

   Para el endpoint de Staging: POST /serving-endpoints/modelA-Staging/invocations

   Para punto de conexión de producción: POST /serving-endpoints/modelA-Production/invocations

4. Actualice el punto de conexión en función de las transiciones de versiones del modelo.

   En el escenario en el que se crea una nueva versión de modelo 3, es posible hacer que la transición de la versión 2 del modelo a Production, mientras que a la versión 3 del modelo se le puede realizar la transición a Staging y la versión 1 del modelo es Archived. Estos cambios se pueden reflejar en puntos de conexión de servicio de modelos independientes, tal y como se indica a continuación:

   Para el punto de conexión Staging, actualice el punto de conexión para usar la nueva versión del modelo en Staging.

   PUT /api/2.0/serving-endpoints/modelA-Staging/config
   {
      "served_entities":
      [
         {
            "entity_name":"model-A",
            "entity_version":"3",  // New Staging model version
            "workload_size":"Small",
            "scale_to_zero_enabled":true
         },
      ],
   }
   

   Para el punto de conexión Production, actualice el punto de conexión para usar la nueva versión del modelo en Production.

   PUT /api/2.0/serving-endpoints/modelA-Production/config
   {
      "served_entities":
      [
         {
            "entity_name":"model-A",
            "entity_version":"2",  // New Production model version
            "workload_size":"Small",
            "scale_to_zero_enabled":true
         },
      ],
   }
   

Recursos adicionales

• Crear puntos de conexión para la implementación de modelos