Migrar para o Model Serving

Este artigo demonstra como habilitar o Model Serving em seu espaço de trabalho e migrar seus modelos para a experiência do Model Serving, baseada em computação sem servidor.

Importante

A partir de 22 de agosto de 2025, os clientes não poderão mais criar novos endpoints de serviço usando a experiência legada de Servir Modelos do MLflow. Em 15 de setembro de 2025, a experiência legada será encerrada e todos os endpoints existentes deste serviço não poderão mais ser usados.

Requisitos

Alterações significativas

  • No Serviço de Modelo, o formato da solicitação para o ponto de extremidade e a resposta do ponto de extremidade são ligeiramente diferentes do Serviço de Modelo do MLflow Herdado. Confira Como pontuar um ponto de extremidade de modelo para obter detalhes sobre o novo protocolo de formato.
  • No Model Serving, a URL do endpoint inclui serving-endpoints em vez de model.
  • O Serviço de Modelo inclui suporte total para gerenciar recursos com fluxosde trabalho de API.
  • O Serviço de Modelo está pronto para produção e é apoiado pelo SLA do Azure Databricks.

Identificar endpoints de serviço que usam o Serviço de Modelos do MLflow Legado

Para identificar os pontos de extremidade de serviço de modelos que usam o Serviço de Modelos MLflow Legado:

  1. Navegue até a interface Modelos em seu workspace.
  2. Selecione o filtro Registro de Modelos do Workspace.
  3. Selecione o filtro de serviço herdado habilitado apenas .

Migrar Serviço de Modelo MLflow herdado para o Serviço de Modelo

Você pode criar um ponto de extremidade de Serviço de Modelo e um modelo de transição flexível que atende fluxos de trabalho sem desabilitar o Serviço de Modelo do MLflow Herdado.

As etapas a seguir mostram como fazer isso com a interface do usuário. Para cada modelo no qual você tem o serviço legado de modelos do MLflow habilitado:

  1. Registre seu modelo no Catálogo do Unity.
  2. Navegue até os pontos de extremidade de serviço na barra lateral do workspace de aprendizado de máquina.
  3. Siga o fluxo de trabalho descrito em Criar endpoints de implantação de modelos personalizados para saber como criar um endpoint de implantação com seu modelo.
  4. Adapte seu aplicativo para usar a nova URL fornecida pelo endpoint de inferência para fazer consultas ao modelo, bem como o novo formato de pontuação.
  5. Quando os modelos são transferidos, você pode navegar até Modelos na barra lateral do workspace de aprendizado de máquina.
  6. Selecione o modelo para o qual você deseja desativar o serviço legado de modelos do MLflow.
  7. Na guia Serviço, selecione Interromper.
  8. Uma mensagem aparece para confirmar. Selecione Interromper serviço.

Migrar versões de modelo implantadas para o serviço de modelos

Nas versões anteriores da funcionalidade Serviço de Modelo, o ponto de extremidade de serviço foi criado com base no estágio da versão do modelo registrado: Staging ou Production. Para migrar seus modelos servidos dessa experiência, você pode replicar esse comportamento na nova experiência de Serviço de Modelo.

Esta seção demonstra como criar endpoints de serviço separados para as versões do modelo Staging e Production. As etapas a seguir mostram como fazer isso com a API de pontos de extremidade de serviço para cada um dos modelos atendidos.

No exemplo, o nome do modelo modelA registrado tem a versão 1 no estágio do modelo Production e a versão 2 no estágio do modelo Staging.

  1. Crie dois pontos de extremidade para seu modelo registrado, um para versões de modelo Staging e outro para versões de modelo Production.

    Para versões de modelo Staging:

    POST /api/2.0/serving-endpoints
  {
     "name":"modelA-Staging"
     "config":
     {
        "served_entities":
        [
           {
              "entity_name":"model-A",
              "entity_version":"2",  // Staging Model Version
              "workload_size":"Small",
              "scale_to_zero_enabled":true
           },
        ],
     },
  }

    Para versões de modelo Production:

    POST /api/2.0/serving-endpoints
  {
     "name":"modelA-Production"
     "config":
     {
        "served_entities":
        [
           {
              "entity_name":"model-A",
              "entity_version":"1",   // Production Model Version
              "workload_size":"Small",
              "scale_to_zero_enabled":true
           },
        ],
     },
  }

  2. Verifique o status dos endpoints.

    Para o endpoint de Staging: GET /api/2.0/serving-endpoints/modelA-Staging

    Para o endpoint de produção: GET /api/2.0/serving-endpoints/modelA-Production

  3. Depois que os pontos de extremidade estiverem prontos, consulte o ponto de extremidade usando:

    Para o endpoint de staging: POST /serving-endpoints/modelA-Staging/invocations

    Para ponto de extremidade de produção: POST /serving-endpoints/modelA-Production/invocations

  4. Atualize o endpoint de acordo com as transições de versão do modelo.

    No cenário em que uma terceira versão do novo modelo é criada, você pode fazer a transição da segunda versão do modelo para Production, enquanto a terceira versão do modelo pode fazer a transição para Staging e a primeira versão do modelo é Archived. Essas alterações podem ser refletidas em pontos de extremidade de serviço de modelo separados da seguinte maneira:

    Para o endpoint Staging, atualize-o para usar a nova versão do modelo em Staging.

    PUT /api/2.0/serving-endpoints/modelA-Staging/config
{
   "served_entities":
   [
      {
         "entity_name":"model-A",
         "entity_version":"3",  // New Staging model version
         "workload_size":"Small",
         "scale_to_zero_enabled":true
      },
   ],
}

    Para o endpoint Production, atualize o endpoint para usar a nova versão do modelo em Production.

    PUT /api/2.0/serving-endpoints/modelA-Production/config
{
   "served_entities":
   [
      {
         "entity_name":"model-A",
         "entity_version":"2",  // New Production model version
         "workload_size":"Small",
         "scale_to_zero_enabled":true
      },
   ],
}

Recursos adicionais

  • Last updated on