Migración de ONNX Runtime independiente a ONNX Runtime de Windows ML

En esta guía se explica cómo migrar desde el entorno de ejecución de ONNX independiente (el entorno de ejecución multiplataforma y mantenido por Microsoft disponible a través de NuGet o GitHub) al entorno de ejecución de ONNX incluido en Windows ML.

¿Por qué cambiar a Windows ML?

• Tamaño de descarga/instalación de la aplicación más pequeño - La aplicación no necesita distribuir EPs grandes y el entorno de ejecución de ONNX.
  • Los proveedores de ejecución (EPs) se descargan dinámicamente a través de Windows ML, por lo que no tienes que integrarlos con tu aplicación.
  • Opcionalmente, utilice un entorno de ejecución de ONNX compartido para todo el sistema, de manera que la aplicación no tenga que incluirlo.
• EPs de Evergreen : se actualiza automáticamente a los proveedores de ejecución específicos de hardware compatibles más recientes, sin necesidad de que la aplicación se actualice.
• Tiempo de ejecución ONNX permanente opcional: gracias a la implementación dependiente del framework, la aplicación puede recibir actualizaciones automáticamente al entorno de ejecución de ONNX sin necesidad de que la aplicación se actualice. Consulte la documentación sobre las versiones de ONNX para obtener más información.

Requisitos del sistema para Windows ML

• SO: versión de Windows compatible con Windows App SDK
• Arquitectura: x64 o ARM64
• Hardware: cualquier configuración de PC (CPU, GPU integradas o discretas, NPUs)

Paso 1: Comprobar la compatibilidad de la versión de ONNX

Consulta las versiones de ONNX Runtime enviadas en documentos de Windows ML para asegurarte de que Windows ML tiene la versión de ONNX Runtime que requiere la aplicación. Realice las actualizaciones de los modelos o el código según sea necesario.

Paso 2: Comprobar los EPs admitidos

Consulte los proveedores de ejecución admitidos en los documentos de Windows ML para asegurarse de que Windows ML admite los proveedores de ejecución que requiere la aplicación. Realice las actualizaciones de los modelos o el código según sea necesario.

Paso 3: Comprobar los requisitos de Windows App SDK

Windows ML admite las opciones de implementación independientes y dependientes del marco en Windows App SDK. Consulte la introducción a la implementación de Windows App SDK para obtener más información sobre las opciones de implementación en Windows App SDK. Realice las actualizaciones de la aplicación según sea necesario.

Paso 4: Cambiar al entorno de ejecución de ONNX de Windows ML

Quite la copia del entorno de ejecución de ONNX que está usando actualmente la aplicación.

A continuación, siga el Paso 1 de los documentos de get started with Windows ML para obtener información sobre cómo instalar el Windows App SDK (que contiene Windows ML).

Después de instalar Windows ML, los desarrolladores de C# y Python deben poder compilar su aplicación. Las API de ONNX en Windows ML son idénticas a las API de ONNX en el entorno de ejecución de ONNX independiente. Consulta usar las API de ONNX en Windows ML para obtener más información.

Para los desarrolladores de C++, hay dos opciones...

• Actualice el uso de los encabezados en tiempo de ejecución de ONNX para usar los encabezados en tiempo de ejecución de ONNX de Windows ML, que se incluyen en un winml/ directorio.
• O bien, establezca la propiedad WinMLEnableDefaultOrtHeaderIncludePath en true, de modo que las rutas de acceso de encabezado de ONNX Runtime serán las mismas que el entorno de ejecución de ONNX independiente que estaba usando antes.

Consulte Uso de las API de ONNX para obtener más información sobre ambas opciones.

También puede migrar incrementalmente algunos de los modelos a Windows ML, mientras usa la copia actual de ONNX Runtime para otros modelos ejecutando varias versiones de ONNX Runtime en la aplicación.

Paso 5: Instalar EPs a través de Windows ML

Consulte la documentación de instalación de proveedores de ejecución para obtener información sobre cómo descargar e instalar proveedores de ejecución (EPs) de forma dinámica mediante Windows ML.

Paso 6: Ejecutar la aplicación!

La aplicación ahora debería estar trabajando localmente con Windows ML.