Migrera från fristående ONNX Runtime till Windows ML:s ONNX Runtime

Den här guiden förklarar hur du migrerar från att använda den fristående ONNX-körningen (Microsoft-underhållen, plattformsoberoende körning som är tillgänglig via NuGet eller GitHub) till ONNX-körningen som ingår i Windows ML.

Varför byta till Windows ML?

• Mindre appnedladdning/installationsstorlek – Din app behöver inte distribuera stora EPs och ONNX Runtime
  • EPs laddas ned dynamiskt via Windows ML, så att du inte behöver paketera dem med din app
  • Du kan också använda en delad SYSTEMomfattande ONNX-körning, så att din app inte behöver paketera den med din app
• Evergreen-EPs – Uppdateras automatiskt till de senaste kompatibla maskinvaruspecifika körningsleverantörerna, utan att din app behöver uppdateras
• Valfri evergreen ONNX Runtime – Med hjälp av ramverksberoende distribution kan din app automatiskt ta emot uppdateringar av ONNX Runtime utan att kräva en uppdatering av din app. Mer information finns i onnx-versionsdokumenten

Systemkrav för Windows ML

• OS: Version av Windows som Windows App SDK stöder
• Arkitektur: x64 eller ARM64
• Maskinvara: Alla datorkonfigurationer (processorer, integrerade/diskreta GPU:er, NPU:er)

Steg 1: Kontrollera kompatibiliteten för ONNX-versionen

Se ONNX Runtime-versionerna som levereras i Windows ML-dokument för att se till att Windows ML har den version av ONNX Runtime som din app kräver. Gör eventuella uppdateringar av dina modeller eller kod efter behov.

Steg 2: Kontrollera EP:er som stöds

Se de körningsprovidrar som stöds i Windows ML-dokumentationen för att se till att Windows ML stöder de exekveringsmiljöer som din app kräver. Gör eventuella uppdateringar av dina modeller eller kod efter behov.

Steg 3: Kontrollera kraven för Windows App SDK

Windows ML stöder både de ramverksberoende och fristående distributionsalternativen i Windows App SDK. Mer information om distributionsalternativen i Windows App SDK finns i distributionsöversikten för Windows App SDK . Gör eventuella uppdateringar av din app efter behov.

Steg 4: Växla till Windows ML:s ONNX-körning

Ta bort kopian av den ONNX-körning som din app använder för närvarande.

Följ sedan steg 1 i komma igång med Windows ML-dokument för att lära dig hur du installerar Windows App SDK (som innehåller Windows ML).

När du har installerat Windows ML bör C# och Python-utvecklarna kunna kompilera sin app. ONNX-API:erna i Windows ML är identiska med ONNX-API:erna i fristående ONNX-körning. Mer information finns i Använda ONNX-API:er i Windows ML .

För C++-utvecklare finns det två alternativ...

• Uppdatera din användning av ONNX Runtime-headerfilerna så att du använder Windows ML ONNX Runtime-headerfiler, som ingår i en winml/ mapp.
• ELLER, ställ in egenskapen WinMLEnableDefaultOrtHeaderIncludePath till true, så att sökvägarna för ONNX Runtime-huvudfiler blir samma som för den fristående ONNX Runtime som du använde tidigare.

Mer information om båda alternativen finns i Använda ONNX-API:er .

Du kan också stegvis migrera vissa av dina modeller till Windows ML, samtidigt som du använder din aktuella kopia av ONNX Runtime för andra modeller genom att köra flera versioner av ONNX Runtime i din app.

Steg 5: Installera EPs via Windows ML

Se dokumentationen om execution providers för att få veta hur man dynamiskt laddar ned och installerar EP med Windows ML.

Steg 6: Kör din app!

Din app bör nu arbeta lokalt med Windows ML!