Windows 365 för agenter MCP-serverreferens (förhandsvisning)

Windows 365 för agenter är en MCP-server för full operativ kontroll av en Windows 365 molndator. Använd denna MCP-server för att driva en verklig Windows miljö genom skrivbordsinteraktion (mus, tangentbord, skärmdump, kommandoexekvering), webbläsarautomation via Microsoft Edge och semantisk UI-inspektion via Windows UI Automation.

För att lära dig mer om Windows 365 för agenter, se Windows 365 för agentdokumentation.

Overview

Available tools

mcp_desktop_move_mouse

Flytta markören till en skärmposition. Använd mcp_desktop_click istället om du tänker klicka på destinationen. Required parameters:

• x: X-koordinat i skärmpixlar
• y: Y-koordinat i skärmpixlar

mcp_desktop_click

Klicka på en position, eller på den aktuella markörplatsen om koordinater utelämnas. Stöder enkelklick, dubbelklick och alla fem musknappar.

Optional parameters:

• x: X-koordinat i skärmpixlar (utelämnas för aktuell position)
• y: Y-koordinat i skärmpixlar (utelämna för aktuell position)
• knapp: Vänster, höger, mitten, framåt eller bakåt (standard vänster)
• klickRäkning: 1 = enkelklick, 2 = dubbelklick (standard 1)

mcp_desktop_get_cursor_position

Returnera de aktuella markörkoordinaterna. No parameters. Returnerar {cursorX, cursorY}.

mcp_desktop_drag_mouse

Dra från en position till en annan. Användbart för att flytta objekt, ändra storlek på fönster eller pixelprecisa scrollningar. Required parameters:

• startX: Start X-koordinat.
• startY: Start Y-koordinat.
• endX: End X-koordinat.
• slutY: Slut Y-koordinat. Optional parameters:
• knapp: Vänster, höger eller mitten (standard är vänster)

mcp_desktop_scroll

Scrolla på en position med notch-enheter (inte pixlar). Tre hack är ungefär en sida.

Required parameters:

• x: Scrollposition x
• y: Rullposition Y

Optional parameters:

• deltaX: Horisontella hack, positiv = höger (standard 0)
• deltaY: Vertikala hack, positiv = ner (standard 0)

Note

Värdena är fastklämda till intervallet [-20, 20].

mcp_desktop_type_text

Skriv text via tangentbordssimulering. För tangentbordsgenvägar, använd mcp_desktop_press_keys. För webbformulärfält, använd mcp_browser_type.

Required parameters:

• Text: Text för att skriva

mcp_desktop_press_keys

Tryck på en tangentkombination samtidigt. Stöder modifiertangenter, funktionstangenter och standardtangenter.

Required parameters:

• tangenter: Array av nyckelnamn att trycka tillsammans (till exempel, ["ctrl","c"], ["alt","tab"], ) ["ctrl","shift","s"]

mcp_desktop_take_screenshot

Fånga helskärms- eller beskuret område som en PNG-bild (base64-kodad).

Optional parameters:

• x: Odregionens vänstra kant
• y: Crop regions övre kant
• bredd: Crop regions bredd
• höjd: Grödregionens höjd

Note

Ange alla fyra crop-parametrar tillsammans, eller utelämna alla fyra för en helskärmsbild.

mcp_desktop_zoom_region

Fånga en skärmregion i native-upplösning som en PNG-bild (base64-kodad). Använd detta för att inspektera liten text eller ett tätt gränssnitt som är svårt att läsa i en nedskalad helskärmsskärmdump.

Required parameters:

• x: Vänsterkant X-koordinat i skärmpixlar
• y: Y-koordinaten på övre kanten i skärmpixlar
• bredd: Regionbredd i pixlar
• höjd: Regionhöjd i pixlar

Note

Maximal regionsstorlek är 1920x1080 pixlar.

mcp_desktop_analyze_screen

Utför OCR på hela skärmen. No parameters. Returnerar {fullText, averageConfidence, boxes[{text, confidence, x, y, width, height}], width, height}.

mcp_desktop_get_screen_size

Återställ skärmupplösningen. No parameters. Returnerar {width, height}.

mcp_desktop_list_windows

Lista alla synliga fönster med deras titlar, positioner och dimensioner. No parameters. Returnerar en array av {title, processName, handle, x, y, width, height}.

mcp_desktop_activate_window

Ta fram ett fönster i förgrunden med en fuzzy titelmatch.

Required parameters:

• titlePattern: Delvis fönstertitel (mellanlägesinsensitiv substräng)

mcp_desktop_focus_browser

Fokusera på ett webbläsarfönster (Edge, Chrome eller Firefox), valfritt filtrerat efter URL eller titel.

Optional parameters:

• mönster: URL eller titelundersträng för att matcha (utelämnas för alla webbläsarfönster)

mcp_desktop_close_window

Stäng elegant ett fönster med en fuzzig titelmatch. Systemkritiska processer är skyddade och kan inte stängas.

Required parameters:

• titlePattern: Delvis fönstertitel (80% matchtröskel). Returnerar {matchedTitle, processName, closed}.

mcp_desktop_resize_window

Ändra storlek, flytta, maximera, minimera eller återställ ett fönster med en fuzzy titelmatch.

Required parameters:

• titel: Fönstertitel för att matcha (case-insensitive fuzzy match)
• handling: Handling att utföra — Resize, , Move, Maximize, Minimize, eller Restore

Optional parameters:

• x: Vänster kant X-koordinat (används med Ändra storlek eller Flytta)
• y: Y-koordinat för övre kanten (används med Ändra storlek eller flytta)
• bredd: Bredd i pixlar (används med storlekskorrigering)
• höjd: Höjd i pixlar (används med Storlekskorrigering)

mcp_desktop_execute_shell_command

Kör ett shell-kommando i en sandboxad miljö. Kommandon valideras mot en tillåtslista och farliga mönster blockeras.

Required parameters:

• kommando: Kommando att utföra

Optional parameters:

• cwd: Arbetskatalog. Använd framåtriktade snedslag (till exempel C:/Users/me/project).
• timeoutMs: Timeout i millisekunder (standard 30000, max 30000)

Note

• Tillåtna kommandon: git, npm, dotnet, python, cargo, node, pip, dir, mkdir, del, copy, move, robocopy, findstr, where, type och notepad.
• Blockerade mönster inkluderar skalmetakaraktärer (|, ;, &, <, ), >miljövariabelexpansion (%VAR%), tolkevalflaggor (python -c eller node -e), git config --global, npm -g, körbara filer med vägprefix, rm -rf, , sudooch disk-/systemkommandon.
• stdout och stderr är var och en trunkerade med 32 KB. Använd mcp_desktop_execute_python_code för godtyckliga beräkningar. Returnerar {stdout, stderr, exitCode, success, timedOut, resourceLimitsApplied}.

mcp_desktop_execute_python_code

Exekvera Python-kod i en sandboxad miljö med resursbegränsningar. Idealiskt för databehandling, beräkningar, fil-I/O och alla beräkningar som går bortom enkla skalkommandon.

Required parameters:

• kod: Python kod (max 262 144 tecken).

Optional parameters:

• cwd: Arbetskatalog. Använd framåtriktade hugg.
• timeoutMs: Timeout i millisekunder (standard 30000, max 30000).

Returnerar samma schema som mcp_desktop_execute_shell_command.

Note

Sandlådan upprätthåller en minnesgräns på 512 MB och en 30-sekunders timeout.

mcp_desktop_wait_milliseconds

Pausa körningen för att låta animationer eller övergångar slutföras. Använd inte i polling loops—använd mcp_browser_wait_for för DOM-polling.

Required parameters:

• ms: Väntetid i millisekunder (klämt till [0, 5000])

mcp_desktop_clipboard_read

Läs det aktuella innehållet på systemets urklippstavla. No parameters. Returnerar ett JSON-objekt som beskriver urklippsformatet och nyttolasten — antingen en textsträng eller en base64-kodad bild.

mcp_desktop_clipboard_write

Skriv text till systemets urklippstavla och ersätt det aktuella innehållet.

Required parameters:

• Text: Text att skriva till urklipptavlan

Returnerar en bekräftelse inklusive teckenantal.

mcp_desktop_list_processes

Lista körande processer i den aktuella sessionen. Varje post innehåller PID, processnamn, minnesanvändning, fönstertitel (om sådan finns) och startTimeTicks. Kombinera startTimeTicks med mcp_desktop_kill_process för att undvika att döda en återvunnen PID.

Optional parameters:

• maxCount: Maximalt antal processer att returnera (standard 200)

Returnerar en JSON-array av processinformationsobjekt.

mcp_desktop_kill_process

Avsluta en process via PID. Värdet startTime från mcp_desktop_list_processes måste tillhandahållas för att skydda mot återvinning av PID.

Required parameters:

• pid: Process-ID returnerat av mcp_desktop_list_processes
• startTime: Starttider för processen returneras av mcp_desktop_list_processes

Optional parameters:

• force: Kraftdöd utan graciös avstängning (standard falsk)

Returnerar ett JSON-resultat som beskriver utfallet.

mcp_desktop_launch_application

Starta en GUI-applikation från en tillåten katalog. Använd mcp_desktop_execute_shell_command istället för CLI-kommandon.

Required parameters:

• Väg: Absolut väg till den exekverbara filen. Använd framåtriktade snedslag (till exempel C:/Program Files/app.exe).

Optional parameters:

• args: Array av kommandoradsargument

Returnerar {path, pid}.

mcp_desktop_get_system_info

Returnera OS-version, CPU, RAM, tillgängligt diskutrymme och bildupplösning. No parameters. Returnerar ett JSON-objekt som innehåller systeminformationen.

mcp_browser_navigate

Gå till en URL och vänta på att sidan ska laddas.

Required parameters:

• URL: Fullständig URL inklusive protokoll (till exempel, https://example.com)

mcp_browser_back

Gå tillbaka i webbläsarhistoriken. No parameters.

mcp_browser_forward

Navigera framåt i webbläsarhistorik. No parameters.

mcp_browser_reload

Ladda om den aktuella sidan. No parameters.

mcp_browser_get_url

Returnera den aktuella sidans URL som en vanlig sträng. No parameters.

mcp_browser_get_title

Returnera den aktuella sidtiteln som en vanlig sträng. No parameters.

mcp_browser_get_text

Returnera det synliga sidtextinnehållet som en vanlig sträng. No parameters. Förkortad till 512 KB.

mcp_browser_get_html

Returnera HTML-källkoden på hela sidan som en vanlig sträng. No parameters. Förkortad till 512 KB.

mcp_browser_click

Klicka på ett DOM-element med CSS-väljaren. Mer pålitligt än koordinatbaserat klickande för webbinnehåll.

Required parameters:

• selektor: CSS-selektor (till exempel, #submit-btn eller a.nav-link)

mcp_browser_type

Skriv in text i ett formulärelement med CSS-väljaren.

Required parameters:

• väljare: CSS-väljare för indataelementet.
• Text: Text för att skriva

mcp_browser_query_text

Få textinnehållet i det första elementet som matchar en CSS-väljare.

Required parameters:

• selektor: CSS-selektor

mcp_browser_wait_for

Vänta på att ett DOM-element ska dyka upp. Användbart för dynamiskt innehåll som laddas asynkront.

Required parameters:

• selector: CSS-selector att vänta på

Optional parameters:

• timeoutMs: Timeout i millisekunder (standard 5000, max 30000)

mcp_browser_eval_js

Utvärdera ett JavaScript-uttryck i sidkontexten och returnera resultatet som en sträng.

Required parameters:

• uttryck: JavaScript-uttryck som returnerar en sträng

Note

Om ditt uttryck returnerar ett objekt eller tal, konvertera det explicit till en sträng (till exempel JSON.stringify(obj) eller .toString()).

mcp_browser_list_tabs

Lista alla öppna flikar med deras index, titel och URL. No parameters. Returnerar en array av {index, title, url}.

mcp_browser_switch_tab

Byt till en flik via index.

Required parameters:

• tabIndex: 0-baserat tabindex

mcp_browser_new_tab

Öppna en ny flik, eventuellt navigera till en URL.

Optional parameters:

• URL: URL att öppna (tom flik om den utelämnas)

Returnerar {index, title, url}.

mcp_browser_close_tab

Stäng en flik efter index.

Required parameters:

• tabIndex: 0-baserat tabindex

mcp_browser_screenshot

Ta en PNG-skärmdump av endast webbläsarens vyport (inte helskärm). No parameters. Returnerar en base64-kodad PNG.

mcp_browser_select_option

Välj ett eller flera alternativ i ett <select> element efter deras value attribut.

Required parameters:

• väljare: CSS-väljare för elementet <select>
• värden: Array av valvalsvärden att välja

Returnerar en bekräftelse med antalet valda alternativ.

mcp_browser_fill_form

Fyll i flera formulärfält i ett enda samtal. Varje bidrag är ett {selector, value} par. Stannar vid första misslyckandet och rapporterar vilka fält som lyckades.

Required parameters:

• fält: Array av {selector, value} par

Returnerar en bekräftelse med räkningen av fyllda fält.

mcp_browser_drag

Dra ett källelement till ett målelement. Båda elementen identifieras av CSS-selektorn.

Required parameters:

• sourceSelector: CSS-väljare av drag-källkoden
• targetSelector: CSS-selektor för droppmålet

mcp_browser_pdf_save

Spara den aktuella sidan som en PDF-fil. Destinationsvägar är begränsade till %USERPROFILE% eller %TEMP%.

Required parameters:

• filePath: Destinationsfilsökväg under %USERPROFILE% eller %TEMP%. Använd framåtriktade hugg.

Returnerar en bekräftelse inklusive den sparade filvägen.

mcp_browser_handle_dialog

Acceptera eller avvisa en väntande webbläsardialog (varning, bekräfta, prompt eller före avlastning). Returnerar "Ingen dialog väntar" om ingen dialog är aktiv.

Required parameters:

• Åtgärd: accept eller dismiss

Optional parameters:

• promptText: Text för att skicka till en promptdialog (ignoreras för varning och bekräfta)

mcp_browser_snapshot

Fånga sidans tillgänglighetsträd med stabila referens-ID:n (till exempel e5) som mappas till DOM-noder. Använd referenserna med mcp_browser_click_ref, mcp_browser_type_ref, och mcp_browser_hover_ref. Referenser går ut när sidan navigerar — ta en snapshot igen efter navigeringen.

Optional parameters:

• maxDepth: Maximalt träddjup, 1-10 (standard 5)
• includeIframes: Inkludera i-iframes med korsursprung (standard true)

Returnerar ett JSON-objekt som innehåller tillgänglighetssnapshot och referens-ID:n.

mcp_browser_click_ref

Klicka på ett element med referens-ID från mcp_browser_snapshot. Ett träfftest verifierar att inget annat element ligger ovanpå målet. Misslyckas om snapshoten har gått ut — ta om snapshoten i så fall.

Required parameters:

• snapshotId: Snapshot-ID returnerat av mcp_browser_snapshot
• ref: Elementreferens (till exempel e5) från snapshot-noderna

Optional parameters:

• knapp: Vänster, höger eller mitten (standard vänster)
• klickRäkning: 1 = enkelklick, 2 = dubbelklick (standard 1)

Ger en bekräftelse med de klickade koordinaterna.

mcp_browser_type_ref

Skriv text i ett element med referens-ID från mcp_browser_snapshot. Elementet fokuseras först, och befintlig text rensas som standard. Misslyckas om snapshoten har gått ut.

Required parameters:

• snapshotId: Snapshot-ID returnerat av mcp_browser_snapshot
• ref: Elementreferens (till exempel e5) från snapshot-noderna
• Text: Text för att skriva

Optional parameters:

• clear: Rensa befintlig text först (standard true)

Returnerar en bekräftelse inklusive teckenantal.

mcp_browser_hover_ref

Håll muspekaren över ett element med referens-ID från mcp_browser_snapshot. Returns immediately. Misslyckas om snapshoten har gått ut — ta om snapshoten i så fall.

Required parameters:

• snapshotId: Snapshot-ID returnerat av mcp_browser_snapshot
• ref: Elementreferens (till exempel e5) från snapshot-noderna

Returnerar en bekräftelse med hoverkoordinaterna.

mcp_accessibility_get_accessibility_tree

Hämta UI-elementträdet för förgrundsfönstret. Varje element innehåller sin roll, namn, värde och skärmkoordinater.

Optional parameters:

• maxDepth: Maximalt träd-traverseringsdjup, 1-10 (standard 3)
• maxElements: Maximalt antal element att returnera, 1-2000 (standard 500)

Returnerar ett hierarkiskt träd med {roll, namn, värde, x, y, bredd, höjd, barn[...]}.

mcp_accessibility_find_ui_element

Sök efter UI-element efter textinnehåll, tillgänglighetsroll eller namn (mellanlägeskänslig delsträng). Returnerar matchande element med deras klickbara skärmkoordinater.

Optional parameters:

• Text: Text att söka efter (används som namn om namn utelämnas)
• roll: UI-rollfilter — Button, , TextBox, CheckBox, MenuItem, ComboBox, och fler
• namn: Tillgängligt namn (har företräde framför text om båda finns)
• windowHandle: Målfönsterhandtag (null = förgrundsfönster)

Key features

Desktop interaction

• Klick, dubbelklick, högerklick och femknapps muskontroll.
• Pixelprecisa drag och släpp.
• Skrattning baserad på notch (tre hack ≈ en sida).
• Tangentbordsskrivning och kombinationer av genvägar med flera tangenter.
• Spårning av markörens position.
• Skärmupplösningsdetektering.

Skärminspelning och analys

• Helskärms- eller beskurna PNG-skärmdumpar.
• OCR av helskärm med konfidenspoäng per region och begränsningsrutor.
• Skärmdumpar endast i webbläsaren för webbinnehåll.

Window management

• Räkna upp alla synliga fönster med positioner och dimensioner.
• Aktivera fönster genom fuzzy title match.
• Fokus-webbläsarfönster (Edge, Chrome, Firefox) filtreras valfritt efter URL eller titel.
• Graciöst fönster med skydd för systemkritiska processer.

Command execution

• Sandboxade skalkommandon med tillåtningslista (git, npm, dotnet, python, cargo, node, pip, dir, mkdir, del, copy, move, robocopy, findstr, where, type).
• Sandboxad Python körning upp till 262 144 tecken kod.
• Arbetskatalog och timeout-kontroll per samtal (max 30 sekunder).
• Resursgränser och härdade blocklistor mot skalmetakaraktärer, utvärderingsflaggor, privilegieeskalering och destruktiva operationer.

Browser automation

• Navigera, bakåt, framåt, ladda om.
• Läs sidans URL, titel, synlig text (512 KB max) och full HTML (512 KB cap).
• DOM-nivå klick-, skriv- och textfråga med CSS-väljare.
• Vänta på dynamiska element med konfigurerbar timeout.
• Utvärdera JavaScript uttryck i sidkontexten.
• Multi-tab-hantering: lista, byt, öppna, stäng.
• Körs på Microsoft Edge, startas automatiskt vid första användningen.

UI accessibility

• Hämta Windows UI Automation tree för förgrundsfönstret med konfigurerbart djup och elementantal.
• Hitta UI-element efter text, roll eller tillgängligt namn.
• Returnerar klickbara skärmkoordinater för exakt inriktning på knappar, textrutor, kryssrutor, menypunkter och kombinationsrutor.

Tidtagning och synkronisering

• Korta one-shot-pauser via mcp_desktop_wait_milliseconds (max fem sekunder).
• DOM-nivå polling via mcp_browser_wait_for (max 30 sekunder).

Notes

• Alla koordinater finns i skärmpixlar med (0,0) i övre vänstra hörnet. Koordinater från mcp_desktop_take_screenshot, mcp_desktop_analyze_screen, , mcp_accessibility_find_ui_elementoch mcp_desktop_list_windows alla delar samma koordinatrum.
• En markörsäkerhetsåtgärd är aktiv: Om markören rör sig inom fem pixlar från något skärmhörn avbryts musoperationerna. Undvik att rikta in dig på skärmens ytterkanter.
• Skalrörsoperatorer (|), semikolon (;), ampersands (&) och utgångsomdirigering (>, <) blockeras. För att transformera kommandoutgång, fånga den och bearbeta den med mcp_desktop_execute_python_code.
• Om tolkevalflaggor blockeras eller om python -c "..." och node -e "..." avvisas kan du använda mcp_desktop_execute_python_code för Python kod, eller skriva kod till en fil först.
• Kommandot stdout/stderr är förkortat med 32 KB vardera. Använd flaggor för att begränsa utförlig utdata (till exempel git log --oneline -20) eller omdirigera till en fil och läs den separat.
• Maximal timeout för mcp_desktop_execute_shell_command och mcp_desktop_execute_python_code är 30 sekunder. För längre arbete, dela upp det i mindre steg eller starta en bakgrundsprocess från Python och poll.
• Det finns inget dedikerat filläs-/skrivverktyg. Läs filer med mcp_desktop_execute_shell_command med kommandot type; skriva filer med mcp_desktop_execute_python_code med Python inbyggda fil-I/O. Skalutgångsomdirigering (>, >>) blockeras.
• mcp_browser_eval_js Returnerar alltid en sträng. Konvertera objekt eller nummer explicit innan du returnerar.
• Webbläsarens DOM-verktyg (mcp_browser_click, mcp_browser_type, mcp_browser_eval_js, etc.) fungerar endast på den Microsoft Edge instansen.  mcp_desktop_focus_browser kan fokusera på Chrome eller Firefox, men DOM-verktyg riktar sig inte mot dem.
• mcp_desktop_take_screenshot kräver alla fyra crop-parametrar (x, y, bredd, höjd) samtidigt, eller inga för en helskärmsinspelning.
• mcp_desktop_scroll använder notch-enheter (fastklämda till [-20, 20]), inte pixlar. Tre hack är ungefär en sida.
• mcp_accessibility_find_ui_element kräver minst en av text, roll eller namn. När både text och namn anges får namn företräde.

Vanliga användningsfall

Fyll i ett webbformulär

• Ring mcp_browser_navigate för att öppna målsidan.
• Ring mcp_browser_wait_for och vänta på att formuläret ska laddas.
• Anrop mcp_browser_type för att fylla varje fält med CSS-selektoren.
• Ring mcp_browser_click för att skicka in formuläret.
• Ring mcp_browser_wait_for och vänta på bekräftelseelementet.
• Ring mcp_browser_get_text för att läsa och verifiera resultatet.

Automatisera en skrivbordsapplikation

• Ring mcp_desktop_activate_window för att lyfta fram applikationen.
• Ring mcp_desktop_take_screenshot för att fånga det aktuella tillståndet.
• Ring mcp_accessibility_find_ui_element för att hitta en knapp eller ett fält med namn.
• Ring mcp_desktop_click på elementets rapporterade koordinater.
• Ring mcp_desktop_type_text för att mata in data.
• Kalla mcp_desktop_press_keys på genvägar (till exempel ["ctrl","s"] för att spara).
• Ring mcp_desktop_take_screenshot för att verifiera resultatet.

Extrahera data från en webbsida

• Ring mcp_browser_navigate för att öppna sidan.
• Anrop mcp_browser_get_text för att extrahera synligt textinnehåll.
• Anropa mcp_desktop_execute_python_code för att analysera och bearbeta den extraherade datan.
• Anrop mcp_browser_eval_js för att fråga specifika värden via JavaScript när textextraktion inte räcker.

Kör utvecklingsuppgifter

• Kalla mcp_desktop_execute_shell_command på git pull, npm install, och dotnet build.
• Anrop mcp_desktop_take_screenshot för att fånga byggresultat.
• Ring mcp_desktop_execute_python_code för att analysera loggar eller testresultat.
• Anropa mcp_browser_navigate för att öppna en lokal utvecklingsserver i webbläsaren.
• Anropa mcp_browser_screenshot för att fånga den renderade sidan.

Läs och skriv filer

• Läs en fil med mcp_desktop_execute_shell_command att använda type C:\path\to\file.txt.
• Skriv en fil med mcp_desktop_execute_python_code med Python open(...) och write(...).
• Verifiera med mcp_desktop_execute_shell_command att använda dir C:\path\to\output.txt.

Navigera i komplext gränssnitt med tillgänglighet

• Ring mcp_accessibility_get_accessibility_tree för att förstå hela UI-strukturen.
• Anrop mcp_accessibility_find_ui_element för att hitta en specifik kontroll (till exempel roll: "MenuItem", namn: "Inställningar").
• Ring mcp_desktop_click med elementets rapporterade koordinater.
• Ring mcp_accessibility_find_ui_element igen för att hitta nästa kontroll i dialogen.
• Ring mcp_desktop_type_text eller mcp_desktop_click för att interagera med den.

Håll en långvarig session vid liv

• Skicka en MCP-begäran minst en gång var 30:e minut för att förhindra viloavhysning.
• mcp_desktop_get_screen_size är lätt och fungerar bra som en heartbeat.