Automatiser web- og skrivebordsapps med computerbrug

Computerbrug er et værktøj i Copilot Studio, der gør det muligt for din agent at interagere med og automatisere opgaver på en Windows-computer. Det fungerer med websteder og skrivebordsapps ved at vælge knapper, vælge menuer og indtaste tekst i felter på skærmen. Beskriv i et naturligt sprog, hvad computeren skal bruge til at udføre, og den udfører opgaven på en computer, du har konfigureret ved hjælp af en virtuel mus og et virtuelt tastatur. Ved hjælp af computerbrug kan agenter udføre opgaver, selvom der ikke er nogen API til at oprette direkte forbindelse til systemet. Hvis en person kan bruge en app eller et websted, kan computerbrug også gøre det. Du kan bruge computerbrug til opgaver som automatiseret dataindtastning, fakturabehandling og udtrækning af data.

Computerbrug er drevet af Computer-Using Agents (CUA), en AI-model, der kombinerer synsfunktioner med avanceret ræsonnering for at interagere med grafiske brugergrænseflader (GUIs). Da den er AI-drevet, tilpasses den til ændringer i grænsefladen. Når knapper eller skærmbilleder f.eks. ændres, fortsætter værktøjet med at fungere uden at afbryde flowet. Det er nemt at bruge. Du skal blot beskrive, hvad du vil have i et naturligt sprog. Du behøver ikke at skrive kode.

Se denne video for at få mere at vide om, hvordan computerbrugsværktøjet giver en agent mulighed for at interagere med et webprogram.

Føj computerbrug til din agent

I Copilot Studio skal du tilføje computerbrug som et værktøj ved at følge disse trin:

1. Gå til siden Funktioner for din agent, og vælg Tilføj værktøj.

2. Vælg Nyt værktøj i Tilføj værktøj.

3. Vælg Computerbrug.

4. Angiv den vejledning, der beskriver den opgave, som værktøjet skal udføre på computeren. Der findes instruktionsskabeloner, som kan hjælpe dig med at komme i gang. Følg de bedste fremgangsmåder for at få instruktioner til computerbrug.

5. Vælg Tilføj og konfigurer. På konfigurationssiden konfigureres disse fire felter:

   • Navn: Angiv det viste navn for computerbrugsværktøjet. Dette navn hjælper dig med at skelne det fra andre værktøjer, du føjer til din agent.

   • Beskrivelse: Angiv en kort beskrivelse af, hvad dette værktøj gør, og hvornår det skal bruges. Denne tekst giver din agent besked om, hvornår du skal bruge dette værktøj.

   • Model: Vælg den model, der bruges til at køre computerværktøjet. Følgende modeller er tilgængelige:

     Udbyder	Model	Niveau	Status
     OpenAI	Computerbruger-Agent (CUA)	Standard	Generelt tilgængelig
     Antropisk	Claude Sonnet 4,5	Standard	Generelt tilgængelig
     Antropisk	Claude Sonnet 4.6	Standard	Eksperimentel
     Antropisk	Claude Opus 4.6	Premium	Eksperimentel

     Bemærkning

     Hvis du vil bruge Anthropic model, skal du sørge for, at administratoren har aktiveret adgang til eksterne modeller for dit miljø.

   • Instruktioner: Angiv de trin, værktøjet skal udføre, herunder URL-adresser og programnavne. Følg de bedste fremgangsmåder for at få instruktioner til computerbrug.

6. Du kan også gennemse og justere de andre felter , der er tilgængelige på konfigurationssiden.

7. Vælg Save.

Konfigurer valgfrie indstillinger

Konfigurationssiden indeholder valgfrie felter ud over de fire påkrævede felter (Navn, Beskrivelse, Model, Instruktioner). Gennemse og konfigurer disse indstillinger efter behov i dit scenarie.

Indgange

Brug input til at definere dynamiske værdier, der ændres, hver gang computeren bruger kørsler. Hvis du f.eks. vil udfylde en formular med en anden værdi ved hver kørsel, skal du oprette et input til det pågældende felt. På udførelsestidspunktet kombinerer computerbrug dine instruktioner med inputværdierne for at fuldføre opgaven.

Maskine

Vælg den destinationscomputer, som agenten bruger til at køre computerbrug. Få mere at vide i Konfigurer, hvor computerbrug kører.

• Vælg Opdater for at opdatere computerlisten.
• Vælg Administrer maskiner for at åbne siden til maskinadministration i Power Automate.
• Vælg Se computeroplysninger for at åbne siden med computeroplysninger i Power Automate.

Forbindelse

Forbindelse, der bruges til dette værktøj. Opdater eller opret en ny forbindelse for at ændre de anvendte legitimationsoplysninger.

Legitimationsoplysninger, der skal bruges

Angiv, hvordan computerbrug godkendes under udførelse:

• Legitimationsoplysninger, der er angivet af opretteren (standard): Brug opretterens legitimationsoplysninger. Denne indstilling er velegnet til selvstændige agenter.

  Advarsel!

  Hvis du deler en agent med denne indstilling, kan alle, der bruger den, handle med den oprindelige forfatters adgang på den konfigurerede maskine.

• Slutbrugerens legitimationsoplysninger: Brug legitimationsoplysningerne for den person, der interagerer med agenten. Hver bruger skal have adgangslegitimationsoplysninger til computeren.

Menneskelig overvågning

Angiv, hvem der skal kontaktes via mail (Outlook), hvis computerbrugsagenten registrerer potentielt skadelige instruktioner, der kan ændre modelfunktionsmåden. Hver agent kører, og dens aktivitet er knyttet til den bruger, der startede den. Hvis du vælger en revisor, der ikke er den person, der kører computerbrugsagenten, ser de sandsynligvis ikke aktiviteten, fordi de ikke har initieret kørslen. De kan derfor ikke bekræfte eller reagere korrekt på anmodningen. Sørg også for, at modtageren er godkendt og har den nødvendige kontekst til at håndtere sådanne anmodninger. Svartidsgrænsen definerer, hvor længe anmodningen forbliver aktiv. Efter denne periode udløber anmodningen, og computerens kørsel stopper, hvis der ikke modtages noget svar. Få mere at vide i Human supervision.

Gemte legitimationsoplysninger

Definer de legitimationsoplysninger, som computeren bruger til at logge på websteder og programmer. Hvis der vises en logonprompt under udførelse, bruger computerbrug sikkert de legitimationsoplysninger, du har defineret i dette afsnit for det pågældende websted eller program. Adgangskoder gemmes enten i det interne lager i Power Platform (der kræves ingen konfiguration) eller i en Azure Key Vault, du angiver. Få mere at vide i Opret en key vault ved hjælp af Azure-portalen.

• Intern lagringsindstilling: Ved hjælp af denne indstilling kan du konfigurere legitimationsoplysninger i værktøjet uden nogen forudkonfiguration. Power Platform krypterer og gemmer hemmeligheder internt. For hver legitimation skal følgende oplysninger gives:

  • Type: vælg mellem Website og Desktop-app afhængigt af, hvilken surface du planlægger at bruge denne legitimation

  • Brugernavn: det brugernavn, du bruger til at logge ind på den pågældende hjemmeside eller applikation.

  • Adgangskode: adgangskodeværdien, der bruges til at logge ind på målwebsitet eller applikationen.

    Bemærkning

    Adgangskodefelter understøttes på alle websteder og de fleste Windows-programmer (WinForms, WPF, UWP, WinUI, Win32), som dækker de fleste kundescenarier. Nogle apptyper, f.eks. Electron, Java, Unity, spil, kommandolinjegrænseflader, Citrix eller andre virtualiserede miljøer, understøttes muligvis ikke.

  • Navn på logondomæne (websteder) eller skrivebordsapps (skrivebordsprogrammer):

    • Websteder: Angiv hovedwebstedsadressen (f.eks. example.com). Du inkluderer automatisk alle sider på det pågældende websted. Du kan også bruge jokertegn (*) til underdomæner. Eksempler: www.contoso.com, , *.contoso.comcontoso.com
    • Desktopprogrammer: Angiv programproduktnavnet eller procesnavnet. Tryk på Ctrl+Skift+Esc for at finde den for at åbne Jobliste. Kontrollér derefter fanen Processer . Eksempler: Microsoft Edge, msedge, Notepad.

• Azure Key Vault indstilling: Ved hjælp af denne indstilling kan du konfigurere legitimationsoplysninger i værktøjet ved først at angive abonnements-id'et, navnet på ressourcegruppen og navnet på key vault. Du kan finde alle disse oplysninger på siden Oversigt for din key vault.

  • Sådan bruger du Azure Key Vault-hemmeligheder med Power Platform:

    • Det Azure abonnement, der har vault'en, skal have PowerPlatform-ressourceudbyderen registreret.
    • Den bruger, der opretter miljøvariablen, skal have de nødvendige tilladelser til Azure Key Vault-ressourcen.

  • Hvis du ikke allerede har gjort det, skal du følge trinnene i Konfigurer Azure Key Vault og derefter angive følgende oplysninger:

    • Brugernavn: det brugernavn, du bruger til at logge ind på den pågældende hjemmeside eller applikation.

    • Navn på Azure-hemmelighed: Navnet på hemmeligheden i key vault, der gemmer adgangskoden til webstedet eller programmet

    • Navn på logondomæne (websteder) eller skrivebordsapps (skrivebordsprogrammer):

      • Websteder: Angiv hovedwebstedsadressen (f.eks. example.com). Du inkluderer automatisk alle sider på det pågældende websted. Du kan også bruge jokertegn (*) til underdomæner. Eksempler: www.contoso.com, , *.contoso.comcontoso.com
      • Desktopprogrammer: Angiv programproduktnavnet eller procesnavnet. Tryk på Ctrl+Skift+Esc for at finde den for at åbne Jobliste. Kontrollér derefter fanen Processer . Eksempler: Microsoft Edge, msedge, Notepad.

Adgangskontrol

Computerbrug kan som standard fungere på et hvilket som helst websted eller program. Hvis du vil begrænse denne adgang, skal du aktivere adgangskontrol for at definere de specifikke URL-adresser og skrivebordsprogrammer, som computerbrug skal begrænses til. Du kan konfigurere både websteder og programmer:

• Websteder: Angiv hovedwebstedsadressen (f.eks. example.com). Du inkluderer automatisk alle sider på det pågældende websted. Du kan også bruge jokertegn (*) til underdomæner. Eksempler: www.contoso.com, , *.contoso.comcontoso.com
• Desktopprogrammer: Angiv programproduktnavnet eller procesnavnet. Tryk på Ctrl+Skift+Esc for at finde den for at åbne Jobliste. Kontrollér derefter fanen Processer . Eksempler: Microsoft Edge, msedge, Notepad.

Test computerbrug

Test af computerbrug er et vigtigt trin i oprettelsesrejsen. Når du har angivet et navn, en beskrivelse og en vejledning og gemt værktøjet, skal du vælge Test for at starte testoplevelsen.

Efter en kort indlæsningsperiode vises testoplevelsen:

• Venstre panel viser dine instruktioner og en trin-for-trin log over værktøjets ræsonnement og handlinger.
• Det højre panel viser et eksempel på handlingerne på den maskine, du indstillede til computerbrug.

Når opgaven er fuldført, vises der en meddelelse om, at testen er fuldført . Mens testen er i gang, kan du vælge Stop test for straks at stoppe alle handlinger på computeren.

Hvis resultatet ikke er, som du forventer, skal du gå til konfigurationssiden og finjustere instruktionerne. Tilføj flere detaljer for at forbedre nøjagtigheden. Følg bedste praksis for at skrive effektive instruktioner.

Publicer en agent med computerbrug

Opsæt computerbrug, og udgiv derefter din agent. Hvordan din agent kører, afhænger af scenariet. Det kan være autonomt eller samtalebaseret:

• Autonome agenter kører automatisk og udfører opgaver i baggrunden.
• Samtaleagenter giver brugerne mulighed for at interagere via kanaler som Microsoft Teams.

Computerbrug fungerer bedst for autonome agenter, der udfører opgaver i baggrunden uden brugerinteraktion.

Du kan også anvende computerbrug i samtaleoplevelser, men vær opmærksom på følgende:

• Hvis du vælger Brugergodkendelse som godkendelsesindstilling, skal hver bruger, der interagerer med agenten i en samtale, have gyldige legitimationsoplysninger for den computer, der bruges af computeren.
• Når værktøjet kører, deler det ræsonneringsmeddelelser og skærmbilleder af maskinens aktivitet i chatten.

Bedste fremgangsmåder

Hvis du vil forblive produktiv og sikker i nutidens digitale miljøer, skal du følge bedste praksis for computerbrug, især når du skriver klare instruktioner og sikrer maskiner.

Bedste praksis for sikring af maskiner

Når du konfigurerer computere til computerbrug, der gør det muligt for AI at udføre opgaver ved hjælp af et naturligt sprog, skal du overveje disse sikkerhedsanbefalinger:

Bedste fremgangsmåder for instruktioner til computerbrug

De instruktioner, du skriver, bestemmer, hvor godt computerbrug fungerer. Specifikke, detaljerede instruktioner hjælper computerbrug med at fuldføre opgaver nøjagtigt. Tænk på det som at forklare en opgave til en kollega. Tydelig, trinvis vejledning hjælper med at sikre succes.

Tip til at skrive effektive instruktioner:

• Vær specifik om websteder og programmer. Medtag altid den fulde URL-adresse på et hvilket som helst websted og det nøjagtige navn på et program, som værktøjet skal bruge. Eksempel: Åbn https://www.microsoft.com og gå til 'Firmanyheder'.
• Angiv klart relevante handlinger. Hvis du vil have noget gjort, skal du sige det eksplicit – især for handlinger som afsendelse af en formular eller afsendelse af en mail. Eksempel: Når du har udfyldt formularen, vælger du Send. Der er ikke behov for at spørge om tilladelse.
• Nedbryd komplekse interaktioner. For områder, hvor brugergrænsefladen kan være mere kompleks at navigere i, skal du forklare hvert trin i detaljer. Eksempel: Vælg Mere-ikonet i øverste højre hjørne. En dropdown dukker op. Når den åbner, vælg det sidste punkt på listen.
• Brug trinvis formatering til længere opgaver. Lange instruktioner er nemmere at følge, når du formaterer dem som en liste.

Eksempel på instruktion

Udforsk disse eksempelinstruktioner for at afprøve computerbrug eller bruge dem som reference til at skrive dine egne.

Bedste fremgangsmåder til udtrækning af data

Brug computerbrug til at udtrække data fra websteder eller programmer. Send derefter disse data til din agent eller til andre værktøjer i agenten. Beskriv, hvilke oplysninger du vil udtrække direkte i instruktionerne til computerbrug.

Hvis du vil bruge de udtrukne data med et andet værktøj (f.eks. sende dem via mail), skal du angive dette behov i agentvejledningen og sørge for at føje begge værktøjer til agenten. Eksempel: Brug computerbrug til at udtrække klientoplysningerne for dashboardet for den finansielle portefølje og sende de udtrukne data via mail. I dette tilfælde skal din agent inkludere både værktøjet til computerbrug og mailværktøjet .

Udtræk værdier som tekst

Instruer computerbrug til at udtrække bestemte værdier og returnere dem som almindelig tekst. For eksempel udtrækker følgende prompt porteføljeforvalteren og porteføljeværdien for kunden, Fourth Coffee:

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
1. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
1. Return those two values as the final output.

Agenten returnerer kun de to ønskede værdier som tekst.

Udtræk værdier som JSON

Du kan også bede computerbrug om at returnere udpakkede oplysninger i JSON-format. Dette format er nyttigt, når du vil overføre strukturerede data til et andet værktøj. I følgende eksempel udtrækkes alle oversigtsrækker, der er relateret til Contoso, og de returneres som korrekt formateret JSON:

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Denne fremgangsmåde sikrer, at outputtet er struktureret.

Licensiering

Brug af computerregninger via handlingsfunktionen Agent med en faktureringssats på fem Copilot kreditter. Få mere at vide om faktureringssats og administration.

Hver computer, der kører, er afhængig af en AI-model, der udfører en sekvens af trin. Et trin kan omfatte en eller flere handlinger på lavt niveau, f.eks. at klikke, skrive eller navigere. Hvert trin forbruger 5 Copilot-kreditter eller 15 Copilot-kreditter, når du bruger en premium-model.

Følgende modeller er tilgængelige til computerbrug:

Hvis du f.eks. konfigurerer computerbrug til at udfylde en webbaseret timeseddelformular, kan kørslen udføre følgende trin:

1. Start browseren, og gå til timeseddelportalen.

2. Vælg Opret ny timeseddel.

3. Udfyld felterne Starttidspunkt, Sluttidspunkt og Projektkode .

4. Vælg Send.

I dette eksempel udfører computerbrugskørslen fire trin. Hvis der bruges en standardmodel, forbruger denne proces i alt 20 Copilot kreditter. Hvis den bruger en Premium-model, forbruger den i alt 60 Copilot Kreditter.

Del din feedback

Har du feedback om computerbrug? Fortæl os det på computeruse-feedback@microsoft.com.

Relaterede oplysninger

Ofte stillede spørgsmål om brug af computerværktøj