Automatisez les applications Web et de bureau à l’aide d’un ordinateur

L’utilisation de l’ordinateur est un outil dans Copilot Studio qui permet à votre agent d’interagir avec et d’automatiser les tâches sur un ordinateur Windows. Il fonctionne avec les sites Web et les applications de bureau en sélectionnant des boutons, en choisissant des menus et en saisissant du texte dans les champs à l’écran. Décrivez en langage naturel ce que vous voulez que l'ordinateur fasse, et il exécute la tâche sur un ordinateur que vous avez configuré à l'aide d'une souris virtuelle et d'un clavier. En utilisant l’utilisation de l’ordinateur, les agents peuvent effectuer des tâches même s’il n’existe aucune API pour se connecter directement au système. Si une personne peut utiliser une application ou un site web, l'utilisation de l'ordinateur peut aussi être possible. Vous pouvez utiliser l’ordinateur pour des tâches telles que l’entrée de données automatisée, le traitement des factures et l’extraction de données.

L’utilisation de l’ordinateur est alimentée par des agents utilisant l’ordinateur (CUA), un modèle d’IA qui combine des capacités de vision avec un raisonnement avancé pour interagir avec les interfaces utilisateur graphiques (GUI). Étant donné qu’il est alimenté par l’IA, il s’adapte aux modifications d’interface. Par exemple, lorsque les boutons ou les écrans changent, l’outil continue de fonctionner sans interrompre votre flux. C’est simple à utiliser. Décrivez simplement ce que vous voulez en langage naturel. Vous n’avez pas besoin d’écrire du code.

Regardez cette vidéo pour découvrir comment l’outil d’utilisation de l’ordinateur permet à un agent d’interagir avec une application web.

Ajoutez l'accès à l'ordinateur pour votre agent

Dans Copilot Studio, ajoutez l’ordinateur en tant qu’outil en procédant comme suit :

1. Accédez à la page Outils de votre agent et sélectionnez Ajouter un outil.

2. Dans Ajouter un outil, sélectionnez Nouvel outil.

3. Sélectionnez Utilisation de l’ordinateur.

4. Fournissez les instructions qui décrivent la tâche que l’outil doit effectuer sur l’ordinateur. Les modèles d’instructions sont disponibles pour vous aider à commencer. Suivez les bonnes pratiques pour obtenir des instructions sur l’utilisation de l’ordinateur.

5. Sélectionnez Ajouter et configurer. Sur la page de configuration, configurez ces quatre champs :

   • Nom : entrez le nom complet de l’outil d’utilisation de l’ordinateur. Ce nom vous permet de le différencier des autres outils que vous ajoutez à votre agent.

   • Description : entrez une brève description de ce que fait cet outil et quand l’utiliser. Ce texte permet à votre agent de savoir quand utiliser cet outil.

   • Modèle : Sélectionnez le modèle utilisé pour exécuter l’outil d’utilisation informatique. Les modèles suivants sont disponibles :

     Provider	Modèle	Niveau	Status
     OpenAI	Agent utilisant un ordinateur (CUA)	Norme	Généralement disponible
     Anthropic	Claude Sonnet 4.5	Norme	Généralement disponible
     Anthropic	Claude Sonnet 4.6	Norme	Experimental
     Anthropic	Claude Opus 4.6	Premium	Experimental

     Note

     Pour utiliser le modèle de Anthropic, vérifiez que votre administrateur a activé access aux modèles externes pour votre environnement.

   • Instructions : Répertoriez les étapes que l’outil doit effectuer, y compris les URL et les noms d’application. Suivez les bonnes pratiques pour obtenir des instructions sur l’utilisation de l’ordinateur.

6. Si vous le souhaitez, examinez et ajustez les autres champs disponibles sur la page de configuration.

7. Cliquez sur Enregistrer.

Configurer les paramètres facultatifs

La page de configuration inclut des champs facultatifs au-delà des quatre champs obligatoires (Nom, Description, Modèle, Instructions). Passez en revue et configurez ces options si nécessaire pour votre scénario.

Données d'entrée

Utilisez des entrées pour définir des valeurs dynamiques qui changent chaque fois que l’ordinateur s’exécute. Par exemple, si vous souhaitez remplir un formulaire avec une valeur différente à chaque exécution, créez une entrée pour ce champ. Au moment de l’exécution, l’utilisation de l’ordinateur combine vos instructions avec les valeurs d’entrée pour terminer la tâche.

Machine

Sélectionnez l’ordinateur cible utilisé par l’agent pour exécuter l’utilisation de l’ordinateur. Apprenez-en davantage sur Configurer les paramètres de fonctionnement de l’ordinateur.

• Sélectionnez Actualiser pour mettre à jour la liste des machines.
• Sélectionnez Manage machines pour ouvrir la page de gestion des machines dans Power Automate.
• Sélectionnez Voir les détails de la machine pour ouvrir la page des détails de la machine dans Power Automate.

Connection

Connexion utilisée pour cet outil. Mettez à jour ou créez une connexion pour modifier les informations d’identification utilisées.

Identifiants à utiliser

Spécifiez comment l'utilisation de l'ordinateur authentifie pendant l'exécution de programmes :

• Informations d’identification fournies par maker (par défaut) : utilisez les informations d’identification du créateur. Cette option convient aux agents autonomes.

  Warning

  Si vous partagez un agent avec ce paramètre, toute personne qui l’utilise peut agir avec l’accès de l’auteur original sur la machine configurée.

• Informations d’identification de l’utilisateur final : utilisez les informations d’identification de la personne qui interagit avec l’agent. Chaque utilisateur doit disposer des informations d’identification d’accès à la machine.

Supervision humaine

Spécifiez qui doit être contacté par e-mail (Outlook) si l’agent d’utilisation de l’ordinateur détecte des instructions potentiellement dangereuses susceptibles de modifier le comportement du modèle. Chaque exécution d’assistant et son activité sont associées à l’utilisateur qui l’a déclenchée. Si vous choisissez un évaluateur autre que la personne qui gère l'agent d'utilisation de l'ordinateur, il est probable qu'il ne voie pas l'activité car il n'a pas initié l'exécution. Par conséquent, il ne pourra ni vérifier correctement la requête ni y donner suite. Vérifiez également que le destinataire est autorisé et dispose du contexte nécessaire pour gérer ces requêtes. La limite de temps de réponse définit la durée pendant laquelle la requête reste active. Après cette période, la requête expire et l'exécution de l'utilisation de l'ordinateur s'arrête si aucune réponse n'est reçue. En savoir plus sur la supervision humaine.

Informations d'identification stockées

Définissez les informations d’identification utilisées par l’ordinateur pour se connecter aux sites web et aux applications. Pendant l’exécution, si une invite de connexion s’affiche, l’ordinateur utilise en toute sécurité les informations d’identification que vous avez définies dans cette section pour ce site ou cette application. Les mots de passe sont stockés dans le stockage interne Power Platform (aucune configuration requise) ou dans une Azure Key Vault que vous fournissez. En savoir plus dans Créer un coffre de clés à l’aide du portail Azure.

• Option de stockage interne : à l’aide de cette option, vous pouvez configurer les informations d’identification dans l’outil sans aucune préconfiguration. Power Platform chiffre et stocke les secrets en interne. Pour chaque diplôme, fournissez les informations suivantes :

  • Type : choisissez entre l’application Site web et l’application de bureau selon la surface que vous souhaitez utiliser pour cette certification

  • Nom d’utilisateur : le nom d’utilisateur que vous utilisez pour vous connecter au site ou à l’application cible.

  • Mot de passe : la valeur de mot de passe utilisée pour se connecter au site ou à l’application cible.

    Note

    Les champs de mot de passe sont pris en charge sur tous les sites web et la plupart des applications Windows (WinForms, WPF, UWP, WinUI, Win32), qui couvrent la plupart des scénarios clients. Certains types d’applications, tels que Electron, Java, Unity, jeux, interfaces de ligne de commande, Citrix ou d’autres environnements virtualisés, peuvent ne pas être pris en charge.

  • Domaine de connexion (sites web) ou nom de l’application de bureau (applications de bureau) :

    • Sites web : entrez l’adresse du site web principal (par exemple, example.com). Vous incluez automatiquement toutes les pages de ce site web. Vous pouvez également utiliser des caractères génériques (*) pour les sous-domaines. Exemples : www.contoso.com, , *.contoso.comcontoso.com
    • Applications de bureau : entrez le nom du produit d’application ou le nom du processus. Pour le trouver, appuyez sur Ctrl+Maj+Échap pour ouvrir le Gestionnaire des tâches. Vérifiez ensuite l’onglet Processus . Exemples : Microsoft Edge, msedge, Notepad.

• Azure Key Vault option : à l’aide de cette option, vous pouvez configurer les informations d’identification dans l’outil en entrant d’abord l’ID d’abonnement, le nom du groupe de ressources et le nom du coffre de clés. Vous trouverez toutes ces informations sur la page Vue d’ensemble de votre coffre de clés.

  • Pour utiliser Azure Key Vault secrets avec Power Platform :

    • L’abonnement Azure qui dispose du coffre doit avoir le « fournisseur de ressources PowerPlatform »  inscrit.
    • L’utilisateur qui crée la variable d’environnement doit disposer des autorisations appropriées pour la ressource Azure Key Vault.

  • Si vous ne l’avez pas déjà fait, suivez les étapes décrites dans Configurer Azure Key Vault , puis fournissez les détails suivants :

    • Nom d’utilisateur : le nom d’utilisateur que vous utilisez pour vous connecter au site ou à l’application cible.

    • Nom du secret Azure : nom du secret dans le coffre de clés qui stocke le mot de passe du site web ou de l’application

    • Domaine de connexion (sites web) ou nom de l’application de bureau (applications de bureau) :

      • Sites web : entrez l’adresse du site web principal (par exemple, example.com). Vous incluez automatiquement toutes les pages de ce site web. Vous pouvez également utiliser des caractères génériques (*) pour les sous-domaines. Exemples : www.contoso.com, , *.contoso.comcontoso.com
      • Applications de bureau : entrez le nom du produit d’application ou le nom du processus. Pour le trouver, appuyez sur Ctrl+Maj+Échap pour ouvrir le Gestionnaire des tâches. Vérifiez ensuite l’onglet Processus . Exemples : Microsoft Edge, msedge, Notepad.

Contrôle d’accès

Par défaut, l’utilisation de l’ordinateur peut fonctionner sur n’importe quel site web ou application. Si vous souhaitez restreindre cet accès, activez le contrôle d’accès pour définir les URL spécifiques et les applications de bureau auxquelles l'utilisation de l'ordinateur doit être limitée. Vous pouvez configurer à la fois des sites web et des applications :

• Sites web : entrez l’adresse du site web principal (par exemple, example.com). Vous incluez automatiquement toutes les pages de ce site web. Vous pouvez également utiliser des caractères génériques (*) pour les sous-domaines. Exemples : www.contoso.com, , *.contoso.comcontoso.com
• Applications de bureau : entrez le nom du produit d’application ou le nom du processus. Pour le trouver, appuyez sur Ctrl+Maj+Échap pour ouvrir le Gestionnaire des tâches. Vérifiez ensuite l’onglet Processus . Exemples : Microsoft Edge, msedge, Notepad.

Tester l'utilisation de l'ordinateur

Le test de l'utilisation de l'ordinateur est une étape clé du processus d'écriture. Après avoir entré un nom, une description et des instructions, puis enregistré l’outil, sélectionnez Test pour démarrer l’expérience de test.

Après une courte période de chargement, l’expérience de test s’affiche :

• Le panneau de gauche affiche vos instructions ainsi qu’un journal étape par étape des raisonnements et actions de l’outil.
• Le volet de droite affiche un aperçu des actions sur la machine que vous avez configurée pour l’utilisation de l’ordinateur.

Une fois la tâche terminée, un message test terminé s’affiche. Pendant que le test est en cours, vous pouvez sélectionner Arrêter le test pour arrêter immédiatement toutes les actions sur l’ordinateur.

Si le résultat n’est pas ce que vous attendez, accédez à la page de configuration et affinez vos instructions. Ajoutez plus de détails pour améliorer la précision. Suivez les bonnes pratiques pour écrire des instructions efficaces.

Publier un agent avec l'utilisation d'un ordinateur

Configurez l’utilisation de l’ordinateur, puis publiez votre agent. Le mode de fonctionnement de votre agent dépend du scénario. Il peut être autonome ou conversationnel :

• Les agents autonomes s’exécutent automatiquement et effectuent des tâches en arrière-plan.
• Les agents conversationnels permettent aux utilisateurs d’interagir via des canaux tels que Microsoft Teams.

L'utilisation de l'ordinateur est optimale pour les agents autonomes, qui exécutent des tâches en tâche de fond sans interaction avec l'utilisateur.

Vous pouvez également appliquer l’utilisation de l’ordinateur dans les expériences conversationnelles, mais gardez à l’esprit ces considérations :

• Si vous sélectionnez l’authentification utilisateur comme paramètre d’authentification, chaque utilisateur interagissant avec l’agent dans une conversation doit disposer d’informations d’identification valides pour l’ordinateur qu’il utilise.
• Lorsque l’outil s’exécute, il partage des messages de raisonnement et des captures d’écran de l’activité de la machine dans le chat.

Bonnes pratiques

Pour rester productifs et sûrs dans les environnements numériques actuels, suivez les meilleures pratiques pour l’utilisation de l’ordinateur, en particulier lors de l’écriture d’instructions claires et de la sécurisation des machines.

Bonnes pratiques pour la sécurisation des machines

Lorsque vous configurez des ordinateurs pour une utilisation informatique qui permet à l’IA d’effectuer des tâches à l’aide du langage naturel, tenez compte des recommandations de sécurité suivantes :

Meilleures pratiques pour les instructions d’utilisation de l’ordinateur

Les instructions que vous écrivez déterminent le bon fonctionnement de l’utilisation de l’ordinateur. Des instructions spécifiques et détaillées aident l’ordinateur à utiliser des tâches complètes avec précision. C’est comme si vous expliquiez une tâche à un collègue. Des conseils clairs, étape par étape, garantissent le succès.

Conseils pour rédiger des instructions efficaces :

• Soyez précis sur les sites Web et les applications. Incluez toujours l’URL complète de n’importe quel site web et le nom exact de toute application que l’outil doit utiliser. Exemple : ouvrez https://www.microsoft.com et allez dans « Actualités de l’entreprise ».
• Indiquez clairement les actions pertinentes. Si vous souhaitez faire quelque chose, dites-le explicitement, en particulier pour les actions telles que l’envoi d’un formulaire ou l’envoi d’un e-mail. Exemple : Une fois le formulaire rempli, sélectionnez Envoyer. Pas besoin de demander la permission.
• Décomposez les interactions complexes. Pour les zones où l’interface utilisateur peut être plus complexe à naviguer, expliquez chaque étape en détail. Exemple : Sélectionnez l’icône Plus en haut à droite. Un menu déroulant apparaît. Une fois ouvert, sélectionnez le dernier élément de la liste.
• Utilisez la mise en forme pas à pas pour des tâches plus longues. Les instructions longues sont plus faciles à suivre lorsque vous les mettez en forme sous forme de liste.

Exemples d’instructions

Explorez ces exemples d’instructions pour tester l’utilisation de l’ordinateur ou les utiliser comme référence pour écrire vos propres instructions.

Meilleures pratiques pour l’extraction de données

Utilisez l’ordinateur pour extraire des données à partir de sites web ou d’applications. Ensuite, transmettez ces données à votre agent ou à d’autres outils de l’agent. Décrivez les informations que vous souhaitez extraire directement dans les instructions d’utilisation de l’ordinateur.

Si vous souhaitez utiliser les données extraites avec un autre outil (par exemple, l’envoyer par e-mail), spécifiez ce besoin dans les instructions de l’agent et veillez à ajouter les deux outils à l’agent. Exemple : utilisez l’ordinateur pour extraire les informations du client pour le tableau de bord du portefeuille financier et envoyer par e-mail les données extraites. Dans ce cas, votre agent doit inclure à la fois l’outil d’utilisation de l’ordinateur et l’outil de messagerie .

Extraire des valeurs en tant que texte

Indiquez à l’ordinateur d’extraire des valeurs spécifiques et de les renvoyer sous forme de texte brut. Par exemple, l’invite suivante extrait le gestionnaire de portefeuille et la valeur du portefeuille pour le client Fourth Coffee :

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
1. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
1. Return those two values as the final output.

L’assistant retourne uniquement les deux valeurs demandées sous forme de texte.

Extraire des valeurs en tant que JSON

Vous pouvez également demander à l’ordinateur de retourner des informations extraites au format JSON. Ce format est utile lorsque vous souhaitez transmettre des données structurées à un autre outil. L’exemple suivant extrait toutes les lignes de portefeuille liées à Contoso et les retourne en tant que JSON correctement mis en forme :

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Cette approche garantit que la sortie est structurée.

Licensing

L'ordinateur facture l'utilisation via la fonction Agent Action avec un taux de facturation de cinq crédits Copilot. En savoir plus sur le taux de facturation et la gestion.

Chaque exécution d’utilisation informatique repose sur un modèle d’IA qui exécute une séquence d’étapes. Une étape peut impliquer une ou plusieurs actions de bas niveau, telles que le clic, la saisie ou la navigation. Chaque étape consomme 5 crédits Copilot, ou 15 crédits Copilot lors de l’utilisation d’un modèle Premium.

Les modèles suivants sont disponibles pour l’utilisation de l’ordinateur :

Par exemple, si vous configurez l’ordinateur pour remplir un formulaire de feuille de temps web, l’exécution peut effectuer les étapes suivantes :

1. Lancez le navigateur et accédez au portail de feuille de temps.

2. Sélectionnez Créer une feuille de temps.

3. Renseignez les champs Heure de début, Heure de fin et Code du projet .

4. Sélectionnez Envoyer.

Dans cet exemple, l’exécution de « computer use » comprend quatre étapes. Si le processus utilise un modèle standard, il consomme au total 20 crédits Copilot. S’il utilise un modèle premium, il consomme 60 crédits Copilot au total.

Partager vos commentaires

Avez-vous des commentaires sur l’utilisation de l’ordinateur ? Faites-nous savoir à computeruse-feedback@microsoft.com.

Informations associées

FAQ sur l’outil d’utilisation de l’ordinateur