Le computer use désigne une IA qui se sert d'un logiciel comme une personne : elle regarde l'écran, clique et saisit. Cet article décrit comment cela se construit, où passent les données de santé, et ce qu'il faut mettre en place. Il s'adresse aux deux côtés : l'équipe qui veut automatiser une ressaisie, et l'éditeur dont le logiciel se retrouve utilisé par un automate.
Ce qu'est le computer use
Le fonctionnement tient en une boucle. On confie une tâche à l'IA, par exemple « envoie ce compte rendu au médecin traitant ». Le programme lui transmet une capture de l'écran. Le modèle répond par une action : un clic à tel endroit, un texte à saisir. Le programme exécute l'action, reprend une capture, et la boucle recommence jusqu'à la fin de la tâche.
Deux points en découlent. La machine reste pilotée par un programme, chez vous, qui prend les captures et exécute les clics. Et chaque capture part vers le modèle, puisque c'est elle qu'il lit pour décider.
| API | Automate classique (RPA) | Computer use | |
|---|---|---|---|
| Qui a prévu cet accès | L'éditeur du logiciel | Personne | Personne |
| Ce qui est écrit à l'avance | L'appel et sa réponse | Chaque clic | La consigne, en langage courant |
| Quand l'écran change | Le contrat de l'API tient | Le script casse | L'IA s'adapte, sans garantie de résultat |
| Ce qui sort vers un fournisseur d'IA | Rien | Rien | Les captures d'écran |
Pourquoi il arrive en santé
Le computer use répond à la ressaisie entre des logiciels qui ne se parlent pas. La voie prévue pour cela est l'interopérabilité. Le cadre d'interopérabilité de l'ANS (CI-SIS) pose que les systèmes d'information de santé « doivent être communicants ». L'annonce d'OpenAI décrit pourtant des étapes sans API, ou que l'API couvre en partie. The Decoder (17/11/2026) rapporte le cas d'une jeune entreprise qui s'en sert pour terminer des adressages dans un logiciel de cabinet dont l'API s'arrête avant le dernier clic.
L'API reste la bonne réponse quand elle existe : elle a un contrat, des droits et une trace. Le computer use occupe la place qu'elle laisse vide.
Ce travail devrait revenir à l'interopérabilité et aux API. Le computer use peut se lire comme une rustine posée sur un problème plus ancien : un logiciel qui n'ouvre pas le geste, ou deux systèmes qui n'échangent pas. La rustine rend service tout de suite. Elle laisse le problème en place, et elle ajoute des flux de données et un automate à surveiller. Quand un geste est automatisé par l'écran depuis des mois, la question à poser est celle de l'API qui manque.
Deux façons de le construire
L'agent agit à chaque exécution. Le modèle est dans la boucle en production. Chaque tâche lui envoie les écrans qu'elle traverse.
Découvrir, codifier, rejouer. C'est le choix du kit de CVS Health. Un agent suit la consigne dans le logiciel et enregistre ses captures, ses actions et ses traces. Un assistant de code transforme ensuite les essais réussis en script, qu'un ingénieur relit. En production, le script rejoue les gestes sans appel au modèle.
| Agent à chaque exécution | Découvrir, codifier, rejouer | |
|---|---|---|
| Écrans envoyés au modèle en production | À chaque tâche | Aucun |
| Quand l'écran du logiciel change | L'agent s'adapte | Le script casse, la découverte est à refaire |
| Ce qui se relit | Le journal des actions, après coup | Le code, avant la mise en production |
| Coût par tâche | Des appels au modèle | Aucun appel au modèle |
| Place de l'humain | Valider avant l'action sensible | Relire le script, puis surveiller |
Le second patron réduit l'exposition au modèle à la phase de conception. Il convient aux gestes stables et répétés. Le premier garde son intérêt pour des tâches qui varient d'une fois à l'autre.
Où passent les données de santé
Le flux vers le modèle est celui auquel on pense. Le dépôt de CVS Health en montre d'autres, moins visibles.

| Flux | Ce qui circule | Vers où |
|---|---|---|
| Découverte | Captures d'écran, consigne, identifiants du compte, historique des actions | Le modèle |
| Enregistrement | Captures, journal des événements (adresses, texte des éléments), trace complète de la session | Le disque de l'automate |
| Stockage distant, en option | Le répertoire entier de l'essai, sans masquage ajouté | Un stockage dans le cloud |
| Codification | Les enregistrements des essais réussis | L'assistant de code |
| Exécution | Rien vers le modèle | |
| Réparation d'un parcours cassé | Des traces de production | L'assistant de code |
Le dépôt précise que la trace complète peut contenir des identifiants, des cookies, des jetons de session et le contenu des pages, et que son masquage des identifiants ne couvre pas tous les cas. Sur un logiciel de soins, ce répertoire de traces devient un stock de données de santé que personne n'avait prévu. Les traces durent plus longtemps que l'appel au modèle.
Si vous automatisez
Découvrir en recette, sur des données fictives. C'est le geste qui change le plus le risque : la découverte et la codification ne portent alors aucune donnée de patient.
Traiter les traces comme des données de santé. Elles se rangent là où le reste du produit range ses données, avec la même question d'hébergement certifié HDS si un prestataire les héberge. Leur durée de conservation est écrite et une tâche les purge : l'article 5, paragraphe 1, point e) du RGPD demande une conservation limitée à ce que la finalité exige.
Garder les identifiants hors du modèle. Dans le kit, les identifiants du compte passent par la consigne, donc par le modèle. Le dépôt recommande lui-même une autre voie : un code local ouvre la session, puis passe la main à l'agent. Le guide de l'ANSSI sur les systèmes d'IA agentiques (mesure 6.3) demande de maintenir les secrets hors du contexte du modèle, des mémoires et des journaux.
Faire valider par une personne avant l'envoi. Un document qui part chez un tiers ou une demande déposée chez un assureur ne se rattrapent pas. Le même guide (mesure 3.2) soumet à une approbation humaine les actions critiques et les accès à des données sensibles, avec un mécanisme d'approbation hors de portée de l'agent.
Isoler le poste de l'automate. Une machine virtuelle dédiée, des droits réduits, un accès réseau limité aux adresses utiles. La mesure 5.4 du guide de l'ANSSI résume la règle : aucun privilège implicite pour l'agent.
Traiter l'écran comme un contenu non fiable. Un document affiché peut contenir une phrase écrite pour détourner l'agent. La documentation de l'outil computer use d'Anthropic prévient que des instructions présentes dans une page ou une image peuvent passer devant les consignes. Un compte rendu scanné ou un message reçu d'un tiers entrent dans ce cas.
Vérifier le droit d'automatiser. Les conditions d'utilisation du logiciel ou du portail visé disent parfois si un accès automatisé est permis. Mieux vaut le lire avant, et en parler à l'éditeur.
Choisir le modèle en connaissance de cause. Plusieurs fournisseurs proposent le computer use, et il existe des modèles à poids ouverts faits pour cela, à installer sur ses propres serveurs. Leur licence est à lire : certaines versions sont publiées sous licence non commerciale.
Si c'est votre logiciel qui est utilisé
Pour l'éditeur, le premier constat est qu'il ne voit rien. L'automate arrive avec la session ou le compte d'un utilisateur. Le journal des accès montre une personne qui ouvre des dossiers, parfois très vite. L'article Comment tracer les accès aux données de santé, agent IA compris décrit ce journal : l'agent qui passe par l'écran est le chemin qu'il ne distingue pas.
Lire l'automatisation comme une demande. Quand un client automatise un écran, il signale un geste que l'API ne couvre pas. Ajouter ce geste à l'API lui rend le contrat, les droits et la trace.
Prévoir un compte pour les automates. Un compte distinct de celui des personnes, rattaché à un responsable nommé, avec des droits limités à la tâche, et marqué comme automate dans le journal. Le référentiel d'imputabilité de la PGSSI-S parle déjà des actions « des utilisateurs ou des machines » (section 7.1.2.1) et demande une restitution des traces par utilisateur ou machine (section 6.2.2).
Regarder le rythme. Sans compte dédié, seul le rythme des accès signale un automate : des dizaines d'ouvertures en une minute sous un même nom. C'est un indice, sans valeur de preuve.
L'écrire dans les conditions d'utilisation. Dire si l'usage par un automate est permis, et à quelles conditions, évite de le découvrir par un incident.
Une tension est à connaître. Le référentiel des systèmes de téléconsultation (exigence SSI.07) interdit qu'un compte générique serve à se connecter aux interfaces homme-machine. Un compte d'automate qui ouvre l'écran se rapproche de ce cas. Pour un produit soumis à ce référentiel, l'API est la voie à retenir.
Les exigences que ces gestes aident à tenir
| Exigence | Ce que le geste apporte | Preuve produite |
|---|---|---|
| RGPD, article 5, paragraphe 1, point e) : conservation limitée | Durée écrite et purge des traces de l'automate | Tâche de purge, relevé du répertoire de traces |
| ANSSI, IA agentique, mesure 3.2 : approbation humaine des actions critiques | Validation avant tout envoi | Journal des validations |
| ANSSI, IA agentique, mesure 5.4 : aucun privilège implicite | Compte et poste à droits réduits | Liste des droits du compte |
| ANSSI, IA agentique, mesure 6.3 : secrets hors du contexte du modèle | Session ouverte par un code local | Recherche d'identifiants dans les traces, sans résultat |
| ANSSI, IA agentique, mesure 7.4 : journaux hors de portée de l'agent | Traces écrites dans un espace que l'automate ne modifie pas | Essai d'écriture refusé |
| PGSSI-S, imputabilité, 7.1.2.1 et 6.2.2 : tracer les actions des machines | Compte d'automate visible au journal | Extrait du journal filtré sur l'automate |
Le guide de l'ANSSI est d'application volontaire. La PGSSI-S et le référentiel de téléconsultation s'appliquent selon le produit. Ces questions se tranchent sur le produit réel, avec ses faits : c'est l'objet d'un Sonar Express.
Ce que ces gestes ne règlent pas
L'injection par le contenu de l'écran n'a pas de parade complète en 2026. La validation humaine et les droits réduits bornent ce qu'une instruction injectée peut obtenir. Le modèle la lit quand même.
Le modèle peut se tromper sans le signaler. La documentation d'Anthropic note qu'il agit parfois comme si une action avait réussi sans vérifier son résultat. Une vérification de l'état final, écrite dans le parcours, reste nécessaire.
Le script rejoué est fragile. Une mise à jour du logiciel visé le casse, et la tentation est de le réparer avec des traces de production. Refaire la découverte en recette évite ce retour de données réelles vers un assistant de code.
La dépendance au fournisseur demeure pendant la découverte. Le kit de CVS Health s'appuie sur le modèle et sur les outils d'OpenAI. Le script rejoué et le stockage des traces en sont indépendants. Le patron avec un autre modèle, hébergé en Europe, reste à tester.
Ce que l'équipe vérifie dans son produit
- Une recherche dans les traces. Lancer un parcours en recette avec un patient fictif et un mot de passe de test, puis chercher ces deux chaînes dans le répertoire de traces et dans le stockage distant.
- Une exécution sans clé. Rejouer le script en retirant la clé d'API du modèle. S'il tourne, aucun écran ne part vers le modèle en production.
- Une action retrouvée au journal. Faire agir l'automate, puis vérifier que le journal du logiciel visé montre son compte, et pas celui d'une personne.
- Une purge constatée. Une trace plus ancienne que la durée fixée n'existe plus, sur le disque comme dans le stockage distant.
Ce que les utilisateurs y gagnent
La secrétaire ou le soignant ne recopient plus d'un écran à l'autre. Le patient voit son document partir à temps. Et quand un dossier a été ouvert, l'établissement peut dire si c'était une personne ou un automate, et qui en répond.
Sources
- OpenAI, « Advancing computer-use agents for healthcare teams », 16/11/2026 : https://openai.com/index/advancing-computer-use-for-healthcare-teams/
- CVS Health, dépôt CUA Agent Kit, lu le 18/11/2026 : https://github.com/cvs-health/cua-agent-kit
- The Decoder, « AI agents are starting to fill out medical forms and file insurance requests in place of human staff », 17/11/2026 : https://the-decoder.com/ai-agents-are-starting-to-fill-out-medical-forms-and-file-insurance-requests-in-place-of-human-staff/
- Anthropic, documentation de l'outil computer use, lue le 19/11/2026 : https://platform.claude.com/docs/en/agents-and-tools/tool-use/computer-use-tool
- DataNorth, « H Company releases Holo4 », 29/09/2026, pour les licences des modèles à poids ouverts : https://datanorth.ai/news/h-company-releases-holo4
- ANS, cadre d'interopérabilité des systèmes d'information de santé (CI-SIS) : https://esante.gouv.fr/interoperabilite/ci-sis
- ANSSI, « Les essentiels : sécuriser un système IA agentique », V1.0, 30/10/2026 : https://messervices.cyber.gouv.fr/documents-guides/anssi_essentiels_ia_agentique_1.0.pdf
- PGSSI-S, référentiel d'imputabilité, v1.0 : https://esante.gouv.fr/sites/default/files/media_entity/documents/pgssi_referentiel_imputabilite_v1.0_0.pdf
- ANS, référentiel d'interopérabilité, de sécurité et d'éthique des systèmes de téléconsultation, v1.5.1 : https://esante.gouv.fr/produits-services/telesante/teleconsultation
- Règlement (UE) 2016/679 (RGPD), article 5 : https://eur-lex.europa.eu/legal-content/FR/TXT/?uri=CELEX:02016R0679-20160504