Réserver 30 minutes

Accueil / Journal / Computer use en santé

IA
  • IA
  • Computer use
  • Interopérabilité

Computer use en santé : quand une IA utilise votre logiciel par l'écran

Le computer use désigne une IA qui se sert d'un logiciel comme une personne : elle regarde l'écran, clique et saisit. Cet article décrit comment cela se construit, où passent les données de santé, et ce qu'il faut mettre en place. Il s'adresse aux deux côtés : l'équipe qui veut automatiser une ressaisie, et l'éditeur dont le logiciel se retrouve utilisé par un automate.

Ce qu'est le computer use

Le fonctionnement tient en une boucle. On confie une tâche à l'IA, par exemple « envoie ce compte rendu au médecin traitant ». Le programme lui transmet une capture de l'écran. Le modèle répond par une action : un clic à tel endroit, un texte à saisir. Le programme exécute l'action, reprend une capture, et la boucle recommence jusqu'à la fin de la tâche.

Deux points en découlent. La machine reste pilotée par un programme, chez vous, qui prend les captures et exécute les clics. Et chaque capture part vers le modèle, puisque c'est elle qu'il lit pour décider.

APIAutomate classique (RPA)Computer use
Qui a prévu cet accèsL'éditeur du logicielPersonnePersonne
Ce qui est écrit à l'avanceL'appel et sa réponseChaque clicLa consigne, en langage courant
Quand l'écran changeLe contrat de l'API tientLe script casseL'IA s'adapte, sans garantie de résultat
Ce qui sort vers un fournisseur d'IARienRienLes captures d'écran

Pourquoi il arrive en santé

Le computer use répond à la ressaisie entre des logiciels qui ne se parlent pas. La voie prévue pour cela est l'interopérabilité. Le cadre d'interopérabilité de l'ANS (CI-SIS) pose que les systèmes d'information de santé « doivent être communicants ». L'annonce d'OpenAI décrit pourtant des étapes sans API, ou que l'API couvre en partie. The Decoder (17/11/2026) rapporte le cas d'une jeune entreprise qui s'en sert pour terminer des adressages dans un logiciel de cabinet dont l'API s'arrête avant le dernier clic.

L'API reste la bonne réponse quand elle existe : elle a un contrat, des droits et une trace. Le computer use occupe la place qu'elle laisse vide.

Ce travail devrait revenir à l'interopérabilité et aux API. Le computer use peut se lire comme une rustine posée sur un problème plus ancien : un logiciel qui n'ouvre pas le geste, ou deux systèmes qui n'échangent pas. La rustine rend service tout de suite. Elle laisse le problème en place, et elle ajoute des flux de données et un automate à surveiller. Quand un geste est automatisé par l'écran depuis des mois, la question à poser est celle de l'API qui manque.

Deux façons de le construire

L'agent agit à chaque exécution. Le modèle est dans la boucle en production. Chaque tâche lui envoie les écrans qu'elle traverse.

Découvrir, codifier, rejouer. C'est le choix du kit de CVS Health. Un agent suit la consigne dans le logiciel et enregistre ses captures, ses actions et ses traces. Un assistant de code transforme ensuite les essais réussis en script, qu'un ingénieur relit. En production, le script rejoue les gestes sans appel au modèle.

Agent à chaque exécutionDécouvrir, codifier, rejouer
Écrans envoyés au modèle en productionÀ chaque tâcheAucun
Quand l'écran du logiciel changeL'agent s'adapteLe script casse, la découverte est à refaire
Ce qui se relitLe journal des actions, après coupLe code, avant la mise en production
Coût par tâcheDes appels au modèleAucun appel au modèle
Place de l'humainValider avant l'action sensibleRelire le script, puis surveiller

Le second patron réduit l'exposition au modèle à la phase de conception. Il convient aux gestes stables et répétés. Le premier garde son intérêt pour des tâches qui varient d'une fois à l'autre.

Où passent les données de santé

Le flux vers le modèle est celui auquel on pense. Le dépôt de CVS Health en montre d'autres, moins visibles.

Schéma d'architecture du computer use d'OpenAI en santé, d'après le kit de CVS Health. Trois temps chez l'établissement : découvrir, codifier, rejouer. Des flèches rouges montrent où peuvent passer des données de santé : modèle d'OpenAI, assistant de code, stockage cloud.
Le kit de CVS Health et ses flux de données. Les flèches rouges marquent les endroits où peuvent passer des données de santé.
FluxCe qui circuleVers où
DécouverteCaptures d'écran, consigne, identifiants du compte, historique des actionsLe modèle
EnregistrementCaptures, journal des événements (adresses, texte des éléments), trace complète de la sessionLe disque de l'automate
Stockage distant, en optionLe répertoire entier de l'essai, sans masquage ajoutéUn stockage dans le cloud
CodificationLes enregistrements des essais réussisL'assistant de code
ExécutionRien vers le modèle
Réparation d'un parcours casséDes traces de productionL'assistant de code

Le dépôt précise que la trace complète peut contenir des identifiants, des cookies, des jetons de session et le contenu des pages, et que son masquage des identifiants ne couvre pas tous les cas. Sur un logiciel de soins, ce répertoire de traces devient un stock de données de santé que personne n'avait prévu. Les traces durent plus longtemps que l'appel au modèle.

Si vous automatisez

Découvrir en recette, sur des données fictives. C'est le geste qui change le plus le risque : la découverte et la codification ne portent alors aucune donnée de patient.

Traiter les traces comme des données de santé. Elles se rangent là où le reste du produit range ses données, avec la même question d'hébergement certifié HDS si un prestataire les héberge. Leur durée de conservation est écrite et une tâche les purge : l'article 5, paragraphe 1, point e) du RGPD demande une conservation limitée à ce que la finalité exige.

Garder les identifiants hors du modèle. Dans le kit, les identifiants du compte passent par la consigne, donc par le modèle. Le dépôt recommande lui-même une autre voie : un code local ouvre la session, puis passe la main à l'agent. Le guide de l'ANSSI sur les systèmes d'IA agentiques (mesure 6.3) demande de maintenir les secrets hors du contexte du modèle, des mémoires et des journaux.

Faire valider par une personne avant l'envoi. Un document qui part chez un tiers ou une demande déposée chez un assureur ne se rattrapent pas. Le même guide (mesure 3.2) soumet à une approbation humaine les actions critiques et les accès à des données sensibles, avec un mécanisme d'approbation hors de portée de l'agent.

Isoler le poste de l'automate. Une machine virtuelle dédiée, des droits réduits, un accès réseau limité aux adresses utiles. La mesure 5.4 du guide de l'ANSSI résume la règle : aucun privilège implicite pour l'agent.

Traiter l'écran comme un contenu non fiable. Un document affiché peut contenir une phrase écrite pour détourner l'agent. La documentation de l'outil computer use d'Anthropic prévient que des instructions présentes dans une page ou une image peuvent passer devant les consignes. Un compte rendu scanné ou un message reçu d'un tiers entrent dans ce cas.

Vérifier le droit d'automatiser. Les conditions d'utilisation du logiciel ou du portail visé disent parfois si un accès automatisé est permis. Mieux vaut le lire avant, et en parler à l'éditeur.

Choisir le modèle en connaissance de cause. Plusieurs fournisseurs proposent le computer use, et il existe des modèles à poids ouverts faits pour cela, à installer sur ses propres serveurs. Leur licence est à lire : certaines versions sont publiées sous licence non commerciale.

Si c'est votre logiciel qui est utilisé

Pour l'éditeur, le premier constat est qu'il ne voit rien. L'automate arrive avec la session ou le compte d'un utilisateur. Le journal des accès montre une personne qui ouvre des dossiers, parfois très vite. L'article Comment tracer les accès aux données de santé, agent IA compris décrit ce journal : l'agent qui passe par l'écran est le chemin qu'il ne distingue pas.

Lire l'automatisation comme une demande. Quand un client automatise un écran, il signale un geste que l'API ne couvre pas. Ajouter ce geste à l'API lui rend le contrat, les droits et la trace.

Prévoir un compte pour les automates. Un compte distinct de celui des personnes, rattaché à un responsable nommé, avec des droits limités à la tâche, et marqué comme automate dans le journal. Le référentiel d'imputabilité de la PGSSI-S parle déjà des actions « des utilisateurs ou des machines » (section 7.1.2.1) et demande une restitution des traces par utilisateur ou machine (section 6.2.2).

Regarder le rythme. Sans compte dédié, seul le rythme des accès signale un automate : des dizaines d'ouvertures en une minute sous un même nom. C'est un indice, sans valeur de preuve.

L'écrire dans les conditions d'utilisation. Dire si l'usage par un automate est permis, et à quelles conditions, évite de le découvrir par un incident.

Une tension est à connaître. Le référentiel des systèmes de téléconsultation (exigence SSI.07) interdit qu'un compte générique serve à se connecter aux interfaces homme-machine. Un compte d'automate qui ouvre l'écran se rapproche de ce cas. Pour un produit soumis à ce référentiel, l'API est la voie à retenir.

Les exigences que ces gestes aident à tenir

ExigenceCe que le geste apportePreuve produite
RGPD, article 5, paragraphe 1, point e) : conservation limitéeDurée écrite et purge des traces de l'automateTâche de purge, relevé du répertoire de traces
ANSSI, IA agentique, mesure 3.2 : approbation humaine des actions critiquesValidation avant tout envoiJournal des validations
ANSSI, IA agentique, mesure 5.4 : aucun privilège impliciteCompte et poste à droits réduitsListe des droits du compte
ANSSI, IA agentique, mesure 6.3 : secrets hors du contexte du modèleSession ouverte par un code localRecherche d'identifiants dans les traces, sans résultat
ANSSI, IA agentique, mesure 7.4 : journaux hors de portée de l'agentTraces écrites dans un espace que l'automate ne modifie pasEssai d'écriture refusé
PGSSI-S, imputabilité, 7.1.2.1 et 6.2.2 : tracer les actions des machinesCompte d'automate visible au journalExtrait du journal filtré sur l'automate

Le guide de l'ANSSI est d'application volontaire. La PGSSI-S et le référentiel de téléconsultation s'appliquent selon le produit. Ces questions se tranchent sur le produit réel, avec ses faits : c'est l'objet d'un Sonar Express.

Ce que ces gestes ne règlent pas

L'injection par le contenu de l'écran n'a pas de parade complète en 2026. La validation humaine et les droits réduits bornent ce qu'une instruction injectée peut obtenir. Le modèle la lit quand même.

Le modèle peut se tromper sans le signaler. La documentation d'Anthropic note qu'il agit parfois comme si une action avait réussi sans vérifier son résultat. Une vérification de l'état final, écrite dans le parcours, reste nécessaire.

Le script rejoué est fragile. Une mise à jour du logiciel visé le casse, et la tentation est de le réparer avec des traces de production. Refaire la découverte en recette évite ce retour de données réelles vers un assistant de code.

La dépendance au fournisseur demeure pendant la découverte. Le kit de CVS Health s'appuie sur le modèle et sur les outils d'OpenAI. Le script rejoué et le stockage des traces en sont indépendants. Le patron avec un autre modèle, hébergé en Europe, reste à tester.

Ce que l'équipe vérifie dans son produit

  • Une recherche dans les traces. Lancer un parcours en recette avec un patient fictif et un mot de passe de test, puis chercher ces deux chaînes dans le répertoire de traces et dans le stockage distant.
  • Une exécution sans clé. Rejouer le script en retirant la clé d'API du modèle. S'il tourne, aucun écran ne part vers le modèle en production.
  • Une action retrouvée au journal. Faire agir l'automate, puis vérifier que le journal du logiciel visé montre son compte, et pas celui d'une personne.
  • Une purge constatée. Une trace plus ancienne que la durée fixée n'existe plus, sur le disque comme dans le stockage distant.

Ce que les utilisateurs y gagnent

La secrétaire ou le soignant ne recopient plus d'un écran à l'autre. Le patient voit son document partir à temps. Et quand un dossier a été ouvert, l'établissement peut dire si c'était une personne ou un automate, et qui en répond.

Sources

La lettre de Tropis

Une lettre par mois sur la technique et la conformité des logiciels de santé. Votre adresse sert seulement à l'envoyer, et chaque lettre porte un lien de désinscription.

Rendez-vous · 30 minutes · visio

On en parle ?

Un premier appel de 30 minutes, en visio. Vous me présentez votre produit et votre problème. Je vous dis si je peux vous aider, et comment.