Ce que vous constatez
La facture des appels aux modèles d'IA augmente d'un mois sur l'autre. Personne dans l'équipe ne sait dire quelle fonctionnalité coûte, ni pourquoi le coût par utilisateur monte.
Les conseils que l'on trouve en ligne proposent de changer de modèle, de passer par un autre fournisseur ou d'envoyer les requêtes par lots. Ils se heurtent à une contrainte que les guides génériques laissent de côté : vos données sont des données de santé. Un changement de fournisseur ou d'hébergement doit tenir l'hébergement des données de santé et le RGPD, et pour certaines fonctions l'AI Act. Un fournisseur soumis à un droit étranger pose en plus la question du CLOUD Act et des données de santé.
Les causes que je rencontre
- Un contexte qui grossit à chaque échange : l'historique de la conversation ou les documents retrouvés sont renvoyés en entier au modèle à chaque requête.
- Un seul modèle, le plus gros, pour toutes les tâches, y compris celles qu'un modèle plus petit traite aussi bien.
- Des appels répétés : la même question recalculée à chaque fois, des nouvelles tentatives en boucle après une erreur.
- Une recherche documentaire (RAG) qui ramène trop de passages, que le modèle doit lire et que vous payez.
- Un fournisseur choisi au départ pour sa simplicité, qui oblige ensuite à faire sortir les données de santé de l'hébergement prévu, ou qui empêche d'en changer sans reprendre l'architecture.
Comment je trouve la cause
J'audite le code, l'architecture et l'infrastructure avec votre équipe, je pars de l'état réel de vos parcours, mesuré avec elle, je trouve la cause et j'aide l'équipe à la corriger.
Je suis le chemin d'une requête, du geste de l'utilisateur jusqu'au modèle. Je relève ce qui est envoyé au modèle à chaque étape et combien de fois, la part du coût de chaque fonctionnalité, et les contraintes d'hébergement qui ouvrent ou ferment les options. Quand il le faut, les jetons consommés et la latence sont relevés sur un parcours réel.
Ce que votre équipe obtient
- La cause du coût, démontrée sur vos propres parcours.
- Les corrections classées par gain et par effort, avec ce que chacune change pour l'hébergement des données de santé.
- Une note technique de décision quand le choix engage l'architecture : changer de modèle, héberger le modèle soi-même, rapatrier l'inférence.
- Pour vos utilisateurs, des réponses plus rapides : moins de texte envoyé au modèle, c'est aussi moins d'attente.
Une correction ne garantit pas une baisse d'un montant fixé à l'avance. Le gain dépend de vos parcours, et certaines fonctions coûtent cher parce que le service rendu le justifie. Le diagnostic le dit aussi.
Ce que j'ai déjà traité
Je pilote seul la partie technique de Serenaid, dont je suis co-fondateur, un système IA pour les parents d'enfants neuroatypiques. En production : un orchestrateur et un RAG hybride vecteur/graphe. Dans la chaîne de développement : 41 agents et 797 exigences outillées. Hébergement Scaleway, inférence embarquée, aucun service américain dans la chaîne : une chaîne française de bout en bout.
Les arbitrages de coût et d'hébergement que je vous proposerai, je les ai faits sur ce produit.
Questions fréquentes
Faut-il passer à un modèle ouvert hébergé chez soi ?
Parfois. Le coût de chaque appel baisse, mais il faut exploiter l'infrastructure, la surveiller, et la faire tenir dans l'hébergement des données de santé. Le calcul se fait sur vos volumes et vos parcours réels.
Et si la vraie question est de savoir où héberger ?
Quand le coût vient d'abord d'un hébergement à revoir, Sonar HDS établit en cinq jours si l'hébergement de données de santé s'applique, avec qui, et ce qui reste à votre charge.
Pouvez-vous intervenir sans accès aux données de vos patients ?
Oui. Je travaille sur le code, l'architecture, la configuration et des journaux dont les données personnelles ont été retirées. Je propose un accord de confidentialité dès le premier échange.
Écoute, cinq à dix jours sur ce problème
Écoute traite un problème précis du produit. Si le diagnostic montre qu'il faut regarder le produit en entier, Sonar prend la suite.
Un blocage qui dure depuis des semaines ? Blocage technique →