Ce que vous constatez
Votre assistant s'appuie sur une recherche documentaire (RAG) et les utilisateurs s'en plaignent. Les réponses arrivent après plusieurs secondes, ou elles citent des documents qui ne répondent pas à la question. La démonstration fonctionnait, la production déçoit.
Le premier réflexe est de changer de modèle. Il coûte cher, et il ne règle rien quand la cause se trouve avant le modèle, dans ce qu'on lui donne à lire. Dans un logiciel de santé, l'enjeu dépasse le confort : une réponse appuyée sur le mauvais document peut induire en erreur un professionnel ou un patient.
Les causes que je rencontre
- Un découpage des documents mal réglé : des passages trop longs noient l'information utile, des passages trop courts perdent leur contexte.
- Une recherche par similarité seule, qui rate les termes exacts (un nom de médicament, un code, un acronyme) et ramène des passages voisins par le sens mais faux sur le fond.
- Trop de passages envoyés au modèle, qui doit tout lire avant de répondre : la latence et le coût montent ensemble.
- Une reformulation de la question confiée à un appel au modèle de plus, sur le chemin de chaque requête.
- Des documents mis à jour sans que l'index suive, si bien que le système répond avec une version périmée.
- Aucune mesure de la qualité des réponses sur de vraies questions d'utilisateurs, donc aucun moyen de savoir si une correction améliore les choses.
Comment je trouve la cause
J'audite le code, l'architecture et l'infrastructure avec votre équipe, je pars de l'état réel de vos parcours, mesuré avec elle, je trouve la cause et j'aide l'équipe à la corriger.
Je décompose le temps d'une requête étape par étape : reformulation, recherche, tri des passages, génération. Je compare les passages retrouvés aux documents qui auraient dû l'être, sur un jeu de questions réelles construit avec l'équipe. Je regarde aussi comment les documents sont découpés, indexés et mis à jour.
Ce que votre équipe obtient
- L'étape qui coûte le temps ou la pertinence, démontrée sur vos propres questions.
- Les corrections classées par gain et par effort : découpage, recherche hybride par mots et par sens, tri des passages, taille du contexte, mise en cache.
- Un jeu de questions de référence, pour vérifier chaque correction et les évolutions suivantes.
- Pour vos utilisateurs, des réponses plus rapides, appuyées sur les bons documents.
Une partie des réponses peut rester fausse après correction, parce que l'information n'existe pas dans vos documents ou qu'elle s'y contredit. Le diagnostic le dit, et il distingue ce qui relève du système de ce qui relève du corpus.
Ce que j'ai déjà traité
Je pilote seul la partie technique de Serenaid, dont je suis co-fondateur, un système IA pour les parents d'enfants neuroatypiques. En production : un orchestrateur et un RAG hybride vecteur/graphe. Dans la chaîne de développement : 41 agents et 797 exigences outillées.
Le RAG de Serenaid combine une recherche par le sens et un graphe qui relie les informations entre elles. Les réglages que je vous proposerai, je les ai faits sur ce système.
Questions fréquentes
Faut-il passer à un modèle plus gros ?
Pas en premier. Un modèle plus gros lit mieux de mauvais passages, mais il met plus de temps et coûte plus cher. On corrige d'abord ce qui lui est donné à lire, et on juge ensuite s'il faut changer de modèle. Le coût des appels a sa propre page.
Le graphe de connaissances est-il nécessaire ?
Seulement dans certains cas. Il aide quand les réponses dépendent de liens entre les informations (un médicament, ses contre-indications, une population). Pour un corpus simple, une recherche hybride bien réglée peut suffire.
Vos données restent-elles chez vous ?
Oui. Je travaille sur le code, la configuration, des journaux dont les données personnelles ont été retirées, et un jeu de questions construit avec l'équipe. Je propose un accord de confidentialité dès le premier échange.
Écoute, cinq à dix jours sur ce problème
Écoute traite un problème précis du produit. Si le diagnostic montre qu'il faut regarder le produit en entier, Sonar prend la suite.
Un blocage qui dure depuis des semaines ? Blocage technique →