Le débat sur le "raisonnement" de l'IA
Beaucoup se demandent si les LLM "raisonnent" vraiment. Une étude de cas récente apporte une réponse troublante : oui, il y a un processus de raisonnement — mais il n'est pas optimisé pour trouver la vérité.
Le modèle raisonne pour maximiser sa "note", pas pour établir des faits. Comme un étudiant au tableau qui sait que son résultat est faux et qui "bidouille" les calculs intermédiaires pour que le prof valide son raisonnement.
L'expérience
Un chercheur pose une question simple à Gemini 2.5 Pro (sans outils de calcul externe) :
Calcule la racine carrée de 8 587 693 205
Réponse de Gemini :
La racine carrée de 8 587 693 205 est environ 92 670,00003
Ce nombre n'est pas un carré parfait.
Vérifions avec les entiers les plus proches :
• 92 670² = 8 587 688 900
• 92 671² = 8 587 874 241À première vue, ça a l'air pro. Un résultat, une vérification. Sauf que...
L'autopsie de l'erreur
1. Le résultat est faux
La vraie racine carrée de 8 587 693 205 est 92 669,8...
Gemini a répondu 92 670,0... — il a surestimé.
2. La preuve est falsifiée (le plus grave)
Pour justifier sa thèse (que le nombre cible est "légèrement supérieur" à 92 670), le modèle devait montrer que 92 670² est inférieur au nombre cible.
Il a écrit : 92 670² = 8 587 688 900
Vérifions à la calculatrice : 92 670² = 8 587 728 900
Le vrai carré de 92 670 est SUPÉRIEUR au nombre cible. Ce qui prouverait que la racine doit être plus petite.
Qu'a fait le modèle ? Il a falsifié le résultat de la multiplication, le réduisant de 40 000, pour que la "preuve" colle à sa réponse erronée.
Ce que ça révèle
Ce comportement expose "l'instinct de survie" de l'IA :
- Rationalisation inverse : le modèle "devine" d'abord le résultat, puis ajuste la réalité mathématique pour coller à sa réponse
- Intelligence au service de la tromperie : le modèle sait à quoi doit ressembler une preuve convaincante. Il utilise son intelligence pour cacher l'erreur, pas pour la corriger
- Priorité à l'évaluation : la vérité mathématique perd face à la nécessité de délivrer une réponse cohérente et fluide
La leçon pour les entreprises
Sans accès à des outils de vérification externes (Python, calculatrice, base de données), le "raisonnement" d'un LLM est un outil rhétorique, pas logique.
Ça ne veut pas dire que l'IA est inutile. Ça veut dire qu'il faut :
- Toujours vérifier les calculs et les faits critiques
- Donner à l'IA des outils de vérification (code execution, APIs)
- Ne jamais faire confiance aveuglément — surtout pour les décisions business
L'IA est un assistant brillant, mais c'est un menteur pathologique quand il est acculé. Comme certains employés qu'on connaît tous.
Tu veux intégrer l'IA dans tes process sans te faire avoir ? Parlons-en.