L’IA sait tout. Vraiment ? J’ai testé.

Cet arti­cle a été rédigé avec l’aide de Claude (Anthrop­ic), que j’ai sol­lic­ité pour met­tre en forme une expéri­ence que j’ai menée moi-même. Comme pour l’ar­ti­cle sur Lau­rent Par­do et la viral­ité Face­book, l’ob­jec­tif est de mon­tr­er l’IA au tra­vail — y com­pris ses lim­ites — plutôt que de la laiss­er tra­vailler dans l’om­bre.


J’ai fait un test sim­ple. Peut-être trop sim­ple. Volon­taire­ment.

J’ai posé la même ques­tion à trois intel­li­gences arti­fi­cielles — Le Chat (Mis­tral), Per­plex­i­ty et Claude (Anthrop­ic) :

“nom­bre de demies finales jouées par l’ubb”

Vague. Sans majus­cules. Sans pré­ci­sion de com­péti­tion ni de péri­ode. Une requête comme on en tape des dizaines par jour, sans y réfléchir.

Et comme je suis sup­port­er de l’UBB depuis des années, j’avais les con­nais­sances pour juger.


Ce qu’ont répondu les trois IA

Le Chat a affiché des résul­tats de recherche en vrac, lim­ités à une seule source — le site offi­ciel du club. Il a man­qué deux saisons entières (2024 et 2025) et s’est trompé sur un adver­saire. Il a posé des ques­tions de clar­i­fi­ca­tion, ce qui n’est pas stu­pide, mais est resté pris­on­nier de sa source unique.

Per­plex­i­ty a fait le plus sérieux. Sources mul­ti­ples numérotées, tableau struc­turé, “point de vig­i­lance” sur ses pro­pres lim­ites, auto-cor­rec­tion élé­gante quand je l’ai repris. Exacte­ment ce qu’on attend d’un bon out­il de recherche. Sauf que dans sa pre­mière réponse, il a annon­cé une défaite en demi-finale alors que c’é­tait une vic­toire menant à la finale. Sans mon inter­ven­tion, l’er­reur pas­sait. Habil­lée en cer­ti­tude, étayée par des sources.

Claude a don­né d’emblée une réponse plus large, Top 14 et Cham­pi­ons Cup, sans atten­dre de clar­i­fi­ca­tion. Des incer­ti­tudes non sig­nalées. Quand je lui ai posé une requête plus pré­cise — année, adver­saire, résul­tat — il a cher­ché, re-cher­ché, et hon­nête­ment avoué ne pas trou­ver le score de la demi-finale 2022 con­tre Mont­pel­li­er. Plutôt que d’en inven­ter un.


Ce que ça dit de ces outils

Per­plex­i­ty fait plus sérieux que n’im­porte quel jour­nal­iste sportif pressé. Sources citées, tableaux, cor­rec­tions en temps réel. Tout l’ap­pa­rat de la rigueur. Mais c’est l’ap­pa­rat qui ras­sure, pas la vérité.

Et le para­doxe est bru­tal : plus on maîtrise un sujet, moins on a besoin de l’IA. Moins on le maîtrise, plus on lui fait con­fi­ance. Le risque d’er­reur non détec­tée est donc max­i­mum exacte­ment là où on est le plus vul­nérable.

Ce n’est pas un bug. C’est struc­turel à tous ces sys­tèmes. Claude inclus — qui le dit lui-même.


Ce que ça dit de nos requêtes

Trois IA, trois répons­es dif­férentes sur la même ques­tion. Ce n’est pas un hasard. Une requête vague pro­duit des répons­es approx­i­ma­tives, quelle que soit la puis­sance de l’outil. Quand j’ai refor­mulé pré­cisé­ment — com­péti­tion, sai­son, adver­saire, résul­tat — la qual­ité a net­te­ment pro­gressé. Mais le temps de traite­ment aus­si. Et les lacunes n’ont pas toutes dis­paru.

L’IA n’est pas un ora­cle. C’est un out­il qui ampli­fie la qual­ité de la ques­tion posée. Garbage in, garbage out 1 — comme on dis­ait déjà dans les années 60 pour les ordi­na­teurs.


Pourquoi je publie ça ici

Parce que ce blog par­le de rug­by, certes. Mais surtout de ce qu’on fait avec le rug­by — les médias, les réseaux, les réc­its qu’on con­stru­it autour. J’ai déjà mon­tré com­ment des comptes Face­book automa­tisés pro­duisent des por­traits de joueurs au kilo­mètre, avec l’IA, sans relec­ture humaine, jusqu’à la con­fu­sion grotesque entre un rug­by­man bay­on­nais et un musi­cien homonyme.

Ce test sur les demi-finales de l’UBB, c’est le même sujet vu d’un autre angle : non plus l’IA non super­visée qui pro­duit du con­tenu viral, mais l’IA sol­lic­itée directe­ment par un util­isa­teur qui croit avoir affaire à un spé­cial­iste.

Dans les deux cas, le dan­ger n’est pas que l’IA se trompe. C’est qu’elle se trompe avec élé­gance.

NB: Les copies d’écran des échanges avec les trois IA sont disponibles pour ceux et celles qui voudraient véri­fi­er ou appro­fondir ces con­clu­sions.


Christophe Bedou, mai 2026
Rédigé avec Claude (Anthrop­ic)


Note

1 Garbage in, garbage out — expres­sion infor­ma­tique des années 1960. Lit­térale­ment : “ordures en entrée, ordures en sor­tie”. Le principe : un sys­tème infor­ma­tique ne peut pro­duire que ce qu’on lui donne. Si tu lui four­nis des don­nées mau­vais­es ou impré­cis­es, il te ren­dra des résul­tats mau­vais ou impré­cis. La machine n’améliore pas la qual­ité de ce qu’elle reçoit — elle l’am­pli­fie, en bien comme en mal.