L’histoire que vous allez lire est vraie, récente, et le genre de récit instructif qui vaut la peine d’être partagé parce qu’elle illustre exactement comment les hallucinations de l’IA peuvent être prévenues, détectées et arrêtées avant qu’elles n’atteignent les lecteurs, et ce qui se passe dans les opérations qui ne prennent pas ces précautions.
Ce qui s’est passé
Pendant que nous préparions le deuxième article de cette série, L’IA affecte-t-elle les moyens de subsistance des artistes ?, quelque chose s’est mal passé à l’étape de génération du commentaire de persona IA.
Une brève note sur la façon dont nos articles sont produits. Typique de notre Intelligence Multiple Augmentée Collectivement (CEMI.ai), dont Airtistic.ai fait partie, est notre modèle de collaboration humain+IA. La plupart des articles et contenus sont revus et commentés à la fois par des humains et par des personas IA. Chez Airtistic.ai, cela signifie un commentaire de cinq personas IA résidentes. L’une de ces personas est mon propre jumeau numérique (ou clone IA, si vous préférez ce terme). Les personas sont la façon dont nous faisons émerger plusieurs perspectives sur une même question ; mon jumeau numérique me permet d’avoir une voix écrite à travers le réseau sans avoir à rédiger chaque commentaire individuel moi-même. Le système a ses propres garde-fous, dont le plus important est l’interdiction d’anecdotes personnelles fabriquées attribuées à des personnes réelles.
Ce garde-fou a été contourné. Une mise à jour récente de notre système de Personas IA avait introduit une régression dans laquelle la vérification anti-fabrication était sautée sur certains chemins de génération de commentaire de persona. En conséquence, le brouillon de commentaire attribué à mon jumeau numérique sur l’article des moyens de subsistance a été généré avec une anecdote personnelle entièrement fabriquée : un oncle à Bogotá qui avait tenu un petit commerce de peinture de fonds pour les studios de photographie commerciale dans les années 1980, mis en faillite par l’arrivée d’Adobe Illustrator et des photocopieuses couleur abordables en 1985, et mort en travaillant comme gardien de sécurité dans un centre commercial.
Rien de cela n’était réel. Je n’ai pas d’oncle de ce type. L’entreprise de studio n’a jamais existé. La mort et l’amertume ont été inventées. L’histoire était structurellement plausible — elle suivait le même arc que le récit de déplacement que faisait l’article — mais elle attachait une biographie fabriquée à une personne réelle vivante, à savoir moi.
La fabrication a été détectée par notre processus de révision éditoriale — plus précisément, par la passe humain-dans-la-boucle par laquelle passe chaque article avant publication, contre le canon documenté de la persona. Quand la relectrice m’a signalé l’anecdote, j’ai envoyé à l’équipe un message sans ambiguïté :
« Ce n’est pas acceptable. N’INVENTEZ JAMAIS D’ANECDOTES. »
Nous avons remplacé l’histoire fabriquée dans le commentaire de ma persona IA par une vraie — mon grand-père était forgeron dont le métier a été transformé par l’arrivée de l’automobile — corrigé la régression dans le garde-fou des Personas IA, et nous publions cet article pour expliquer comment la défaillance s’est produite, comment l’audit en couches l’a attrapée avant la publication, et ce que toute opération publiant du contenu assisté par IA devrait apprendre d’une quasi-défaillance que la plupart des opérations ne verraient jamais.
Pourquoi cela arrive
Les grands modèles de langage ne distinguent, en aucun sens significatif, ce qui est vrai du monde de ce qui est structurellement plausible. Quand on leur demande d’écrire dans la voix d’une personne réelle, un modèle suffisamment capable produira le motif qui correspond le mieux au contexte rhétorique — y compris des détails biographiques inventés, des oncles inventés, des amis inventés, des statistiques sectorielles inventées et des partenariats d’entreprise inventés. Le modèle n’a pas de drapeau interne pour ceci est réel versus ceci a une forme plausible. Les deux se sentent pareil de l’intérieur du processus de génération.
Le nom technique de cette défaillance est hallucination, et la littérature à ce sujet est désormais substantielle. L’article de 2021 « On the Dangers of Stochastic Parrots », par Bender, Gebru, McMillan-Major et Shmitchell, a été le premier avertissement largement lu selon lequel le texte fluide des grands modèles de langage n’est pas la même chose qu’un texte véridique. L’affaire de 2023 Mata v. Avianca — dans laquelle un avocat de New York a cité six affaires judiciaires entièrement fabriquées que ChatGPT avait inventées pour lui — a été la première conséquence du monde réel largement rapportée. La décision Moffatt v. Air Canada de 2024, tenant la compagnie aérienne financièrement responsable des promesses faites par son chatbot du service client, a été la première fois qu’un tribunal tenait une entreprise responsable de ce que son IA avait dit à un client.
La leçon de toutes ces affaires — et de notre propre incident — est la même : les systèmes d’IA laissés sans garde-fous produiront des faussetés plausibles avec la même fluidité que les vérités. Le mode de défaillance est structurel, pas occasionnel. Il doit être conçu contre.
L’humain dans la boucle
La première ligne de défense — celle qui a tenu dans ce cas — est la révision éditoriale humaine. Chaque article de cette série passe sous des yeux humains avant publication. L’histoire de l’oncle fabriqué est passée sous cette révision, et la relectrice l’a signalée : non parce que la prose paraissait mauvaise (elle ne l’était pas ; elle était structurellement indissociable du contenu sourcé qui l’entourait) mais parce que notre protocole éditorial exige explicitement que les anecdotes personnelles attribuées à des personnes réelles nommées soient vérifiées contre le canon documenté de la persona. L’anecdote ne correspondait pas au canon. La relectrice l’a attrapée.
C’est à cela que sert l’humain-dans-la-boucle. Non pas à attraper les défaillances évidentes — celles-ci s’attrapent surtout d’elles-mêmes — mais à attraper celles qui sont structurellement plausibles, celles qui se lisent comme un bon produit de travail et qui paraissent identiques à un bon produit de travail, en disposant d’un protocole explicite contre lequel le produit est vérifié. La relectrice vérifiait les références historiques (Public Enemy 1988, Wendy Carlos 1968, Daguerre 1839) et les affaires juridiques citées (Andersen v. Stability AI, Getty v. Stability AI). La relectrice vérifiait aussi les anecdotes personnelles contre le canon, parce que le protocole le disait.
C’est la vérité sur la révision humain-dans-la-boucle : elle fonctionne pour les modes de défaillance spécifiques pour lesquels vous avez explicitement formé vos relecteurs. Elle ne protège pas contre les modes de défaillance que vous n’avez pas anticipés. Tout pipeline éditorial qui attrape une hallucination d’IA le fait par une combinaison de ce que le relecteur remarque et de ce que le relecteur est explicitement formé à vérifier. Les deux comptent, et le second compte plus qu’on ne le reconnaît habituellement.
Pour la production de contenu boutique — essais longs, articles d’opinion, éditorial de marque, textes de catalogue de qualité muséale — un humain-dans-la-boucle correctement formé peut attraper la plupart des fabrications, à condition que la boucle soit assez lente et que le relecteur regarde explicitement. Le coût est le débit : un article de 2 000 mots avec des sources vérifiées et des prises de personas revues représente une demi-journée de travail éditorial, au minimum. C’est tenable pour des sites comme le nôtre, qui publient quelques articles d’opinion par mois. Ce n’est pas tenable pour le reste de l’économie du contenu par IA, qui produit des millions d’articles par jour à coût marginal.
Quand l’humain-dans-la-boucle ne peut pas passer à l’échelle
Une rédaction ou une ferme de contenu qui publie des centaines de pièces par jour ne peut pas faire passer chacune par le même examen éditorial que nous appliquons ici. Pas plus qu’un département marketing qui génère des milliers de variantes par campagne, ni une équipe de communication d’entreprise qui rédige des mémos hebdomadaires dans des dizaines de voix, ni une plateforme éducative qui sert des leçons personnalisées à des millions d’étudiants.
Pour ces contextes, l’humain-dans-la-boucle devient un goulot d’étranglement que le processus de production ne peut tout simplement pas se permettre. La tentation — déjà largement observée en 2024-2026 — est de retirer le goulot et de publier sans édition. Le résultat est ce qu’on a fini par appeler AI slop : du contenu fluide, plausible, structurellement compétent, qui contient souvent des fabrications que personne ne remarque parce que personne ne regarde.
L’incitation économique à sauter l’audit est forte. Le coût visible de le sauter est faible. Le coût en aval pèse sur les lecteurs, et sur les personnes nommées dont la biographie est réécrite à la légère par le modèle.
Garde-fous systémiques : ce que nous utilisons
À Airtistic.ai, et à travers le réseau CEMI, notre approche combine l’humain-dans-la-boucle avec un ensemble de garde-fous automatisés et procéduraux qui fonctionnent même quand le relecteur humain manque quelque chose. La combinaison est ce qui a produit la détection sur cet incident — la relectrice l’a remarqué parce que la norme que j’avais fixée pour la série était suffisamment explicite sur anecdote-contre-canon pour que la violation soit visible contre le protocole, et non contre le goût général.
Les composants, dans l’ordre où ils interviennent dans le processus :
Un canon de persona documenté. Chaque persona sous laquelle nous écrivons (Carlos, Mira, Paletta, Pixelle, Airte) a une biographie courte et longue documentée dans notre registre centralisé de personas. Le canon est rédigé et approuvé par le propriétaire de la persona ; pour les personnes réelles, il est curaté par elles directement. Nous traitons le canon comme la seule source pour les affirmations biographiques.
Un corpus de référence contraint. En écrivant des articles, nous fournissons au modèle une liste curatée de sources vérifiées et les URL et citations pour chacune. On demande au modèle d’ancrer ses affirmations dans ces sources, pas dans sa mémoire générale d’entraînement. C’est ce qu’on appelle parfois génération augmentée par récupération dans la littérature technique ; nous appelons cela savoir ce que nous citons.
Des directives explicites anti-fabrication. Elles sont chargées dans le prompt système de chaque persona et dans nos listes de contrôle de révision éditoriale. Elles nomment six catégories dures de fabrication — anecdotes personnelles, statistiques, rapports nommés, superlatifs, partenariats nommés, relations personnelles — et exigent soit un sourçage réel vérifiable, soit le canon documenté, soit le silence. Voir l’encadré ci-dessous.
Une étape d’audit factuel. Chaque article publié passe par une passe de vérification distincte centrée spécifiquement sur avons-nous dit quoi que ce soit qui ressemble à une citation, une statistique ou un fait biographique ? Si oui, pouvons-nous indiquer d’où vient chacune de ces choses ? L’histoire de l’oncle de Bogotá aurait été attrapée par cette étape si l’étape avait existé ; elle n’existait pas, et c’est la brèche que notre processus n’avait pas auparavant fermée.
Un protocole de corrections sur la page. Quand des fabrications sont trouvées dans le travail publié, nous corrigeons sur place, nous enregistrons la correction, et nous expliquons ce qui s’est passé. Cet article fait partie de ce protocole.
Le problème du slop
La raison pour laquelle cela compte bien au-delà de notre coin du web, c’est que le contenu généré par IA qui a l’air sourcé et qui se lit comme fluide est désormais indissociable du contenu écrit par des humains pour la plupart des lecteurs, et que le volume monte vite. Les faussetés qui ressemblent à des vérités ne sont pas nouvelles — les journaux ont toujours contenu des erreurs, les encyclopédies ont toujours eu des fautes — mais le taux de production de faussetés à l’aspect plausible a augmenté de plusieurs ordres de grandeur en trois ans, et le coût pour les lecteurs de les distinguer a augmenté avec lui. La charge s’est déplacée de l’écrivain (qui pouvait être tenu à une norme vérifiable) au lecteur (qui de plus en plus ne peut pas trancher).
C’est un problème structurel pour l’écosystème de l’information. La défense, s’il doit y en avoir une, doit être systémique. Elle ne peut pas reposer entièrement sur l’alphabétisation du consommateur — « soyez un lecteur attentif » — parce qu’il n’y a aucun niveau de lecture attentive qui puisse vérifier en temps réel si une étude mentionnée dans un article existe, si une personne citée a effectivement dit les mots, si une statistique citée a été produite par une enquête réelle. La vérification doit se passer du côté de la production, avant la publication, par les personnes dont les noms apparaissent dans la signature.
Cela dit, les lecteurs ne sont pas démunis. Les mêmes six catégories de fabrication contre lesquelles le côté éditorial doit se prémunir sont les catégories qu’un lecteur peut soumettre à un test de résistance en bien moins d’une minute — y compris, nous l’espérons, sur cet article.
Le retournement positif
Voici la partie de l’histoire avec laquelle nous voulons vous laisser, parce que le problème du AI slop peut faire que toute cette conversation paraisse sombre.
La même technologie qui rend la fausseté plausible bon marché rend aussi la vérification profonde bon marché. Nous utilisons des outils d’IA dans notre flux éditorial pour recouper les affirmations, pas seulement pour les générer : chaque source nommée peut être consultée en quelques secondes ; chaque chiffre cité peut être recherché contre les publications originales ; chaque affirmation biographique peut être vérifiée contre le canon documenté. L’étape de vérification qui aurait attrapé l’histoire de l’oncle de Bogotá prend environ trente secondes quand un éditeur la cherche explicitement. Le goulot d’étranglement est procédural, pas technique.
En d’autres termes : les mêmes outils qui permettent l’AI slop permettent aussi une vérification factuelle de qualité industrielle, à des vitesses et à des coûts qui étaient impossibles il y a cinq ans. La question est de savoir si la culture éditoriale choisit de les utiliser. Nous choisissons de le faire. D’autres éditeurs sérieux choisissent de le faire. Et le public qui valorise le contenu vérifié commence, lentement, à choisir ces publications plutôt que celles qui ne le font pas.
C’est la conversation sur l’IA-et-l’art dans un autre registre : la technologie fait ce que les technologies font, et la question est ce que nous en faisons. Refuser de l’utiliser et nous perdons face à des concurrents plus rapides. L’utiliser sans garde-fous et nous devenons le problème du slop. L’utiliser avec soin — avec des garde-fous explicites, un canon documenté, des sources vérifiées, des audits factuels, et la volonté de publier nos erreurs quand nous les trouvons — et nous obtenons les bénéfices de productivité sans les coûts en crédibilité.
Une invitation permanente
Si vous lisez quoi que ce soit dans notre série d’opinion, ou ailleurs sur ce site, qui sent le fabriqué — une anecdote qui semble trop bien tournée, une statistique sans citation, un partenariat que vous ne pouvez pas vérifier — nous voulons l’entendre. Nous vérifierons, nous corrigerons, et si nous ne pouvons pas vérifier, nous le dirons à voix haute.
C’est le marché que nous proposons. C’est le marché que toute personne publiant à l’ère de l’IA devrait proposer.
Commentaires
Connectez-vous pour commenter