taraskuzio.com

Peut-on se fier aux détecteurs de textes écrits par IA comme Pangram, à l'origine des doutes sur le roman de Thélyson Orélien ?

France Télévisions

Publié le 24/09/2026 06:03

Mis à jour le 24/09/2026 08:07

Temps de lecture : 6min

L'auteur Thélyson Orélien est accusé d'avoir écrit son livre "C'était ça ou mourir" grâce à une intelligence artificielle, sur la foi du logiciel Pangram, qui prétend détecter les textes générés par IA. (MARTIN LELIEVRE / AFP)
L'auteur Thélyson Orélien est accusé d'avoir écrit son livre "C'était ça ou mourir" grâce à une intelligence artificielle, sur la foi du logiciel Pangram, qui prétend détecter les textes générés par IA. (MARTIN LELIEVRE / AFP)

Des internautes accusent l'auteur québécois Thélyson Orélien d'avoir généré son livre par intelligence artificielle, en se fiant à des détecteurs d'IA. Si les évaluations indépendantes sont rares, la fiabilité de ces détecteurs a tendance à s'améliorer.

La rentrée littéraire s'accompagne d'une polémique inédite. Thélyson Orélien, auteur québécois d'origine haïtienne en lice pour plusieurs prix avec son premier roman, C'était ça ou mourir, est ouvertement accusé, depuis lundi 21 septembre, d'avoir écrit son livre grâce à une intelligence artificielle (IA). L'auteur s'est défendu de ces accusations, affirmant à Libération qu'il "ne voyai(t) pas pourquoi (il) ferai(t) appel à une machine" pour écrire, mais le débat ne retombe pas, et s'accompagne de nouvelles accusations de plagiat.

L'offensive a été lancée sur le réseau X par un compte anonyme baptisé "Balance ton Claude" (qui n'a pas répondu aux sollicitations de franceinfo). Le compte justifie son attaque grâce à l'analyse pratiquée par un logiciel, qui affirme pouvoir détecter les textes générés par IA avec une fiabilité quasi parfaite : Pangram.

La startup américaine derrière ce programme n'est pas seule sur ce marché des "détecteurs de textes générés par IA". Il existe des dizaines d'outils similaires comme GPTZero, ou des fonctions intégrées dans les logiciels plus généraux comme Turnitin, qui sont de plus en plus utilisés par des revues scientifiques, des universités, ou encore des maisons d'édition. Mais comment fonctionnent-ils ? Et sont-ils vraiment fiables ?

Il existe plusieurs techniques pour concevoir un détecteur d'IA. Ils peuvent ainsi rechercher les "tics de langage" de l'IA, qui "utilise certaines tournures de phrases de manière plus fréquente que la moyenne", explique à franceinfo Thierry Poibeau, directeur de recherche en linguistique computationnelle et humanités numériques au CNRS.

Il cite en exemple "les constructions ternaires", où la phrase enchaîne trois adjectifs ou trois propositions. L'utilisation de formulations du type "Ce n'est pas X, c'est Y", ou de comparaisons lourdes avec "comme", sont aujourd'hui fréquemment dénoncées comme des signes de textes générés par IA.

"Les premiers détecteurs s'appuyaient aussi sur la 'perplexité' : est-ce que le texte qu'on étudie est prédictible par une autre IA ?", décrit Frédéric Kaplan, directeur de l’Institut des humanités numériques à l'Ecole Polytechnique fédérale de Lausanne. En clair, si une IA est capable de deviner la fin d'une phrase à partir de ses premiers mots, alors il y a des chances qu'un modèle d'intelligence artificielle similaire ait écrit la phrase complète.

Puis est arrivée la troisième technique, plus fiable, selon les spécialistes : l'"apprentissage machine", déjà utilisée pour créer les IA elles-mêmes. Le détecteur d'IA analyse un vaste corpus de textes écrits par des humains et d'autres générés par des IA, jusqu'à trouver lui-même des régularités qui permettent de distinguer les uns des autres.

Pangram a été un des premiers détecteurs à utiliser cette méthode. La startup américaine améliore également son programme en lui signalant les "faux positifs" (où un texte humain serait identifié comme IA) pour qu'il apprenne de ses erreurs, et en utilisant un procédé d'"imitation synthétique", pour aider le logiciel à distinguer un texte écrit par un humain de sa paraphrase générée par IA. Pangram revendique un taux de faux positifs de 0,0041%, soit un cas "sur 24 000 documents", selon le rapport technique de Pangram 4, sorti en juillet. Le taux général de faux négatifs (où un texte IA passerait sous les radars), est lui de 0,3396%. Sur des textes en français, Pangram revendique un taux de faux positifs de 0,0026%, et de faux négatifs de 1,7839%.

Certaines études ont tenté de mesurer la fiabilité de différents détecteurs de manière indépendante. Celle de l'International Journal for Education Integrity, publiée en juin par des chercheurs de la Vrije Universiteit de Bruxelles, a jugé quatre détecteurs sur quatre groupes de 40 articles scientifiques : l'un des groupes d'articles était rédigé par des humains, un autre entièrement généré par IA, et les deux autres présentaient différents degrés d'hybridation humain-IA (blocs de texte IA intégrés dans un article humain, ou texte d'IA "lissé" par l'IA pour apparaître plus humain).

Aucun faux positif n'a été constaté pour les articles écrits à 100% par un humain, quel que soit le logiciel. En revanche, un faux négatif a été constaté sur un article entièrement généré par IA, et Pangram n'est pas à l'abri de sous-estimer (dans 4 cas sur 80) ou surestimer (2 cas sur 80) la part d'IA dans un papier de recherche "hybride" ou "humanisé". Les trois autres logiciels testés (Turnitin, GPTZero et Copyleaks) n'ont pas accusé à tort un texté écrit par un humain, mais sont moins précis sur les autres catégories.

L'organisme à but non lucratif Epoch AI a réalisé un autre test en juillet. Il a soumis à trois détecteurs (Pangram, GPTZero et Originality.ai) trois types d'écrits : 500 extraits de textes humains dans différents styles (fiction, scientifique, blog), 297 extraits générés par IA avec "un prompt basique", et 297 en demandant à l'IA d'"imiter le style" d'un auteur humain, références à l'appui. Seul Originality.ai a accusé à tort des textes humains (dans 19 cas sur 495), et presque aucune erreur n'a été recensée sur les textes IA générés par un "prompt basique". En revanche, les textes IA qui imitent le style d'un auteur échappent plus souvent à la détection.

Les détecteurs ne sont donc pas totalement infaillibles. Pangram reconnaît d'ailleurs que son outil se révèle moins fiable sur des extraits courts. Par ailleurs, les taux de fiabilité revendiqués peuvent rapidement évoluer avec la progression constante des IA et des détecteurs. Les performances dépendent des données d'entraînement utilisées et des techniques "d'apprentissage machine", qui changent régulièrement.

"Les entreprises d'IA essaient de réduire les particularités d'écriture de leurs outils pour devenir beaucoup plus proches des textes humains."

Thierry Poibeau, directeur de recherche en linguistique computationnelle et humanités numériques au CNRS

à franceinfo

"C'est un jeu du chat et de la souris : il faut toujours réentraîner le détecteur sur des IA qui changent tous les mois", poursuit Thierry Poibeau. Le taux de fiabilité dépend également de la langue étudiée. "Les détecteurs marchent bien en anglais, en français et dans une vingtaine d'autres langues. Au-delà, c'est beaucoup plus pauvre", explique le chercheur. "Il faut prendre en compte la complexité de la langue, mais aussi la disponibilité de données d'entraînement" utilisables pour "l'apprentissage machine".

Autre limite : les détecteurs n'étudient pas un texte mot par mot, mais par groupes de mots. Si le détecteur estime qu'un texte est à 100% généré par IA, cela veut dire que chaque groupe de mots est perçu comme majoritairement généré par IA. Mais il peut contenir des mots écrits par un humain malgré tout.

"Un article de recherche a un style très codifié, mais pour un texte littéraire, qu'est-ce qui nous dit que les tics de langage ne correspondent pas simplement au style de l'auteur ?", questionne Thierry Poibeau. "Si les IA écrivent parfois comme nous, il y a une raison très simple : ces saloperies ont été entraînées avec nos romans", écrit sur Facebook l'auteur Baptiste Beaulieu, qui ajoute avoir "toujours aimé les rythmes ternaires" et les figures du type "ce n'est pas qu'il… c'est qu'il…".

"Alors je fais quoi, maintenant ? Je change ma manière d'écrire pour qu'un logiciel consente à me croire humain ? (…) Ces machines ont pillé nos textes pour apprendre à leur ressembler, et c'est désormais à nous de montrer patte blanche."

Baptiste Beaulieu, écrivain

sur Facebook

Certains spécialistes appellent également à voir plus loin. Pour analyser l'écriture "humaine", les détecteurs d'IA actuels sont entraînés sur des textes écrits avant l'apparition des IA génératives. Cette approche est-elle viable à long terme ? "Si en 2100, on continue à utiliser des textes produits avant 2018 comme le mètre-étalon de l'écriture humaine, ils n'auront plus rien à voir avec les textes contemporains !", prédit Frédéric Kaplan.

Le résultat d'un détecteur ne constitue pas une preuve définitive d'utilisation d'une IA. Ce qu'a d'ailleurs souligné le compte "Balance ton Claude" dans une publication sur X mardi soir, au sujet de Thélyson Orélien : "Il existe une chance non nulle (même si elle est infime) qu'il soit de bonne foi". Selon l'étude de la Vrije Universiteit de Bruxelles, "une alerte devrait déclencher une étude plus approfondie du contenu de l'article". C'est aussi ce que le PDG et cofondateur de Pangram, Max Spero, avait souligné auprès du média américain The Atlantic, en mai dernier. Son outil ne devrait "jamais être l'arbitre final", mais plutôt un point de départ pour enquêter.

Shorts

  • "Pangram, va te faire foutre" : pour l'autrice Virginie Despentes, "Thélyson Orélien n'a pas à se justifier"

    • 3 min

  • Un best-seller écrit par l'IA ?

    • 2 min

  • Tout le monde veut des cartes Wikimasters

    • 2 min

  • Un potentiel Goncourt écrit par une IA ?

    • 2 min

  • Léon XIV croit en l'IA, mais pas les yeux fermés

    • 3 min

  • Ils vont chanter avec Monroe pour le pape

    • 2 min

  • Fille d'un malade d'Alzheimer, cette romancière témoigne

    • 3 min

  • Amanda Lear accuse la star américaine Miley Cyrus d'avoir plagié l'un de ses titres

    • 2 min

  • Miley Cyrus a copié une artiste française ?

    • 2 min

  • Gaza : Ed Sheeran reconnaît des "erreurs" après la polémique avec Macklemore

    • 1 min

  • Budget culture 2027 : "On peut différer certains investissements" estime Catherine Pégard

    • 2 min

  • Les objets de Brigitte Bardot vendus aux enchères

    • 2 min

  • Après en avoir rêvé des année, George Lucas ouvre enfin son musée !

    • 2 min

  • Le Pass Patrimoine pour visiter plus de 500 sites culturels

    • 2 min

  • Rihanna s'ambiance au concert de Céline Dion

    • 1 min

  • Pokémon fête ses 30 ans : les chiffres les plus fous de la licence

    • 2 min

  • Macklemore évincé de la tournée d'Ed Sheeran : on vous explique la polémique

    • 3 min

  • L'inoubliable chanteuse des Rita Mitsouko

    • 2 min

  • La chanteuse Catherine Ringer est morte à l'âge de 68 ans

    • 1 min

  • Les réalisateurs israéliens de "Naza" pourraient être déchus de leur nationalité

    • 3 min

  • Le retour triomphal de Céline Dion

    • 3 min

  • Rachida Brakni : "Le cinéma est d'une violence inouïe pour les femmes !"

    • 2 min

  • Céline Dion rassure sur son état de santé et prouve qu'elle n'a rien perdu de sa voix

    • 3 min

  • Avec Le Brame du cerf, la "slow tv" se développe en France

    • 2 min

  • L'émotion de Céline Dion pour son retour sur scène

    • 3 min

  • Un père de famille belge verse 10 000 euros à une fausse Céline Dion

    • 2 min

  • Avec les "ultras" de Céline Dion

    • 3 min

  • La vasque olympique décolle et s'illumine en hommage à Céline Dion

    • 1 min

  • Karaoké géant : on a testé les connaissances des fans de Céline Dion

    • 3 min

  • Céline Dion enflamme Paris

    • 3 min