L'outil n'est pas un inconnu pour les lecteurs de Clubic. C'est celui-là même que le Vatican a mobilisé pour établir l'authenticité de l'encyclique anti-IA du pape, avec un verdict à 94 % d'écriture humaine et huit segments retouchés sur 43 000 mots. La plateforme figure d'ailleurs dans notre sélection d'outils de détection de contenus générés. Pas de doute, en dehors d'un oeil aguerri aux tics de langage des LLM, il s'agit du meilleur outil du marché. Mais être le meilleur ne veut pas dire qu'il n'a pas de sérieuses limites.

Ce que promettent les détecteurs, ce qu'ils tiennent

Un taux d'erreur d'un sur dix mille se défend très bien sur une page de présentation. Il se défend nettement moins bien face à l'historique du secteur. Turnitin, longtemps présenté comme la référence académique, annonçait moins de 1 % de faux positifs. Une analyse indépendante publiée en 2023 mesurait pourtant un taux supérieur à 50 % sur certains corpus. La difficulté est structurelle. Un détecteur repère des régularités statistiques, pas une intention, et il ne distingue pas un texte écrit par une machine d'un texte écrit par un humain puis relu par un correcteur automatique. Les auteurs qui rédigent dans une langue seconde, dont la syntaxe tend justement vers la régularité, en font régulièrement les frais.

Quelques jours après le déploiement de Substack, le 2 août, l'article 50 du règlement européen sur l'IA entre en application et impose de marquer à la source plutôt que de détecter après coup. Les fournisseurs devront apposer sur les contenus générés un marquage lisible par machine, filigrane ou métadonnées, doublé d'un étiquetage visible pour l'utilisateur. Le manquement expose à 15 millions d'euros d'amende ou 3 % du chiffre d'affaires mondial. La Commission européenne a publié ses lignes directrices en mai et son code de bonnes pratiques en juin, avec un délai de grâce technique jusqu'au 2 décembre. La raison de ce sursis mérite d'être soulignée : marquer un texte de manière robuste et invisible reste, de l'aveu même du régulateur, un problème non résolu. Bruxelles reconnaît donc ne pas savoir faire ce qu'une entreprise californienne annonce réussir à 0,01 % près, dans l'autre sens.

Pour un auteur de lettre d'information francophone, la conséquence est immédiate et concrète (et ils sont de plus en plus selon cet excellent article de Revue21). Vos textes publiés après le 21 juillet sont scannables par n'importe quel abonné, et le réglage se coupe article par article depuis les options de publication. La déclaration de méthode reste probablement la meilleure protection disponible. Elle a au moins le mérite de raconter comment vous travaillez, ce qu'aucun pourcentage ne fera jamais à votre place.