Formidable outil de triche, ChatGPT inquiète beaucoup les enseignants. Mais des outils apparaissent pour détecter la fraude et les textes rédigés par l'IA. GPTZero, DetectGPT, ChatGPT AI Text Classifier… la chasse est ouverte ! 

Face aux problèmes répétés de triche auxquels font face les enseignants depuis la sortie de ChatGPT, l'IA conversationnelle d'OpenAI, la start-up a décidé de lancer un outil en ligne pour détecter les textes générés par l'intelligence artificielle : l'AI Text Classifier. Il serait capable de déterminer la probabilité avec laquelle un texte d'au minimum 1 000 caractères aurait été écrit pas l'IA plutôt qu'un être humain. Pour cela, il a été entraîné à partir de 34 intelligences artificielles génératives fournies par cinq entreprises – bien évidemment, ChatGPT est inclue dans le lot.

Pour utiliser AI Texte Classifier, il suffit de se rendre sur ce lien, de copier/coller le texte à vérifier et de cliquer sur "Submit". L'outil va alors indiquer en une phrase la probabilité que l'IA l'ait généré selon cinq niveaux : très improbable (10 % de chances), improbable (entre 10 et 45 %), peu clair (entre 45 et 90 %), peut-être bien (entre 90 et 98 %), ou probablement (plus de 98 %). OpenAI indique qu'il n'est pas entièrement fiable et peut se tromper, notamment avec de faux positifs, surtout si le texte est écrit dans une langue autre que l'anglais. Et c'est sans compter sur les petits malins qui retouchent les textes générés par l'IA pour brouiller les pistes ! C'est pourquoi l'entreprise conseille de s'en servir comme outil d'appoint et de ne pas se baser uniquement sur lui.

ChatGPT : le cauchemar des enseignants

Si de nombreux milieux comme le journalisme, la médecine, la cybersécurité et la psychiatrie étudient les possibilités que leur offre cette intelligence artificielle capable de générer des textes précis et détaillés dans un langage naturel via une simple demande, ils sont également très attentifs quant aux dérives qu'elle peut engendrer. Le milieu de l'enseignement en particulier est pris au dépourvu, car ChatGPT, déjà largement utilisé par des élèves depuis son apparition, se révèle si efficace pour rédiger des devoirs et des synthèses qu'il est parfois impossible de différencier ses créations la production d'un humain : un sacré problème, et pas uniquement en matière d'éthique et de transparence. En effet, les étudiants y voient un gain de temps précieux ainsi que la possibilité d'obtenir une bonne note sans trop d'efforts. Un problème parmi tant d'autres, qui pousse ses développeurs à trouver un moyen de mettre en place une signature au sein du texte afin de différencier ceux produits par l'IA de ceux issus d'un humain.

Reste qu'en attendant, les enseignants se retrouvent démunis face à une technologie qui les dépasse et qui bouleverse les usages. L'IA a d'ailleurs été interdite dans les universités de New York et à Sciences Po – où toute utilisation pour un devoir pourra entrainer l'exclusion de l'élève de l'école, voire de l'enseignement supérieur, comme en cas de triche classique. Mais c'est bien beau d'interdire, mais encore faut-il pouvoir faire respecter le règlement. Et les étudiants ont toujours, depuis la nuit des temps, pris un malin plaisir à contourner et à enfreindre les règles. Plusieurs chercheurs et développeurs ont d'ores et déjà mis en place plusieurs outils afin de détecter qui de l'intelligence artificielle ou de l'élève a produit un texte.

DetectGPT : un outil anti-ChatGPT en développement

Une équipe de chercheurs de Stanford s'est attelée au problème que rencontrent actuellement de nombreux enseignants et ont mis au point une méthode baptisée DetectGPT. Il s'agit d'un baromètre qui détermine si un texte est généré ou non par une machine, et ce sans avoir recours à une IA ou à "la collecte d'un ensemble de données de passages réels ou générés" pour comparer le texte. Pour y parvenir, l'outil détecte des échantillons de modèles de langue préformés "en utilisant la courbure locale de la fonction de probabilité logarithmique du modèle", c'est-à-dire qu'il arrive à reconnaître des modèles de structure de contenus générés par une IA et à les signaler lorsqu'il les détecte. Les chercheurs n'ont pas donné plus d'informations, si ce n'est que DetectGPT n'est pour le moment qu'au stade de prototype et qu'il faudra attendre afin de bénéficier d'une version publique.

Détecteur ChatGPT - GPT3 : une start-up franco canadienne sur le coup

Mais ils ne sont pas les seuls à être sur le coup. Ainsi, la start-up franco-canadienne Draft & Goal vient de créer un détecteur disponible gratuitement en ligne capable, en quelques secondes seulement, de dire si le texte a été écrit par une intelligence artificielle ou une véritable personne, et avec un taux de fiabilité qui serait de 93 %. Il suffit de copier le texte d'au minimum 400 caractères que l'on souhaite soumettre, de le coller dans l'interface et de cliquer sur le bouton "Analyser". L'outil livre ensuite un score entre 0 et 100. Vincent Terrasi, le co-fondateur de Draft & Goal, explique à France Live que "quand le résultat est supérieur à 60, il y a une très forte probabilité que le contenu soit issu de l'intelligence artificielle de ChatGPT. Si le résultat est inférieur à 40, alors c'est probablement le fruit d'un travail humain." Pour la zone grise qui se situe entre 40 et 60, il s'agit généralement d'un mélange des deux, une technique souvent utilisée par les élèves pour diminuer les risques de se faire prendre. L'outil de la start-up est pour le moment en version bêta et fonctionne uniquement avec des textes en anglais – le français devrait être pris en charge d'ici quelques jours. De notre côté, nous sommes parvenus à duper l'outil en beauté dès notre première tentative, qui portait sur une explication du "deep learning", mais il a su détecter la supercherie par la suite.

D'après Vincent Terrasi, 80 % de leurs utilisateurs seraient des enseignants. "À vrai dire, ce n'est pas la première fois que les enseignants redoutent d'être trompés par la technologie. C'est depuis longtemps le cas de certains profs d'anglais qui s'interdisent de donner des devoirs à la maison depuis l'avènement Google Traduction par exemple. Mais ChatGPT marque indiscutablement une nouvelle étape", explique-t-il. Il ne dévoile cependant pas complètement sa méthode pour détecter les textes produits par des IA. Il indique seulement que le détecteur utilise lui aussi une intelligence artificielle qui repose sur le machine learning. De ce fait, plus il va être utilisé, plus il deviendra performant.

Pour déterminer le score d'un texte, il va croiser toute une série "d'empreintes", soit "des suites de mots qui ne peuvent être écrites que par l'intelligence artificielle. Tout simplement parce qu'un humain n'utiliserait pas ces mots, ces formulations ou ces idées. [...] C'est le cas par exemple, d'expressions toutes faites qui ne sont pas 'naturelles'. ChatGPT va ainsi utiliser une formulation comme 'faire' du tennis ou du piano. Un humain dira plus volontiers qu'il 'pratique' le tennis ou qu'il 'joue' du piano." Le détecteur est donc très attentif au jargon extrêmement technique, aux erreurs de grammaire, aux fautes d'orthographe, aux répétitions, aux erreurs de calcul, aux exagérations, aux contradictions et aux "hallucinations" – quand l'IA est persuadée que quelque chose de complètement faux est vrai. Pour le moment, l'utilisation du détecteur est limitée à dix tests de textes par jour, mais la start-up songe à augmenter cette limite.

GPTZero : un outil "anti-plagiat" pratique, mais perfectible

Edward Tian, un étudiant en informatique et en journalisme de l'Université de Princeton, aux États-Unis, a développé une application dont l'algorithme permet d'identifier si un texte a été produit par le chatbot ou s'il a été écrit par un humain. Baptisée GPTZero, elle analyse le texte afin d'évaluer sa complexité, son caractère aléatoire par rapport à un modèle de texte ainsi que son uniformité. Combinés ensemble, ces éléments permettent – enfin, en théorie – de déterminer si le contenu a été créé par un humain ou par une IA.

GPTZero est accessible gratuitement via n'importe quel navigateur Web depuis gptzero.me ou cette adresse. Attention, l'outil est encore en version bêta, donc il bugue souvent et n'est pas très rapide. Il faut attendre quelques minutes entre chaque étape que la page se charge et ne pas hésiter à la réactualiser si un message d'erreur apparait. Il ne faut pas être pressé ! Le site est en anglais, mais GPTZero est tout à fait capable d'analyser un texte en français. Pour l'utiliser, il suffit de copier/coller le texte dans le champ correspondant puis de faire Ctrl + Entrer pour que l'outil l'analyse. Il faut ensuite attendre quelques minutes que tous les résultats s'affichent et, à la fin, cliquer sur "Get GPTZero Result".

Pour déterminer si le texte a été écrit par une intelligence artificielle ou un humain, GPTZero mesure sa Perplexité (Perplexity en anglais), qui désigne "le caractère aléatoire du texte". Il s'agit d'"une mesure de la capacité d'un modèle de langage comme ChatGPT à prédire un échantillon de texte. En d'autres termes, elle mesure à quel point le modèle informatique aime le texte." Plus la perplexité d'un texte est élevée, plus il est susceptible d'avoir été écrit par un humain.

Dans notre test, ChatGPT a généré un texte à partir de la consigne suivante : "écris un texte exhaustif sur la place de la philosophie dans Harry Potter." Son score de perplexité a été de 38. Toutefois, il ne tient pas compte de nombreux facteurs, comme la longueur du texte. Or, les textes plus longs sont moins aléatoires et ont généralement des perplexités plus faibles. C'est pourquoi il faut prendre en compte la perplexité moyenne, c'est-à-dire sur l'ensemble des phrases. Cette fois, elle était de 72,3. Enfin, en analysant phrase par phrase la complexité du texte, GPTZero est arrivé à la conclusion que notre texte sur Harry Potter a été écrit par une IA. Sur notre article sur l'Apple Pencil, notre perplexité totale a été de 190, et l'outil en a conclu que le texte a bel et bien été écrit par un humain. À noter que certaines phrases écrites par l'humain peuvent avoir une faible perplexité, mais il y a forcément des pics de perplexité lorsqu'il continue à écrire – d'où la nécessité d'analyser phrase par phrase. En revanche, la perplexité est uniformément distribuée et constamment faible pour les textes générés par des machines.

Anti-triche ChatGPT : quel avenir pour l'IA et l'enseignement ?

Si le développement d'outils anti-triche est une bonne nouvelle et nécessaire, la place à accorder aux IA comme ChatGPT dans le domaine de l'enseignement fait débat. Bien évidemment, il semble logique que les professeurs interdisent à leurs élèves de s'attribuer les "mérites" du travail fourni par une IA. Ainsi, dans un courrier adressé à l'ensemble des étudiants et des enseignants, la direction de Sciences Po a annoncé que "l'utilisation, sans mention explicite, de ChatGPT à Sciences Po, ou de tout autre outil ayant recours à l'IA, est, à l'exception d'un usage pédagogique encadré par un enseignant, pour l'instant strictement interdite lors de la production de travaux écrits ou oraux par les étudiants". Même son de cloche de l'autre côté de l'Atlantique, dans le district de New York, dont la porte-parole Jenna Lyle estime que " l'outil est certes capable de fournir des réponses rapides et faciles aux questions, mais il ne permet pas de développer une pensée critique ni les compétences nécessaires pour résoudre des problèmes, qui sont essentielles à la réussite scolaire et à la réussite tout au long de la vie". Un argument qui est loin de faire l'unanimité au sein de la communauté éducative.

En effet, comme le rapporte EducationWeek, le vice-président de la recherche et du développement au sein de l'Educational Testing Service Andreas Oranje juge que l'interdiction de l'IA est "une mauvaise idée parce que ChatGPT est un fait de la vie. Et nous voulons préparer les élèves à la vie". Et les intelligences artificielles semblent bien être parties pour devenir des assistants à part entière dans notre vie quotidienne. En revanche, elle pense qu'il est nécessaire d'incorporer les avancées technologiques dans la manière d'enseigner, comme par exemple "créer des devoirs qui permettent d'acquérir les compétences que vous voulez enseigner, mais d'une manière qui fonctionne avec ChatGPT."