ChatGPT vous a sûrement battu au bac de philo… et il n’était même pas à fond

Ce mercredi 14 juin, des centaines de milliers de lycéens se sont mesurés à l'épreuve de philosophie du baccalauréat. Mais ils n'étaient pas les seuls : une compétition entre le philosophe Raphaël Enthoven et ChatGPT a eu lieu. Pas de suspense : l'IA a perdu, mais a quand même eu la moyenne.

L’intelligence artificielle est-elle capable de philosopher ? C’est la question que l’on se pose, bien que, d’un point de vue technique, ce n’est pas du tout ce qu’elle fait. Quoiqu’il en soit, l’école d’informatique et de commerce Paris School of Technology and Business (PST&B) organisait ce mercredi 14 juin un affrontement entre Raphaël Enthoven et ChatGPT sur l’épreuve du baccalauréat général de philosophie qui se déroulait en même temps. Le sujet : « Le bonheur est-il affaire de raison ? », choisi par le philosophe en chair.

Comment ChatGPT a-t-il passé le bac de philosophie

Si l’on donnait simplement la question du bac de philo à ChatGPT, il formulerait une réponse de 200 mots environ, exempte de détails, de définitions, de références et de citations, en formulant un plan classique thèse-antithèse-synthèse, sacro-saint de la philosophie au lycée. Plusieurs questions successives ont été posées à ChatGPT afin d’orienter ses réponses et, surtout, délivrer une copie complète. Interrogeant Mahdi Zargayouna, chercheur en informatique qui a formé ChatGPT, Le Parisien écrit que « ChatGPT a eu droit à des semaines de préparation ».

On apprend qu’une vingtaine de lignes ont été données au chatbot d’OpenAI pour la génération de la réponse, avec l’aide d’un ingénieur, d’un technicien et de philosophes. On appelle cela du prompt engineering, de l’ingénierie de commande en français, qui désigne l’ensemble des techniques pour la création de requêtes à destination des IA génératives. En quelques mots, c’est le « comment est-ce qu’on lui pose la question ». Dans une première, les ingénieurs ont demandé à ChatGPT les auteurs incontournables autour du sujet. Dans la deuxième requête, il a été demandé à ChatGPT d’écrire la dissertation, en lui demandant de mentionner les auteurs, qu’il a donnés en réponse à la première requête.

ChatGPT devait utiliser « un ton académique et persuasif », tout en rédigeant « une dissertation claire, cohérente, fluide, ordonnée, en examinant successivement différentes réponses possibles », rapporte Le Figaro. Pour avoir une copie la plus poussée, c’est le modèle de langage GPT-4 qui a été utilisé, disponible à ceux qui souscrivent l’abonnement ChatGPT Plus. Il est plus efficace que GPT-3.5, utilisé pour la version gratuite du chatbot. La dernière version du modèle de langage d’OpenAI permet un raisonnement plus poussé et est réputée meilleure pour les tâches nécessitant de la créativité.

ChatGPT et Raphaël Enthoven ne dissertent pas du tout de la même manière

Après une heure et demie de rédaction, les deux « adversaires » ont rendu leur copie. En réalité, ChatGPT n’a mis qu’une minute et trente secondes pour « écrire » une dissertation de neuf pages, relue par l’équipe d’experts, qui a coupé quelques passages trop longs.

Elles ont ensuite été recopiées par deux personnes différentes, pour que le jury ne détermine pas qui avait rédigé telle ou telle copie. Un jury d’ailleurs composé par Éliette Abécassis, philosophe, et Lev Fraenckel, professeur de philosophie au lycée et à l’université, plus connu sous le nom de Serial Thinker sur TikTok.

Lors du rendu des notes et des conclusions, le jury a été très direct : il a rapidement reconnu qui avait écrit quelle copie. Pour Lev Fraenckel, « ChatGPT ne fait pas de problématique, rédige des phrases creuses, avec des citations approximatives ». Le chatbot n’aurait pas réellement disserté, argumenté, raisonné, mais plutôt rédigé de belles phrases. Il ajoute même que « dans la référence aux auteurs, c’est très faible, parce qu’il y a des erreurs ». Pour Éliette Abécassis, « ChatGPT a rendu une copie d’histoire de la philo, un catalogue avec ce que pensent les différents philosophes »

Pourquoi Raphaël Enthoven a eu 20/20 et ChatGPT « que » 11/20

Pour la philosophe Éliette Abécassis, son confrère « a développé sa pensée de manière superbe » et a développé « une réflexion philosophique tellement bien pensée, bien écrite, surprenante ». Ce qui lui a valu un logique 20/20. Mais il est à rappeler que Raphaël Enthoven est agrégé de philosophie et enseignant vacataire : il a également enseigné au lycée. De plus, plusieurs élèves de terminale obtiennent la note maximale chaque année dans la discipline.

Quant à ChatGPT, il n’a eu « que » 11/20, ce qui peut paraître peu. Toutefois, c’est au-dessus de la moyenne, ce qui signifie que la copie a été suffisante au regard des attentes de l’Éducation nationale pour l’épreuve du baccalauréat. Si ChatGPT a commis des imprécisions et des erreurs qui lui ont coûté de précieux points, c’est à cause de son fonctionnement.

Puisqu’il est destiné à prédire le mot suivant dans une phrase ou dans un paragraphe, il écrit celui qui lui semble le plus probable. Ce qui crée un biais, qui engendre des phrases très consensuelles : cela fait aussi en sorte que ChatGPT peut écrire des choses fausses. C’est pourquoi il est dénué d’avis sur la question, encore moins qu’un élève faisant une dissertation de philosophie, respectant scrupuleusement la méthodologie.

Élément étrange, Serial Thinker assure que « dans la copie de ChatGPT, il n’y a même pas de problématique », selon ses propos rapportés par l’AFP (via L’OBS). Pourtant, en demandant de rédiger une dissertation à ChatGPT avec le sujet du bac, le chatbot nous formule bien une problématique.