Il ne faut pas abuser de ChatGPT

Publié le 19 janvier 202319 janvier 2023 par Herve Kabla

L’usage de ChatGPT serait-il mauvais pour la santé ? Évidemment non, mais à l’heure où cet outil connaît une exposition médiatique d’une ampleur surprenante, il est bon de rappeler quelques principes de base de ce formidable outil. Et bien qu’il soit en quelques jours devenu le meilleur avocat de l’usage de l’intelligence artificielle au quotidien – bien meilleur que Siri ou Alexa, convenons-en – ChatGPT reste un outil dont les limites sont rapidement tangibles.

Pourquoi GPT ?

La première de choses à bien comprendre, c’est que l’acronyme GPT dans ChatGPT ne veut pas dire ce que vous croyez entendre en français, mais signifie Generative Pre-training Transformer – en anglais. Cela signifie que l’algorithme d’ ChatGPT a été entraîné à « apprendre » une grande quantité de texte. Ici, « apprendre » signifie que ChatGPT reconnaît des enchaînement de mots plausibles : les mots le et bateau peuvent se suivre, tout comme un et bateau, mais non la et bateau, ou une et bateau – ce qui me fait penser que ChatGPT ne doit pas faire bon ménage avec l’écriture inclusive. De même bateau et vogue peuvent se suivre, mais non bateau et mange.

Mais hélas, « apprendre » ne signifie pas ici « comprendre » : ChatGPT ne comprend pas les phrases qu’il élabore. Tout au plus est-il capable de reconnaître que ce qu’il exprime est correct du point de vue de la syntaxe et de la grammaire, ou de la probabilité que des termes se retrouvent ensemble dans la même phrase. ChatGPT récite des phrases correctes dont il ne connaît pas l’exactitude. Et c’est là que ça gêne un peu.

Parfois, ça marche…

ChatGPT est particulièrement bluffant pour une multitude d’usage, par exemple pour résumer un texte ou répondre à une question d’ordre historique, pour laquelle on serait auparavant allé chercher la réponse sur Wikipedia, ou directement en posant la question à Google : quel était le roi qui précéda Louis XV (facile), oui qui a succédé à Napoléon 1er (un peu moins facile). Encore faut-il être capable de valider la réponse – quelques connaissances historiques suffisent en l’occurrence, mais cela peut rapidement se complexifier.

C’est d’ailleurs un des problèmes posés par la démocratisation d’outils comme ChatGPT pour l’enseignement. Comment valider les connaissances des élèves, si ceux-ci peuvent demander à ChatGPT d’effectuer un devoir à la maison à leur place ? Ici, ChatGPT s’en sort parfaitement pour rédiger un court texte sur la beauté de la mer. Imaginez le calvaire des professeurs de français ou de philo, amenés à corriger des textes insipides que n’ont même pas pondu leurs propres élèves…

Mais parfois c’est plus compliqué…

Là où ChatGPT bloque (pour l’instant), c’est au niveau du calcul. En maths, faire bonne figure ne suffit pas. Réciter sa leçon, c’est bien, la comprendre et l’appliquer, c’est mieux. Ainsi, et c’est bien étrange pour un outil conçu par des ingénieurs, ChatGPT commet des erreurs de calcul qui laissent parfois pantois, comme cette question posée ce matin, et à laquelle il n’a pas su répondre correctement du premier coup…

Et oui, 1329 et 2537 sont premiers entre eux ! Un élève de 6e aurait pu vérifier, au demeurant, que ces deux nombres ne sont pas divisibles par 11 ! C’est quand même problématique. Pire que cela, s’il retient bien le résultat quelques minutes plus tard, il commet une grossière erreur quand je lui pose une question piège, en multipliant l’un des deux nombres par 2, ce qui ne doit rien changer au résultat – deux nombres premiers entre eux.

Non seulement l’algorithme ne se rend pas compte que j’ai simplement multiplié l’un des deux nombres par un facteur premier avec les deux, mais en plus, il m’enfume en proposant un diviseur – 21 – qui n’en est pas un, puisque 2537 n’est pas divisible par 3 et 2658 n’est pas divisible par 7…

Bref, si ChatGPT est un jouet hors du commun, il est encore trop tôt pour lui confier des taches sensibles.

À la limite écrire des discours.

Mais certainement pas faire du calcul.

Il a sa place à l’Assemblée Nationale…