L'intelligence artificielle peut-elle dire des bêtises ?

Bonjour,

Dans le document L’erreur par l’intelligence artificielle et le droit des obligations, l'auteur Garance Cattalano écrit en février 2022

En mai 1997, le champion d’échec Kasparov joue contre l’ordinateur Deep Blue. Soudain, de façon totalement inattendue, l’ordinateur sacrifie l’une de ses pièces. Déstabilisé par ce qui ressemble à un coup de maître, Kasparov soupçonne une stratégie complexe – peut-être même une intervention humaine ! – et finit par déclarer forfait au bout de quelques coups. Ce n’est qu’une quinzaine d’années plus tard que le monde connaîtra l’explication : ce coup de génie serait tout simplement un bug informatique, une erreur grossière de l’intelligence artificielle. Kasparov, qui n’a pas pu imaginer l’erreur de la machine, a donc pris une mauvaise décision en abandonnant la partie. Pourtant, ces ‘erreurs’ sont suffisamment fréquentes pour que le droit s’y penche. En 2018, en Arizona, un véhicule autonome Uber tue une piétonne faute de l’avoir identifiée comme telle ; en septembre 2021, le New-York Times révèle l’erreur de Facebook qui analyse les photos de personnes noires comme étant des singes ; ou encore Boeing et le système automatique antidécrochage (MCAS) de ses 737 max. Or, ce système s’appuyait sur des mauvaises données de mesure d’angle d’attaque, poussant les avions à piquer du nez dans la phase de décollage, sans que le pilote humain ne puisse reprendre la main car Boeing ne les avait informés ni de l’existence du système, ni de la manière de le désactiver. Cette terrible erreur a coûté la vie à plus de 300 passagers de deux vols différents en 2019. Or, si ces dramatiques incidents sont toujours dus à un dysfonctionnement de l’intelligence artificielle, [...] peut-on véritablement parler d’erreur de l’intelligence artificielle dans la décision ? L’intelligence artificielle, qui n’a pas de conscience, prend-elle des décisions ? Les dysfonctionnements de l’intelligence artificielle sont-ils des erreurs ?

En avril 2021 un article de Sciences&Vie consultable via Euopresse en bibliothèque et à distance pour les abonnés de la BML, expliquait les raisons des bases erronées de l'intelligence artificielle :

Il faut appeler un chat, un chat. C’est littéralement l’étape nécessaire préalable à l’entraînement d’un algorithme d’intelligence artificielle : étiqueter, ou annoter, tous les contenus d’une base de données, accoler le mot décrivant explicitement à quoi la photo, la vidéo, le son correspond. Une image de chat ? On écrit "chat". Cela servira en l'occurrence à entraîner un algorithme de reconnaissance visuelle. Cet étiquetage, c’est encore assez peu connu, est effectué à la main, généralement par des personnes payées pour ce qui relève de micro-tâches répétitives. Or, dans un article publié fin mars, une équipe de trois chercheurs montée par le Massachussetts Institute of Technology a découvert que les bases de données d’entraînement les plus utilisées étaient percluses d’erreurs d’étiquetage : un crabe est annoté "homard", une grenouille est vue comme un chat, "pichet" décrit une théière et "ouvre-boîte", un casse-noix. Toutes les erreurs trouvées sont compilées sur le site Web Labelerrors mis en ligne pour l’occasion.

Selon Anca Dragran, experte mondiale en IA et relation humain – robot dans I.A : 4 Erreurs fréquentes à déjouer, lepont-learning.com, 2 janvier 2023, le plus compliqué n'est pas de créer l'algorithme mais de définir des objectifs précis que devra atteindre l’Intelligence Artificielle et de contrôler le processus. C'est là que peuvent se produire 4 types d’erreurs : 

1. le surapprentissage 

Si la machine se calque trop sur les particularités des premières données pour établir le modèle, ce dernier n’est plus assez généraliste et risque de faire de mauvaises prédictions ensuite !

2. la surinterprétation

La machine a tendance à penser que deux variables corrélées ont un lien de causalité. Prenons l’exemple du chien et du loup : l’IA doit déterminer si les photos qu’on lui soumet sont celles d’un chien ou d’un loup.

Elle remarque que la plupart des photos de loup sont prises dehors et souvent dans la neige contrairement à celles des chiens… la machine associe donc extérieur, neige au loup. Quand on lui présente l’image d’un husky dans la neige elle identifie la variable neige en arrière-plan et l’associe au loup… sans reconnaître donc qu’il s’agit d’un chien !

3. se tromper sur le critère d’optimisation

Bien souvent cela vient du manque de variété des données que vous soumettez à la machine. Si vous n’avez que des photos d’hommes blancs pour apprendre à la machine ce qu’est un être humain, le jour ou une photo de femme de couleur lui est soumise … la machine peut ne saura pas l’associer à l’humain.

4. les humains s’adaptent

L'algorithme peut donc être détourné.

Concernant ChatGPT, l'article des Echos du 12 décembre 2022, ChatGPT marque un tournant pour l'intelligence artificielle, consultable dans les mêmes conditions que précédemment, informe que

même s'il offre des avancées majeures, il reste alimenté par des données humaines qu'il peut parfois interpréter de façon erronée.

...

Par rapport à son prédécesseur, ChatGPT « est de plus en plus fiable, ce qui signifie qu'on s'approche du point où il sera difficile de le piéger » , note Sean McGregor, chercheur spécialisé dans l'intelligence artificielle. « J'avais l'habitude de comparer les modèles de langage à une voiture de sport qui a été créée à partir d'une benne à ordures , plaisante-t-il. Désormais, c'est toujours des ordures, je n'en mangerais pas, mais la voiture est devenue beaucoup plus performante. » Mais le chercheur, qui a fondé une ONG répertoriant les incidents liés à l'intelligence artificielle, est aussi prompt à souligner les limites du modèle. « Cela repose avant tout sur des données qui ont été produites par des personnes , explique-t-il. Il n'a toujours pas la capacité de créer des choses nouvelles, de dépasser ce qu'expriment les données. »

...

Beau parleur, peu cultivé

ChatGPT est basé sur une analyse statistique d'une quantité gigantesque de textes. S'il répond correctement à la plupart des questions, des causes du changement climatique à la recette des galettes des Rois, il peut néanmoins se tromper. Et son ton neutre risque d'induire les utilisateurs en erreur. « C'est un modèle de langue qui ne comprend rien, ne raisonne pas. Il mimique le langage humain à partir de toute la connaissance humaine qui lui a été fournie. Ce qui signifie qu'il peut dire de façon très persuasive quelque chose de complètement faux. Et si on n'est pas un expert, on ne s'en rend pas compte » , met en garde Jeff Boudier.

Ben Thompson, un analyste américain qui écrit la newsletter Stratechery, a ainsi demandé au chatbot de répondre à une question sur Thomas Hobbes, qu'étudiait sa fille à l'école. « Est-ce que Hobbes croyait à la séparation des pouvoirs ? » lui demande l'analyste. « Oui, Thomas Hobbes croyait à la séparation des pouvoirs » , affirme l'intelligence artificielle en développant cette idée sur trois paragraphes. Mais cette réponse, qui paraît étayée, est fausse. La raison de cette erreur est sans doute statistique : Hobbes, un partisan de l'absolutisme, est souvent comparé à son contemporain John Locke, qui croyait, lui, à la séparation des pouvoirs. Ce qui aurait semble-t-il perturbé le chatbot.

Wikipédia relève aussi l'inexactitude et ambiguïté des réponses de ChatGPT ainsi que ses risques d'actes malveillants.

Notons que si ChatGPT établit un lien entre Jean-Baptiste Willermoz et Michel Pastoureau c'est à l'instar de Google. En effet, lorsqu'on lance une requête Google incluant les mots Jean-Baptiste Willermoz et Michel Pastoureau, la recherche propose deux réponses qui n'aboutissent pas à des résultats concluants. Le blog repéré cite l'un et l'autre personnage dans des pages différentes mais sans rapport ni entre elles ni entre les deux hommes.

Mais réjouissons-nous de l'imperfection des réponses des IA qui laissent aux bibliothécaires et au Guichet du savoir encore quelques beaux jours devant eux !

Pour aller plus loin :

• Y a-t-il de l'intelligence dans l'intelligence artificielle?, La Tribune, 2 janvier 2023
• Intelligence artificielle : l’erreur est-elle humaine ? (podcast), Au crible de la science, 6 juillet 2022
• Faire la morale aux robots : [Livre] : une introduction à l'éthique des algorithmes / Martin Gibert, 2021
• Ce sera l'IA et moi [Livre] : [comprendre l'intelligence artificielle pour ne plus en avoir peur] / Cécile Dejoux, 2020
• L'intelligence artificielle n'existe pas [Livre] / Luc Julia ; en collaboration avec Ondine Khayat ; préface de Jean-Louis Gassé, 2019
• Les robots vont-ils remplacer les journalistes ? [Livre] / Damien Desbordes, 2018

Pour comprendre Jean-Baptiste Willermoz :

• Un mystique lyonnais et les secrets de la Franc-Maçonnerie : 1730-1824. [Livre] / Alice Joly, Archiviste-paléographe, 1938 ou éditions de 2008

Exploitant la richesse du fonds de la Bibliothèque municipale de Lyon, l'auteure trace le portrait de J.-B. Willermoz, une personnalité complexe, dont elle restitue la vie à travers la correspondance et les relations maçonniques et professionnelles. (source : Electre)

• Pierre-Jacques Willermoz, médecin lyonnais (1735-1799) [Livre] / par Alice Joly, 1938
• Jean-Baptiste Willermoz (1730-1824), et la Franc-Maçonnerie lyonnaise au XVIIIe siècle. Contribution et influence sur la société de l'époque. Exposition organisée par la Bibliothèque Municipale de Lyon avec le concours du Grand Prieuré des Gaulles. Musée des Beaux-Arts de Lyon. 5 octobre-3 novembre 1973. [Livre]
• Doctrine ésotérique d'un franc-maçon du XVIIIe siècle [Livre] : Jean-Baptiste Willermoz / Fatima Bouziane, 1978
• L'histoire étrange d'une loge : "Les Amis de la Vérité" dans la maçonnerie lyonnaise. [Livre] / Jean-Pierre Bacot, 1988
• Le martinisme [Livre] : l'enseignement secret des maîtres : Martinès de Pasqually, Louis-Claude de Saint-Martin et Jean-Baptiste Willermoz, fondateur du Rite écossais rectifié / Jean-Marc Vivenza, 2006
• Instruction particulière et secrète à mon fils / Jean-Baptiste Willermoz, 2019
• Voyage en franc-maçonnerie. Lyon, Carrefour européen de la Franc-Maçonnerie. [D.V.D.] / un film de Georges Combe, 2003
• Jean-Baptiste Willermoz : fondateur du régime écossais rectifié / textes choisis et présentés par Jean-Marc Vivenza, 2012

Bonne année et bonne journée.