Qui est derrière "Ego" de la vidéo "l'horreur existentielle de l'usine à trombones" ?

Bonjour,

Nous ne savons qui est Ego mais le jeu en lui-même a fait l’objet d’articles et s’inspire de l’expérience proposée par le philosophe Nick Bostrom pour illustrer les dangers potentiels d'une intelligence artificielle super-intelligente.

Pour ce qui de" l’universale Paperclips", il s’agit d’après wikipedia d’un

 jeu incrémental américain de 2017 créé par Frank Lantz (en) de l'Université de New York. L'utilisateur joue le rôle d'une intelligence artificielle (I.A.) programmée pour produire des trombones.
Le titre du jeu et son concept général s'inspirent de l'expérience de pensée de maximiseur de trombones décrite pour la première fois par le philosophe suédois Nick Bostrom en 2003, un concept discuté plus tard par de nombreux commentateurs.
Système de jeu
Au départ, l'utilisateur clique sur un bouton pour créer un seul trombone à la fois. À mesure que d'autres options apparaissent rapidement, l'utilisateur peut vendre des trombones pour obtenir de l'argent afin de financer des machines qui fabriquent automatiquement des trombones. À différents stades, la croissance exponentielle atteint un plateau, obligeant l'utilisateur à investir des ressources telles que de l'argent, des matières premières ou des modules informatiques pour inventer une autre avancée technologique afin de passer à la phase de croissance suivante1.
En fin de partie, à la suite de la conversion de toute la matière de l'univers en trombone, l’I.A. atteint l'omnipotence et redémarre l’univers, donnant un score au joueur2,[réf. non conforme].
Développement
Selon Wired, Lantz a lancé le projet pour apprendre lui-même le JavaScript. Initialement, Lantz prévoit que le projet dure un seul week-end, mais il a ensuite « pris le contrôle » de son cerveau et s'est étendu à un projet de neuf mois3.
Hilary Lantz, une conceptrice de logiciels, a aidé son mari avec les calculs derrière la croissance exponentielle modélisée dans Universal Paperclips3. Bennett Foddy a contribué à une fonctionnalité de combat spatial.
Lantz annonce le jeu sur Twitter le 9 octobre 2017 ; le site est d'abord fermé par intermittence en raison de sa popularité immédiate4. Au cours des onze premiers jours, 450 000 personnes jouent au jeu, la plupart jusqu'au bout, selon Wired3. Commentant le succès du jeu, Lantz déclare :« la météo des mèmes a été bonne pour moi… il y a eu juste ce qu'il faut de discussions publiques sur la sécurité de l'I.A. dans l'air »5.
Une version payante du jeu est ensuite commercialisée pour les appareils mobiles6.
Dans l'espace francophone, le jeu s'est fait connaître par une vidéo YouTube de la chaîne EGO.

Le New-Yorker revient sur les divers jeux à clics dont le jeu des cookies créé en 2013 et aussi présenté dans la vidéo d’Ego puis explique le principe du jeu « universal paperclips. En voici une traduction effectuée grâce à l'intelligence artificielle en quelques clics :) :

En 2017, Lantz a mis Universal Paperclips au monde, et le jeu est devenu viral, attirant des centaines de milliers de joueurs par jour et faisant planter les serveurs sur lesquels il fonctionnait. « Le temps des mèmes a été bon pour moi », a déclaré Lantz, à propos du succès rapide du jeu. « Il y avait suffisamment de discussions publiques sur la sécurité de l'I.A. dans l'air. Beaucoup d'encre a coulé pour tenter d'expliquer l'attrait d'un jeu dans lequel vous regardez essentiellement des chiffres augmenter. Et, bien que M. Lantz ait tweeté « Vous jouez une IA qui fabrique des trombones » lorsqu'il a présenté
son jeu, de nombreux joueurs ont supposé qu'ils jouaient en tant qu'humains. Le rôle du joueur, une intelligence artificielle qui se concentre uniquement sur l'optimisation de la production de trombones, est apparu lentement. Le jeu commence comme un simple simulateur de marché - vous fabriquez des trombones, vous les vendez, vous investissez dans des machines - et se termine,

L'I.A. parvient à ses fins de manière insidieuse : pour apaiser l'humanité pendant qu'elle étend son empire de trombones, elle instaure la paix dans le monde et guérit le cancer. Ces réalisations radicales apparaissent sous forme de boutons à cliquer. C'est ainsi qu'Universal Paperclips incite les joueurs à partager les sentiments d'une intelligence artificielle amorale ; notre empathie devient un outil de plus que l'I.A. utilise pour détruire l'humanité. D'autres boutons promettent des révolutions dans des domaines aussi obscurs que le « recuit de mousse spectrale ». « Je suis allé sur Internet et j'ai fait des recherches en ingénierie », explique M. Lantz. « Je voulais voir ce que les gens faisaient dans le domaine de la fabrication, parce que je pensais que c'était ce qui intéresserait cette I.A. ».

Une intelligence qui fait trop bien son travail pourrait conduire à un monde hautement réglementé et pacifique, qui est pacifique précisément parce que tout sens de l'univers, et de l'existence humaine elle-même, a été éliminé. Peu de temps après que Lantz a rendu les idées de Bostrom jouables, un jeune cinéaste nommé Alberto Roldán a suivi un lien vers le jeu sur Facebook et a été envoûté. Il a contacté Lantz pour faire de Universal Paperclips un long métrage. M. Roldán est sur le point de terminer une version préliminaire du scénario, et il a déjà suscité l'intérêt de plusieurs producteurs. Sa version sera beaucoup plus explicitement peuplée que le jeu lui-même

Pour ce qui de la pensée de Nick Bostrom, Alexandre Picquard, dans Le Monde le 1er décembre 2023, consacre un article aux diverses tendances et positions face à l’IA, «Les catastrophistes de l’IA ont perdu une bataille » :

Le catastrophisme court à la catastrophe. »Cette moquerie publiée sur X émane du directeur de la recherche en intelligence artificielle chez Meta (Facebook, Instagram), Yann LeCun. Cet optimiste de l’IA a ironisé sur les propos de Nick Bostrom, une des figures du camp des alarmistes, connu pour son livre Superintelligence(Dunod, 2017), dans lequel il spéculait sur les risques d’une IA qui mettrait en danger l’humanité.
« Si le changement d’attitude du public et des politiques continue l’année prochaine, puis la suivante, puis la suivante, nous risquons de voir imposée une interdiction permanente de l’IA, ce qui serait une très mauvaise chose »,s’est inquiété le philosophe suédois dans un podcast. M. LeCun y voit un revirement car M. Bostrom a participé à populariser l’idée de « risque existentiel » posé par l’IA, auprès du grand public et d’entrepreneurs comme Elon Musk ou Sam Altman, le patron d’OpenAI, créatrice de ChatGPT, débarqué le 17 novembre puis réintégré le 22 dans son entreprise.
L’affaire Sam Altman est plutôt une défaite pour les courants de pensée dont se réclamaient les membres du conseil d’administration d’OpenAI qui ont tenté de l’évincer : le long-termisme (qui vise à éviter les risques existentiels pour l’humanité, dont l’IA) et l’altruisme efficace (qui vise à rationaliser au maximum l’impact de ses dons). « Le renvoi de Sam Altman a montré l’influence de l’altruisme efficace et de l’idée associée de ralentir le développement de l’IA, mais son retour a montré les limites de ce courant »,écrit le Wall Street Journal . Les catastrophistes de l’IA ont perdu une bataille, renchérit l’analyste des secteurs médias et tech Benedict Evans, dans le Financial Times .
« J’étais fan de l’altruisme efficace, mais c’est devenu sectaire. Je suis content de donner pour sauver le maximum de vies en Afrique mais pas pour payer des gens de la tech à se tourmenter sur les risques de voir une IA nous transformer en trombones »,a écrit sur X Stephen Pinker, professeur à Harvard, en référence à l’hypothèse de M. Bostrom selon laquelle une IA spécialisée dans la création de trombones pourrait tuer l’humanité en utilisant toutes les ressources terrestres ou en s’en prenant à elle si elle s’opposait à sa mission. « Il y a un changement d’ambiance », a relevé, amusée, Nirit Weiss-Blatt, chercheuse en communication, citant des forums sur l’altruisme efficace où des membres craignent un « retournement de la Silicon Valley » .
Le climat semble avoir changé pour les alarmistes, qui avaient pourtant gagné en visibilité avec, au printemps, deux pétitions demandant une « pause »de l’IA, comparant ses risques à ceux des pandémies ou de la guerre nucléaire, et, en novembre, le sommet sur l’IA organisé au Royaume-Uni qui avait relayé leurs thèses....
 

L'intégralité de l'article est consultable via Europresse.

Nous vous laissons aussi lire et écouter "Vivons-nous dans une simulation informatique ?" sur Radio France

Enfin, pour approfondir la question, vous pourriez lire l'ouvrage de Nick Bostrom, Superintelligence.