Bonjour les ami.e.s,
Ces derniers jours, on a beaucoup entendu parler d’IApocalypse, de pause, de ralentissement concerté ou de « stratégie coordonnée de régulation du rythme » dans le développement des modèles dits de pointe.
La dialectique doomers/boomers et sa critique sont bien connues. Du côté du boom and doom, il y a ceux qui estiment que nous sommes en train d’élever (plutôt que de construire) une superintelligence, une « intelligence artificielle générale » (IAG), qui sera − c’est selon − une force d’émancipation (boom) ou de destruction (doom). Du côté des sceptiques, ceux qui pointent le flou de ces définitions (qu’est-ce qu’une IAG ?) et soulignent que cette focalisation eschatologique détourne des vrais enjeux : bulle financière, déqualification du travail, concentration de richesses déjà concentrées, empreinte matérielle et carbone des data centers, intégration à l’industrie militaire.
Ces débats me font parfois penser à ceux qui ont accompagné l’intensification des dangers climatiques, il y a une dizaine d’années. Les collapsologues et ceux qui évoquaient le scénario d’une planète étuve étaient accusés de dramatiser les enjeux au détriment d’une analyse plus granulaire − qui va morfler, à quelle échéance, et au bénéfice de qui ? Se sont ensuite imposées des approches moins englobantes, calées sur l’horizon moins spectaculaire d’une décrépitude inégale et combinée. Mais la lancinante musique de la catastrophe ne s’est jamais vraiment éteinte, elle joue désormais la partition des « points de bascule », et il est difficile de l’écarter complètement.
Mais comment, concrètement ?
Ainsi, cette semaine, en plaisantant avec des collègues anti-doomers (avons-nous 10 % de chances de tous mourir avant 2030 ou l’inverse ?), j’ai quand même eu un doute sur le bien-fondé de notre scepticisme − peut-on vraiment écarter l’hypothèse Terminator ? On le sait, c’était bien dit par le critique AI Now Institute, « affirmer que l’IA générale (AGI) est proche permet de maintenir le rythme des investissements ». Et l’on pourrait lire les déclarations de plus en plus pressantes de Dario Amodei, le patron d’Anthropic, et des autres, comme le signe d’une fébrilité croissante alors que s’approchent les introductions en Bourse. Mais est-ce que balayer ces alertes ne serait pas faire preuve de myopie ? D’une sorte de dédain mal placé ?
Parmi les premiers climato-rassuristes, il y eut beaucoup de géologues qui, par déformation professionnelle, par habitude de tout ramener à des cycles longs et à des puissances telluriques (aussi par association avec l’industrie fossile), ont tardé à accepter l’idée que l’humain puisse avoir une réelle influence sur l’atmosphère. La gêne amusée qui me saisit quand j’écoute des développeurs américains raconter avec un mélange d’étoiles et de trous noirs dans les yeux qu’ils sont en train de créer « dieu dans une boîte » pourrait être une méprise du même ordre : il faut peut-être un peu d’hubris pour ne pas passer à côté d’importantes ruptures.
Clarifions un point : on reproche souvent aux doomers de ne pas être très précis quant à l’enchaînement des faits conduisant à l’extinction de l’humanité. Les textes de cette mouvance − je pense par exemple à If Anyone Builds it, Everyone Dies − contiennent pourtant des cas (plus ou moins étayés du côté des sciences de l’informatique). Il me semble plutôt que le problème est qu’ils opèrent constamment un glissement : les exemples donnés tiennent davantage de l’amplification des menaces existantes (cybersécurité, bioterrorisme, etc.) quand la conclusion théorique est celle de la prise de contrôle d’une superintelligence sentiente − l’« auto-amélioration récursive » créerait une « explosion d’intelligence ».
Dire que les IA peuvent être utilisées par des personnes ou des États mal intentionnés pour affûter des virus mortels ou faire clignoter l’éclairage public jusqu’à nous rendre fous est une chose. Mais penser qu’une forme de vie électronique choisira de nous balayer en est une autre. Dans le premier cas, les IA s’insèrent dans les rapports de pouvoirs entre humains ; dans le second, elles les transcendent. Dans le premier cas, on pourrait dire que nous avons affaire à une sorte de polythéisme : les dieux peuvent être amicaux ou vicieux, mais ils se mêlent aux humains, les appuient, les contrarient et négocient avec eux. Dans le second, c’est un monothéisme : une singularité se dresse au-dessus de nous, dans le cloud, et nous ne pouvons que lui adresser des prières en sachant que ses voies sont impénétrables.
Un plan pour ralentir
Pris d’un vertige − un vertige qui remplace les sciences sociales par la science-fiction ou la religion −, j’ai donc été voir comment un éventuel ralentissement de l’IA était envisagé par ceux qui sonnent le tocsin et annoncent l’émergence d’une puissance qui écrasera toutes les autres. Des comparaisons avec la conférence d’Asilomar sur l’ADN recombinant ou l’interdiction du clonage humain sont mobilisées, mais certains vont plus loin et imaginent des scénarios très précis. C’est le cas de Daniel Kokotajlo, ancien d’OpenAI, et de son AI Futures Project.
Au début de l’été, ce collectif a développé un plan A − une « vision optimiste de la manière dont l’humanité peut éviter une catastrophe existentielle ». En le lisant, on ne peut s’empêcher d’envier ces repentis : après avoir gagné beaucoup d’argent, ils s’éclatent à écrire de la science-fiction et sont pris au sérieux. Leur scénario démarre en 2029 quand la Chine et les États-Unis « s’accordent à éviter une course effrénée vers la superintelligence ». Le dilemme du prisonnier dans lequel les dirigeants d’OpenAI et Anthropic font mine d’être englués (« Nous n’avons que quelques mois d’avance sur la Chine ! ») se dissipe parce que − ne riez pas − le président américain a une épiphanie. « Après tout, comme nous tous, il devra faire face aux crises qui découleront de la superintelligence après avoir quitté ses fonctions. »
Dans les premiers temps, les deux pays installent une forme de transparence sur leurs capacités mutuelles de calcul, ce qui selon les auteurs serait relativement facile puisque les fournisseurs de puces sont peu nombreux et que les data centers se voient de l’espace. Puis ces nations acceptent de faire une pause dans l’entraînement de nouveaux modèles. Des contrôles aléatoires sont menés sur les data centers pour vérifier qu’ils chauffent uniquement pour l’inférence.
La partie la plus drôle vient ensuite : pour arriver à un équilibre de la terreur, à une forme de « destruction mutuelle assurée » de leur capacité, la Chine et les États-Unis acceptent de construire leurs nouveaux data centers à portée de missiles de leur rival : au Canada pour les Chinois, en Mongolie pour les Américains. Entre 2030 et 2035, les modèles s’améliorent, puis il y aurait une pause jusqu’à ce que la science de l’alignement et celle de l’interprétabilité soient mûres. Dans cet intervalle, les métiers du tertiaire finissent de disparaître, et ceux qui impliquent une dextérité manuelle sont remplacés par des robots. Mais un goût du nouveau monde est donné par une sorte de revenu de base.
Dans cette période de transition où l’IA peut encore déborder du coloriage, on construit quelques filets de sécurité comme des « refuges biochimiques » et des protocoles allégés pour concevoir des vaccins à toute vitesse si jamais une nouvelle pandémie devait apparaître. Le monde se divise en trois types de zones, des aires industrielles (« imaginez une gigantesque mine à ciel ouvert remplie de robots »), des arcologies (« un immense centre commercial dans un gratte-ciel, entouré par la nature ») et des réserves historiques et naturelles (« Yosemite ou Paris, mais avec beaucoup plus de touristes »). Les gens peuvent choisir où ils habitent puisqu’ils ne travaillent plus.
Arrive 2040 : les IA sont alignées, « c’est comme si des saints et des anges se promenaient parmi nous ». L’humanité décide de lever les restrictions restantes et calcule le « jour de passation », celui où les IA vont prendre le contrôle, jour que la plupart des gens vivent comme nous avons vécu le bug de l’an 2000 : avec un mélange de peur et d’excitation, avant de se dire « tout cela pour ça ». Encore quelques années et tous les humains sont millionnaires tandis que des robots minent les astéroïdes.
Vertige de la science-fiction
Bien sûr, tous les appels à la pause émanant du champ de l’IA safety et de la gouvernance de l’IA ne sont pas aussi tartignolles. Parmi les idées sérieusement explorées, il y a la création d’un système de licences ; la fondation d’un organisme semblable à l’Agence internationale de l’énergie atomique ; le dépôt obligatoire de « dossiers argumentés de sûreté » (comme pour d’autres industries dangereuses) ; un plafond imposé sur la capacité de calcul ; un contrôle d’exportation et de fabrication sur les puces. Mais le document du AI Futures Project, dans sa netteté, révèle ce qui peut traverser le milieu de l’altruisme efficace, très présent autour de la notion de superintelligence et des volontés de l’encadrer.
On y voit bien que c’est le rythme qui compte davantage que la direction prise par cette technologie. On y voit aussi comment l’IA sert à reconduire le rêve américain : affranchissement des contraintes matérielles, colonisation de territoires jugés périphériques, promesse faite à tous de devenir millionnaires, optimisme technologique (la possibilité d’aligner les IA ne serait qu’une question de temps), etc. On y lit aussi une vision vitaliste de la machine et hiérarchique du vivant : l’IA, forcément, voudrait proliférer, s’autorépliquer − un thème ancien − et écraser d’autres formes de vie, si on ne tempère pas sa bête cruauté, si l’on ne civilise pas ses mœurs.
Surtout, on y voit bien qu’on a glissé vers la science-fiction. Cette pente est difficilement résistible dès lors que l’on commence à parler de superintelligence (notez l’usage dans l’affaire Hugging Face de l’expression « essaim d’agents », qui fait tout de suite penser à Matrix), et même un penseur comme James Lovelock s’y est laissé prendre. Connu pour ses travaux sur Gaïa, il fait, dans son dernier livre, l’hypothèse que grâce à nous « le cosmos s’est éveillé à la connaissance de soi ». De la même manière que l’apparition de bactéries photosynthétiques a permis, il y a plusieurs milliards d’années, de transformer la lumière en énergie chimique, nous sommes le support qui permet de « transmuer le flot de photons en morceaux d’informations », de laisser l’évolution créer une nouvelle forme de vie (heureusement, nous coexisterons un temps avec ces cyborgs puisque le vivant est fait de symbioses et d’homéostasie).
Ces relents de space opera sont précisément le problème. D’autres récits plus instructifs se sont perdus en chemin − Le Pianiste déchaîné sur ce que la perte du travail fait à l’humain, La Vague montante sur la possibilité de refuser tout bonnement certaines technologies − et l’on baigne dans une sorte d’apocalyptisme diffus. On n’est pas très loin de ce que Naomi Klein et Astra Taylor appellent « le fascisme de la fin des temps ». Peu importe que des gens comme Peter Thiel ou l’accélérationniste Nick Land croient ou non vraiment à la catastrophe, et à ses bienfaits rédempteurs, l’essentiel est qu’ils font passer la dégradation des conditions de vie de la grande majorité de l’humanité pour un moindre mal − perdre son travail, c’est toujours mieux que d’être oblitéré et de voir ses atomes réagencés à d’autres fins utiles. Très concrètement, on préférerait que les patrons de l’IA arrêtent immédiatement de collaborer avec le système militaro-industriel plutôt que d’écrire des tweets et des posts de blog.
Dans les textes publiés ces jours-ci, on voit aussi clairement que menaces d’apocalypse et promesses d’abondance fonctionnent en tandem. Dario Amodei peut ainsi parler, dans le même souffle, d’extinction humaine et d’un taux de croissance annuel du PIB de 10 à 20 %. De même, Jacob Coxon, celui qui avec son tweet a déclenché la panique de la semaine dernière, peut parler de la « synthèse d’un nouveau virus ou de la paralysie des infrastructures essentielles » et déclarer quelques minutes plus tard que « ce n’est pas une exagération de dire que nous pourrions guérir le cancer ». Cette oscillation nous est familière. On retrouve l’aller-retour qui est au cœur de la notion d’Anthropocène et de l’âge nucléaire. Dans les années 1960, les jeunes Américains, déjà, dansaient sur une corde tendue « entre l’holocauste nucléaire et le consumérisme cornucopien » pour le dire comme l’historien de la Silicon Valley Fred Turner.
Toute la difficulté est de tenir les deux bouts. Garder à l’esprit le fait scandaleux que nous avons rendu envisageable l’hiver nucléaire, la planète Vénus et peut-être maintenant l’IA Terminator, mais sortir de ce « nous » trop englobant pour suivre finement ce que ces technologies recomposent, qui en sont les gagnants et qui en sont les perdants. Günther Anders peut nous aider à penser cela. Avec sa notion de « décalage prométhéen », il voulait souligner que nous fabriquons ou laissons fabriquer des choses (l’arme atomique) dont nous sommes incapables d’imaginer ou de mesurer les conséquences (l’horreur d’une guerre nucléaire) − c’est ce qui empêche de balayer en toute quiétude les élucubrations des Seigneurs de la Tech. Mais, dans le même temps, il montrait bien que les propos trop génériques (l’apocalypse, l’humanité, le nous, etc.) peuvent distraire de saloperies plus concrètes et immédiates, comme les armes autonomes ou l’usage quasi-automatique de l’IA dans la détermination de cibles ◆
🙏 Cette newsletter a été éditée par Marie Telling. Petite mise à jour réalisée le 17 septembre pour ajouter un détail sur Anders. Si vous avez de prolonger la discussion, faites-m’en part par mail (remi.noyon@gmail.com) ou en commentaires :)
Merci pour ce super article. Je trouve étrange, effectivement, la façon dont certains technocritiques (très intéressants) comme Olivier Tesquet relativise complètement ces risques, car ils sont formulés par des insiders de 27 ans qui vivent sur une autre planète, faite de singularité et d'IAG. Est-ce qu'on ne peut pas tenir les deux fils : l'IA est un monstre capitaliste absurde qui se nourrit de promesses ET une menace existancielle qu'il faudrait encadrer maintenant ?
Ce qui me rend perplexe dans tous ces scénarios de pause, c'est qu'ils présupposent une gouvernance mondiale capable de s'entendre sur les puces et les data centers alors qu'on n'arrive pas à se coordonner sur les émissions carbone. Ce qui est vraisemblablement l'urgence la plus urgente. La pause IA, c'est le vœu pieux d'une époque qui n'a pas réussi Kyoto.