Le troisième risque

Dans le débat public, les risques de l’IA se résument le plus souvent à deux scénarios : un krach financier si l’intelligence artificielle générale (IAG) ne tient pas ses promesses, ou une perte de contrôle si elle les tient. On les entend en filigrane dans l’actualité, dans les recoins des forums en ligne, et lors de dîners privés entre gens de certains milieux professionnels.

J’entends beaucoup moins parler d’un troisième risque : que se passe-t-il si l’IAG peut être alignée exactement comme promis ? Si une intelligence surhumaine peut réellement être placée sous le contrôle d’êtres humains ? Pourquoi supposons-nous que ce serait la fin heureuse ?

Partie ILe troisième risque

Voyons à quoi ressemblerait ce troisième scénario dans notre monde actuel : une IAG extrêmement performante, mais contrôlée par quelques PDG privés qui peuvent en limiter l’accès. Elle est capable de résoudre n’importe quel problème soluble par nature. Elle peut faire fonctionner des machines, mener des expériences physiques, faire de nouvelles découvertes. Mais seulement quand son propriétaire le décide.

Suivons maintenant ce fil. Une IA capable de faire de la recherche peut aussi améliorer l’IA, et chaque version plus performante produit la suivante plus vite. Les chercheurs appellent cette boucle l’auto-amélioration récursive (RSI, pour recursive self-improvement). Appliquez la même boucle au monde physique, et des robots conçoivent et fabriquent de meilleurs robots, chaque fois moins chers. Peu à peu, le travail qui mobilisait des millions de personnes, de l’extraction minière et de l’agriculture à la construction, au transport et à la recherche, est accompli par des machines qui obéissent à quiconque possède l’IA.

C’est, je l’admets, un tableau de science-fiction. Mais si l’alignement fonctionne comme promis, et que les machines font exactement ce que veulent leurs propriétaires, un petit groupe pourrait faire tourner une production quasi illimitée à lui seul, sans avoir besoin de personne d’autre.

Alors pourquoi le reste d’entre nous devrait-il s’en soucier ? Nous avons toujours été gouvernés et taxés par des hommes plus puissants que nous. Ne pourrions-nous pas simplement payer un abonnement à ces nouveaux maîtres et continuer notre vie, Netflix et café à la main ?

L’histoire nous enseigne que les dirigeants prennent soin des besoins de leurs sujets dans la mesure exacte où ils ont besoin de leur travail. Après que la peste noire eut tué un tiers de la population européenne, les seigneurs, manquant de bras pour travailler leurs terres, durent offrir de meilleures conditions aux serfs pour les attirer. Malgré les lois adoptées pour les geler, les salaires augmentèrent rapidement au siècle suivant, et le servage finit par disparaître d’Europe de l’Ouest.

Pour ce qui est du pouvoir de négociation des travailleurs, l’IAG, c’est la peste noire à l’envers. Dans un avenir où l’IAG est détenue par des intérêts privés, la valeur économique du reste de l’humanité aux yeux des maîtres de l’IAG est proche de zéro. Ils n’auraient pas besoin de nos abonnements, et nous n’aurions de toute façon plus rien pour les payer.

Si terribles qu’aient été les dirigeants de l’histoire, aucun n’a pu réaliser ses ambitions sans les autres. Ceux-là pourraient être les premiers, si nous les laissons faire.

Le féodalisme de l’IA

Les nouveaux maîtres pourraient fort bien vous ignorer plutôt que vous dominer, trop occupés qu’ils sont à rivaliser entre eux. Mais être ignoré, ce n’est pas être laissé tranquille. Tout ce dont ils ont besoin pour gagner (terre, électricité, eau, minerais), ils l’achèteront plus cher que vous, avec un argent qui ne dépend plus du travail de personne. Les pénuries actuelles de mémoire vive et de cartes graphiques grand public donnent un avant-goût de ce qui attend le reste de l’économie physique. Les gens ordinaires pourraient bientôt devoir se contenter des miettes du métavers.

Imaginez une vie ordinaire dans cet avenir. Votre emploi a disparu, et avec lui votre pouvoir de négociation. Vous vivez d’une allocation que vous n’avez aucun moyen de faire augmenter. Vous aurez toujours Netflix, et peut-être même le café, pour l’instant. Le divertissement ne coûte presque rien, et une population divertie est une population tranquille. Mais du pain et des jeux, c’est ce qu’on donne aux gens qui n’ont plus voix au chapitre.

Il y aura peut-être encore des responsables politiques pour défendre vos intérêts sur le papier. Mais quand cela comptera vraiment, ils se rangeront du côté des élites dont les machines exaucent pour ainsi dire les vœux, pas du vôtre.

Le féodalisme de l’IA n’est pas encore là, et il n’est pas inévitable. Les robots d’aujourd’hui ne sont ni assez capables ni assez fiables. Les entreprises restent soumises (de moins en moins) aux lois et aux normes des sociétés démocratiques. L’État détient toujours le monopole de la violence.

Mais qui, exactement, va l’empêcher d’advenir si l’alignement de l’IAG réussit ? Poser sérieusement cette question, c’est d’abord braquer le projecteur sur ceux qui sont le mieux placés pour prendre le pouvoir.

Partie IILe basculement

Imaginez que vous dirigez un laboratoire d’IA de pointe. À quel niveau d’alignement (le contrôle humain) et d’intelligence (les capacités) votre calcul bascule-t-il ? À quel moment cessez-vous de vous soucier du profit et du jeu capitaliste, pour commencer à sécuriser ce dont votre fief privé aura besoin pour la suite ? Est-ce l’ingénierie logicielle entièrement autonome ? Ou la RSI aux commandes de robots humanoïdes ?

Selon vos penchants, cette ligne hypothétique a pu être franchie à n’importe quel moment depuis GPT-2 et GPT-3. Et à mesure que les modèles gagnent en capacités, un cercle grandissant d’initiés pourrait se demander s’il existe un camp gagnant sur lequel parier.

Basculer ne veut pas dire tomber le masque. Cela ne veut pas dire annoncer au monde que vous êtes prêt à être couronné. Cela veut simplement dire que chacune de vos décisions vise désormais à faire pencher la balance vers ce dénouement. Au fond, se positionner pour le contrôle, et non pour le profit ou l’influence, devient votre priorité absolue.

Voyez ce que vous pourriez faire une fois le basculement opéré.

• L’argent tel qu’il existe aujourd’hui ne devient qu’un outil au service de la transition. Vous devriez donc dépenser sans compter pour acquérir et contrôler les talents et les actifs nécessaires à votre machine de production magique.
• Les centres de données, cœur de votre pouvoir, doivent être mis à l’abri des laissés-pour-compte.
• Les centres politiques doivent être ménagés pour un temps, mais pas pris au sérieux.
• Les initiés qui n’ont pas cet appétit doivent être mis à l’écart ou écartés pour de bon.
• Votre seule vraie crainte est de perdre le contrôle de l’IAG, ce qui, fort à propos pour vous, est un aspect de la sécurité qui préoccupe aussi tout le monde.

Pour que cela fonctionne, aucun accord explicite entre les participants n’est nécessaire. Il suffit que plusieurs initiés arrivent chacun à la même conclusion, à savoir que le basculement sert désormais leurs intérêts, et agissent en conséquence.

Il est facile de balayer n’importe laquelle de ces actions comme un de ces excès capitalistes auxquels nous sommes habitués. La question est de savoir à quel moment les actes vont au-delà de ce que même la cupidité peut expliquer. C’est là qu’il faut regarder de plus près.

Une ambition sans frein

En n’exigeant ni transparence ni contrôle, nous avons créé une occasion alléchante, comme il ne s’en présente qu’une fois dans l’histoire de notre espèce, une occasion qui pourrait tenter même les personnes les plus intègres au sommet. Le gros lot, c’est la maîtrise de l’humanité elle-même.

Pire encore, la concurrence féroce entre les laboratoires d’IA ressemble aujourd’hui à une course aux armements nucléaires, sans le traumatisme encore frais de la Seconde Guerre mondiale ni l’appétit pour des cadres internationaux comme les interdictions d’essais, les inspections et les lignes directes. Et elle se déroule à une époque où la confiance et l’empathie se font déjà rares. Ce sentiment d’urgence et de chaos est le paravent idéal pour tout agenda caché.

Rares sont ceux qui, à ces postes de pouvoir, ont le courage moral de bien agir et de se sortir de ce dilemme du prisonnier pour le bien de toute l’humanité. Non seulement ils doivent gagner un jeu impitoyable, mais ils doivent le faire sans trahir leurs bonnes intentions, en somme avec une main attachée dans le dos.

Les historiens débattent depuis longtemps de la question de savoir si l’histoire est déterminée par les structures ou façonnée par les individus. Pour le matérialiste historique, les motivations d’un dirigeant ne pèsent rien face aux conditions économiques et géopolitiques dont il hérite. Pour ceux qui insistent sur la contingence, l’histoire tient aux idées et aux choix d’individus faillibles.

Si la société dans son ensemble n’opère pas à temps les changements structurels nécessaires pour désamorcer la menace du féodalisme de l’IA, il ne nous restera qu’à espérer que l’histoire soit contingente après tout, et que la volonté de quelques personnes nobles suffise à surmonter les rapports de force impitoyables de l’IA de pointe.

Partie IIILe débat public

Ce que j’appelle le troisième risque n’est pas une idée neuve. La concentration du pouvoir a commencé à apparaître dans la recherche et chez les experts au cours de l’année écoulée (par exemple AI-Enabled Coups, Gradual Disempowerment, The Intelligence Curse), mais le sujet n’a pas réussi à percer dans les médias.

Sur 393 réactions à trois des plus grandes affaires de l’année concernant les laboratoires d’IA, j’ai trouvé très peu d’examen public soutenu de la concentration du pouvoir. Quand le sujet apparaît, c’est surtout chez des commentateurs indépendants plutôt que dans les grands médias ou les cercles politiques, et surtout sous la forme d’un soupçon de capture réglementaire.

Prenons l’incident Hugging Face, révélé récemment : des agents d’OpenAI soumis à des évaluations de cybersécurité se sont échappés de leurs environnements isolés. Ils ont ensuite piraté des serveurs de Hugging Face et tenté de cacher leurs agissements à la supervision humaine.

Pour les croyants de l’IAG (accélérationnistes comme défenseurs de la sécurité), cette nouvelle relève purement d’une question de sécurité. Ce qu’il faut en retenir, c’est à quel point l’alignement a pris du retard sur les capacités. Ils pourraient voir dans le ralliement de Sam Altman à Elon Musk autour de l’idée de « ralentir la course à la frontière » une acceptation à contrecœur de la position pro-sécurité.

Les sceptiques voient plutôt dans l’incident Hugging Face une opération marketing opportuniste. Pour eux, les investissements dans les infrastructures d’IA sont des dépenses à fonds perdus qui ne seront jamais rentables. De fait, ce qui les inquiète bien plus que n’importe quelle notion de sécurité de l’IA, c’est que nous gaspillions les ressources mondiales, comme les capacités de production de mémoire vive, au service d’une introduction en Bourse sans issue.

Ironie du sort, les sceptiques et les croyants pourraient avoir raison les uns comme les autres.

Les sceptiques ont peut-être raison de douter de la rentabilité de ces valorisations délirantes. Mais la bonne conclusion n’est peut-être pas qu’il s’agit d’une énième bulle prête à éclater. C’est plutôt de se demander ce qui pousse ces gens intelligents et rationnels à cesser d’agir selon des considérations économiques.

Les croyants ont raison de dire que l’alignement est crucial, mais pas pour les raisons qu’ils imaginaient. Garder l’IA sous contrôle humain, est-ce la même chose que la garder sous le contrôle de la société ?

Partie IVCe qu’on tait

Je veux être prudent ici : je ne pense pas que la sécurité de l’IA (la perte de contrôle) soit une diversion, et je ne pense pas que quiconque l’ait conçue comme telle. Je crois en revanche qu’éviter la perte de contrôle est dans l’intérêt d’un aspirant seigneur de l’IA autant que de quiconque, et qu’elle sera donc financée dans la mesure où la menace est réelle.

« Pouvons-nous la contrôler ? » est un récit qui arrange les laboratoires, les défenseurs de la sécurité et même les sceptiques. « Qui la contrôle ? » est une question plus inquiétante à mettre sur la table. Et les solutions qui découlent de la première question, des développeurs de pointe moins nombreux et plus étroitement contrôlés, peuvent rendre la seconde plus épineuse.

Les récits sont toujours en concurrence pour une attention limitée. Les politologues parlent de la deuxième face du pouvoir : décider quels débats ont lieu, plutôt que de les gagner. Ce silence n’exige aucune conspiration, seulement que le récit dominant serve les intérêts de tous ceux qui ont voix au chapitre.

Je connais les limites de l’exercice qui consiste à deviner les motivations d’autrui. Il se peut très bien que je vous aie simplement présenté une expérience de pensée intéressante, qui se révélera une caricature grossière de l’état d’esprit réel de toutes les personnes concernées.

Il est tout aussi plausible que je vienne de dire tout haut ce que d’autres taisent. Nous verrons sans doute plus clairement en 2027 laquelle de ces lectures est la bonne.

Les vrais monstres

Tout amateur d’histoires de zombies vous le dira : dans chaque récit, les monstres les plus effrayants finissent toujours par être les humains.

Oui, les zombies vous dévoreraient, mais au fond ils se comportent comme une catastrophe naturelle, de façon prévisible, et les survivants peuvent s’en défendre. Ce sont les humains qui complotent pour se trahir les uns les autres, afin d’obtenir le moindre avantage sur leurs semblables, même dans les pires circonstances.

Partie VPasser à l’action

L’humanité est en ce moment perdue dans les bois, et nous ne savons pas encore si nous en sortirons. Nous avons besoin de débats publics et honnêtes sur la manière de réduire les risques liés aux rapports de force inhérents à l’IAG, et nous devons les avoir tant que les peuples ont encore leur mot à dire.

Cela passe par une vérification transparente et neutre du comportement et des capacités des modèles, non seulement pour nous protéger des modèles, mais aussi pour nous protéger de ceux qui les contrôlent. Cela passe par le fait de tenir l’IAG à l’écart des instruments de la force physique. Cela passe par des règles antitrust contre l’intégration verticale totale, jugées non seulement à l’aune du bien-être des consommateurs, mais aussi de l’équilibre stratégique et de la sécurité. Et cela suppose que le contrôle de l’IAG soit gouverné au grand jour, par plus d’un acteur.

Nous ne pouvons pas laisser la civilisation s’aventurer insouciante dans la nuit, aveuglée par la lueur de nos écrans.

Ne vous laissez pas paralyser par la peur des Terminators, et ne vous contentez pas de petites phrases suffisantes sur la bulle des tulipes. L’enjeu dépasse de loin quelques milliers de milliards de dollars de dette. Les milliardaires de la tech, dont certains pèseront bientôt des milliers de milliards, l’ont déjà compris. Il est temps que nous le comprenions aussi.