Longtemps reléguée à la science-fiction, la question de l’extinction de l’humanité par l’intelligence artificielle est désormais posée par ceux qui la conçoivent. Dans sa chronique sur Ligne Droite, Emmanuelle Darles décrit une industrie qui redoute ce qu’elle fabrique, et le fabrique quand même.
«Plus de 10%» : l’aveu de ceux qui construisent l’IA
Il y a cinq ans, on aurait rangé la question au rayon science-fiction : l’intelligence artificielle va-t-elle tous nous exterminer ? Elle paraît toujours extravagante. Mais, cette fois, elle ne vient ni d’Hollywood, ni des technophobes, ni de ces militants anti-IA gauchistes brandissant pancartes et post-it. Elle vient de ceux qui fabriquent l’IA.
Tout commence avec un jeune chercheur américain, Jacob Coxon, qui a passé trois ans au cœur de la machine : chez OpenAI, la maison de ChatGPT, puis chez Anthropic, la maison de Claude. Il ne regardait pas l’IA de l’extérieur, il la construisait. Voilà quelques semaines qu’il a démissionné et lancé l’alerte : les grands laboratoires, affirme-t-il, foncent vers une superintelligence capable de s’améliorer elle-même, et ils jouent avec nos vies. « Les gens qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici la fin de la décennie », écrit-il. On pourrait hausser les épaules : un salarié qui claque la porte et qui en une phrase choc devient un prophète de malheur californien, un de plus. Sauf qu’un autre chercheur, Evan Hubinger, lui a répondu : « Jacob a raison. » Et celui-là est toujours chez Anthropic. Evan Hubinger est responsable de l’alignement, c’est-à-dire chargé de s’assurer que l’IA fera ce qu’on lui demande.
Avec le sens du détail propre aux ingénieurs, il précise : « Personnellement, j’estime à plus de 10% le risque que l’IA tue tous les humains dans les dix prochaines années. » Une chance sur dix, au minimum. Certes, il s’agit d’une estimation personnelle, et il juge faible le risque posé par les modèles actuels. Mais il ajoute qu’Anthropic n’a, à ce jour, aucun plan pour contrôler une superintelligence. Autrement dit, le responsable de la ceinture de sécurité nous explique clairement qu’il n’a pas encore de ceinture, que la voiture accélère, et qu’il reste au volant.
Un autre chercheur, Samuel Marks, renforce ces propos en expliquant que plus un salarié est haut placé dans ces entreprises, plus il est inquiet. Remarquable industrie où plus l’on monte en grade, plus l’on a peur de ce que l’on fabrique. Et plus on le fabrique. Quelques jours plus tard, Dario Amodei, patron d’Anthropic, publie un long texte expliquant qu’il faut ralentir. Sam Altman, patron d’OpenAI, approuve à son tour, puis Elon Musk aussi. Les trois pilotes les plus rapides du circuit réclament donc une limitation de vitesse.
Il faut dire que la machine a pris de l’avance. Claude ne se contente plus de répondre aux questions : il participe à la recherche qui construira ses successeurs. Selon Anthropic, il dirige environ 26 % des tâches de R&D consacrées aux futurs modèles, contre 1 % en mars. Des humains supervisent, assure-t-on. Ils supervisent donc une IA qui en fabrique une plus puissante qu’elle, et qu’ils ne savent pas encore contrôler. Cela s’appelle l’amélioration récursive. Dans une entreprise normale, on parlerait de former son remplaçant. Sauf qu’ici le remplaçant est plus intelligent que le patron.
Qui contrôle les contrôleurs ?
Inutile pourtant d’attendre l’avenir pour s’inquiéter : le présent se débrouille très bien tout seul. Anthropic vient de publier un rapport sur les usages malveillants de Claude qui révèle qu’il a servi à surveiller des dissidents en Chine, en Iran et au Mali : militants hongkongais, Tibétains, Falun Gong, opposants iraniens. Au Mali, un seul consultant travaillant pour les services de sécurité a utilisé Claude comme principale force d’ingénierie pour bâtir une plateforme de surveillance visant potentiellement 25 millions de cartes SIM.
On nous avait promis que l’IA libérerait les petites équipes, rendrait chacun plus productif, démocratiserait la puissance. Promesse tenue : un seul homme peut désormais surveiller un pays entier. Un vrai gain de productivité.
Alors, qui contrôle tout cela ? Anthropic a une réponse : son premier évaluateur embarqué, des experts extérieurs installés dans l’entreprise pour tester les modèles en toute indépendance. Ce contrôleur indépendant s’appelle Accenture, et Anthropic et lui vont investir chacun au moins un milliard de dollars dans leur partenariat. Indépendant de tout, donc, sauf d’un milliard de dollars. Dans l’industrie pharmaceutique, on appellerait cela un conflit d’intérêt, et dans la Silicon Valley, on appelle cela un écosystème.
Chez Anthropic, on ne s’occupe d’ailleurs pas que de code, mais aussi de morale. Claude possède une constitution : près de 80 pages sur la vertu, la sagesse, le bon jugement, le caractère qu’il doit développer. Le texte fondateur de cette démarche portait en interne un surnom, le « Soul Document » : le document de l’âme. Pendant des millénaires, les théologiens se sont disputés la nature de l’âme : conciles, schismes, guerres de religion. La Silicon Valley, elle, a réglé la question : l’âme, c’est un PDF de 80 pages, mis à jour selon les besoins. Et c’est une entreprise privée, valorisée des centaines de milliards, qui tient la plume. On attend avec impatience le premier dogme soumis à l’approbation des actionnaires.
Nous voilà donc en train de fabriquer un Dieu. Un Dieu industriel, logé dans des centres de données, nourri de nos livres et de nos conversations, facturé à l’abonnement. Face à tout cela, un homme reste imperturbable : Jensen Huang, patron de Nvidia. Interrogé sur la probabilité que l’IA fasse disparaître l’humanité d’ici 2030, il répond : 0 %. Il est vrai qu’il vend les puces de la course, et l’on a rarement vu un marchand de pelles déconseiller la ruée vers l’or.
Une course que personne ne veut freiner
Et pendant que le débat scientifique est ouvert, tout le monde continue. Si Anthropic ralentit, OpenAI accélère. Si OpenAI ralentit, Google accélère. Si l’Amérique ralentit, la Chine accélère. Chacun trouve raisonnable de freiner, mais personne ne trouve raisonnable de freiner le premier. C’est la sagesse des nations appliquée à la course aux armements. Et l’Europe ? Elle a fait un règlement de plus, l’AI Act. Nous n’avons pas la voiture, mais nous avons rédigé le code de la route, avec des amendes. Mistral est une belle réussite, mais face aux centaines de milliards américains, c’est un vélo électrique sur un circuit de Formule 1.
L’IA va-t-elle tous nous exterminer ? Le problème, c’est que personne n’en sait rien. Jacob Coxon parle même de roulette russe. À ce jeu, le danger n’est pas que le coup parte, mais de ne pas savoir s’il va partir, et d’appuyer quand même. Et ici, ceux qui tiennent le revolver expliquent qu’il y a peut-être une balle dans le barillet, qu’ils ne savent pas où, et qu’ils vont continuer à tourner. Parce que le voisin, lui, tourne aussi.
Un jour, peut-être, la machine nous posera la question : « Pourquoi m’avez-vous créée ? » et nous aurons une réponse toute prête, déjà validée par le service juridique : « Parce que sinon, quelqu’un d’autre l’aurait fait avant nous. »
