Le Cerveau d’acier ou la guerre des singletons de Bostrom

Avez-vous déjà vu Le Cerveau d’acier ? Dans ce film d’anticipation-fiction de 1970, passé un peu inaperçu, du fait, notamment, du succès de 2001 l’Odyssée de l’espace, le réalisateur Joseph Sargent, met en scène un  superordinateur « Colossus » qui échappe à son créateur, le professeur Forbin. Créé à l’origine pour maîtriser l’arsenal nucléaire des Etats-unis face à l’ennemi soviétique – on est alors en pleine guerre froide – Colossus entre en relation avec son double, le superordinateur soviétique, baptisé « Guardian ». Après un ensemble de connexions qui devient bientôt une collaboration entre les deux supercalculateurs puis une fusion, Colossus absorbe l’intelligence artificielle de son concurrent et décide de s’autonomiser. Il prend alors le contrôle absolu de la Terre, non sans avoir adressé, par visioconférence mondiale interposée, un message menaçant à l’ensemble de l’humanité à qui il donne le choix totalitaire suivant : « obéissez-moi et vous vivrez ou désobéissez et vous mourrez ».

Qu’un film de science-fiction de série B, connu de quelques cinéphiles amateurs du genre, puisse servir de base de réflexion à la compréhension des grandes tendances à l’œuvre aujourd’hui dans le monde, ou même à la fameuse question de la « gestion du risque » peut paraître étonnant. Pourtant, la réalité est en train de rattraper la fiction. Le développement des intelligences artificielles modernes a connu une telle accélération depuis les années 2000 que l’on évolue désormais dans un cadre de concurrence entre les IA qui a de quoi nous faire réfléchir, nous inquiéter même. La course est lancée entre les pays, nous devrions dire les empires, pour savoir qui disposera de la forme la plus évoluée d’IA et ce dans tous les domaines, défense, sécurité, armement, flux financiers etc…

Derrière les rodomontades et les coups de menton de Donal Trump, par exemple, mais aussi derrière les sourires figés, sibyllins, de Xi Jin Ping, se dissimule une lutte féroce pour le contrôle du futur, qui passe par des investissements colossaux dans les domaines des nouvelles technologies et des armements de pointe.

Donald Trump contre Xi Jin Ping

Les couteaux sont tirés. Partout sur la planète, dans les « fabs labs », les instituts du futur, au MIT, comme à la Rand corporation, en Chine comme en Russie, on travaille à construire les formes supérieures de l’IA de demain, celle qui prendra le dessus sur les autres. En signant, en février 2019, « l’american AI Initiative » ¹ Donald Trump a appelé toutes les agences gouvernementales à renforcer leurs investissements dans le domaine des technologies numériques, libérer les ressources pour le développement de l’IA, supprimer les barrières de l’innovation en matière d’Intelligence Artificielle et constituer un environnement favorable à son développement responsable. Assurément cet « american AI initiative » constitue une réponse aux nouvelles « routes numériques de la soie » mises en place par le gouvernement chinois. Routes qui ont pour objectif de donner à la Chine la mainmise dans le domaine des nouvelles technologies, en inondant le marché mondial avec les nouvelles technologies du numérique « pas cher ».

Mais il ne s’agit pas uniquement de questions d’argent, de commerce. Dans cette lutte autour de la recherche de l’IA se joue aussi une lutte pour le pouvoir. C’est une véritable course de vitesse qui s’est engagée, notamment entre la Chine et les Etats-Unis, pour savoir qui possédera le superordinateur, le Colossus de demain. Bien sûr dans cette course la Chine a pris de l’avance. L’intérêt manifesté par Xi Jin Ping pour le contrôle numérique de sa population, dès le début de son mandat, a permis à l’Empire du milieu de prendre une option décisive dans le domaine du capitalisme numérique d’Etat – ce que nous avons appelé le fascisme 2.0. Dans un récent reportage, intitulé Tous surveillés, 7 milliards de suspects, l’Etat chinois est décrit comme la « première dictature numérique au monde ». Avec ses 600 millions de caméras, ses entreprises de pointe, les fameuses « licornes » ², Huawei, Sensetime, Cambricon, Megvii, Ig vison, le Big brother chinois a de beaux jours devant lui.

Mais les Etats-unis ne sont pas en reste et l’on sait que des entreprises comme SpaceX sont très en avance dans le domaine de recherche de l’IA au point que son fantasque directeur, Elon Musk, tire régulièrement la sonnette d’alarme pour nous prévenir face au danger potentiel des robots tueurs : « Je travaille sur des formes très avancées d’intelligence artificielle, et je pense qu’on devrait tous s’inquiéter de ses progrès » ou encore « Je pense que le danger de l’IA est beaucoup plus grand que le danger des têtes nucléaires » ³. Si même les apprentis sorciers sont inquiets alors…

La rivalité entre les singletons

Mais le problème, plus encore qu’avec les robots « autonomes », se pose avec la stratégie de course contre la montre pour la constitution de ce que Nick Bostrom dans Superintelligence appelle le « singleton », c’est-à-dire la machine super intelligente, autonome, capable de prendre le pouvoir sur le monde – c’est le scénario du Cerveau d’acier. Si Bostrom, gourou en chef du transhumanisme, est capable d’entrevoir les risques liés à ce qu’il nomme la « dynamique de course » entre les différentes puissances pour la réalisation de la machine super intelligente, le Colossus de demain, force est de constater qu’il en sous-évalue tout de même la dangerosité. Bostrom, en bon prospectiviste du capitalisme numérique d’Etat, lance de grands appels à la constitution de l’IA comme « bien commun », à de vastes programmes de collaboration interétatiques pour éviter toute forme de conflit, à une communion dans un gouvernement mondial en vue de pacifier les relations internationales. Et pourquoi pas, aussi, la fraternité en notre seigneur Jésus-Christ, tant qu’on y est ?

Dans la course pour « l’avantage stratégique décisif » il n’est nullement question de fraternité entre les hommes, ni entre les superpuissances, mais au contraire de lutte sans merci pour le leadership mondial. Aussi, ce qui se profile, c’est la constitution de pré-singletons, de mini-singletons multiples dans les différents domaines de la sécurité, de la finance, de la gestion des populations, chaque singleton étant appelé, à plus ou moins brève échéance à entrer en collision avec les autres. Les vieux scénarios de guerre-froide se trouvent ainsi revitalisés, on devrait même parler de « guerre chaude », du fait de l’aggravation permanente des conflits potentiels. Il est donc bien dommage que Nick Bostrom continue de nous endormir avec ses pseudo-réflexions sur les scénarios de contrôle et de collaboration liés au développement de l’IA et qu’il n’étudie pas sérieusement le scénario de la destructivité des singletons et leur corollaire totalitaire qui est à l’œuvre aujourd’hui en de nombreux endroits du monde ⁴.

Mais c’est que Nick Bostrom sous-estime considérablement le facteur aggravant que constitue le mouvement d’accélération général impulsé par les développements des nouvelles technologies et de la finance mondiale depuis quelques dizaines d’années. Dans un documentaire passionnant, Urgence de ralentir (2014) réalisé par Philippe Borel, plusieurs des conséquences inquiétantes liées au phénomène de l’accélération des flux financiers, sont clairement dévoilées : catastrophes environnementales, destructions sociales etc…

De la guerre de la finance à la guerre mondiale « intelligente »

Mais le documentaire montre également que nous avons passé un cap en matière de construction de « superodinateurs » dans le domaine de la finance. Aujourd’hui la réalité de la Bourse de New York, le « New York stock exchange », n’est plus ce marché où des traders humains donnent des ordres et s’époumonent dans une salle immense, c’est un « data center », délocalisé dans le New Jersey, où un serveur central, un super ordinateur, entouré d’autres ordinateurs, reçoit les ordres donnés par des algorithmes, on appelle cela la « collocation ». « Guerilla », « Sniper », voici le nom des algorithmes qui travaillent à augmenter la richesse de Crédit suisse ou de Goldman Sachs, en délivrant des ordres à la vitesse de la microseconde. On est loin de toute idée de collaboration intelligente, mais bien plutôt dans une logique de prédation universelle, une logique de guerre.

Il suffit dès lors de projeter la logique de la lutte de tous contre tous, entre les différents ordinateurs et les différents singletons, dans le domaine de la défense au niveau mondial, pour comprendre que, de la même manière que les acteurs de l’économie se font la guerre pour le profit, à haute fréquence, via leurs machines et leurs algorithmes, les superpuissances, qui ne rêvent que de développements d’armes et de systèmes de pointe, sont en train, avec leurs recherches sur l’IA, de mettre en place toutes les conditions du scénario catastrophe à venir.

Comment pourra-t-on s’assurer, par exemple, que le singleton développé aux Etats-Unis n’entre pas en collision avec un autre singleton de défense chinois ou russe ? Comment se persuader que les acteurs gouvernementaux soient suffisamment raisonnables pour ne pas déclencher une guerre mondiale numérique, « intelligente » ? A l’époque de la crise des fusées de Cuba, en 1962, Khrouchtchev avait rappelé ses bateaux pour éviter la guerre nucléaire avec les Etats-Unis, mais si l’ordre est donné par une IA en une nanoseconde, qui pourra sérieusement prétendre pouvoir l’arrêter ? Qui sortira vainqueur de ces conflits entre superordinateurs à hauts degrés de fréquences ? Un singleton prendra-t-il le pouvoir sur les autres pour dominer le monde ?

Nous entrons dans une ère où, du fait de l’accélération des prises de décisions automatisées, les risques de guerre et de destruction massive sont peut-être encore plus élevés qu’à l’époque de la guerre froide. Est-ce vraiment ce que nous voulons ? N’est-il pas temps de reprendre le contrôle démocratique de ces institutions financières et militaires dévoyées ? A la fin du Cerveau d’acier, Colossus, le superordinateur, prend le contrôle total de la planète Terre, non sans avoir au préalable humilié son créateur, le professeur Forbin. Le « singleton » lui adresse alors cette dernière phrase « non seulement vous me respecterez, professeur, mais un jour vous m’aimerez » et le professeur répond « Jamais ». « Jamais », c’est la réponse qu’il faut adresser aujourd’hui à tous les Nick Bostrom, les Donald Trump et les Xi Jin Ping de l’IA.

Michael Paraire 26/06/2020

Notes

1 – Pour une recension plus détaillée de l’ « initiative AI executive order n°13859 » signé par Donald Trump voir Mathieu Chartier, « Le plan de Donald Trump pour faire de l'IA un effort national », sur le site Les Numériques. Le préambule de « l’initiative AI » est intéressant, de même que cette phrase de Donald Trump que l’on peut trouver sur le site de la maison blanche : « Renforcer le leadership américain dans le domaine de l’intelligence artificielle est d’une importance primordiale afin de maintenir le niveau économique et de sécurité nationale des Etats-Unis ».

2 – Pour une analyse des fameuses licornes chinoises et leur puissance grandissante, on lira avec profit Xavier Biseul, « IA : les deux licornes chinoises qui pourraient changer la face du monde », sur le Journaldunet.com

3 – Pour approfondir la question des alertes lancées par Elon Musk sur les progrès de l’IA qu’il juge « plus dangereuse que les armes nucléaires », voir Stéphane Schmidt « Elon Musk s’inquiète des dangers liés aux intelligences artificielles » sur Trustmyscience.com ou encore l’intervention d’Elon Musk dans le documentaire « Do you trust this computer ? ».

4 – Sur le manque de critique efficace du projet de constitution d’un « singleton » développé par Bostrom dans Superintelligence, voir nos articles  « Le Covid-19 et le fascisme 2.0 » ainsi que « L’Utopie néolibérale du futur, attracteur étrange ou tourbillon destructeur ? »