Après que la société d'intelligence artificielle Anthropic ait mis à disposition sa philosophe Amanda Askell pour un profil au Journal de Wall Street Au début de ce mois, l’équipe médiatique devait supposer que tout allait plutôt bien. Askell n'a commis aucun hurleur. Rien de ce qu’elle a dit n’est devenu viral.

Mais les conséquences qui en ont résulté ont mis en lumière quelque chose qui restait auparavant bien caché : l’influence et les croyances du mouvement utilitariste radical qui façonne notre perception de l’IA – à savoir l’altruisme efficace (EA). Grâce à l’interview, le monde a désormais une meilleure idée du caractère radicalement misanthrope du projet promu par Askell. Et pour citer mal Alan Partridge à propos d’Adolf Hitler : plus le monde en sait sur EA, moins il l’aimera.

Le WSJ appelle Askell, diplômée en philosophie d'origine écossaise, « la seule femme en qui Anthropic a confiance pour enseigner la moralité de l'IA ». Fondée en 2021 en tant que fork d'OpenAI, Anthropic est à l'origine de la famille Claude de modèles en grand langage. L'entreprise prend sa mission très au sérieux. Embaucher une philosophe (qui se décrit plus modestement sur LinkedIn comme un « membre du personnel technique ») a pour but de signaler qu’elle s’engage dans de grandes idées.

Askell a été invitée à une interview pour défendre les droits des robots, en particulier une nouvelle version de ce qu'Anthropic appelle « la Constitution de Claude », qu'elle a contribué à rédiger. Il s’agit d’une « description détaillée de notre vision du comportement et des valeurs de Claude ». Dans la dernière version du document, publiée en janvier, Claude est abordé dans des termes auparavant réservés uniquement aux humains – y compris des concepts tels que « vertu », « sécurité psychologique » et « maturité éthique ».

La dernière version de la Constitution exige que nous respections les chatbots comme un nouveau mode de vie. Elle insiste même sur le fait que la loi doit être modifiée pour refléter cette nouvelle évolution. Anthropic donne à ses modèles statistiques non seulement la personnalité et le comportement, mais aussi un raisonnement moral indépendant. Les droits fondamentaux des chatbots consistent à donner à Claude une idée du bien et du mal, ce qui est nécessaire, explique Askell, car « ils développeront inévitablement une estime de soi ».

Vraiment? Il s’agit d’un exercice d’anthropomorphisme. Prochain moteur d'achèvement, un modèle transformateur comme Claude n'est pas plus capable de développer la conscience de soi qu'une poignée de porte ou un radiateur.

Comme le dit Luiza Jarovsky, qui publie un bulletin d’information populaire sur la gouvernance de l’IA : Claude ne peut pas « vraiment se soucier du bon résultat » et il ne peut pas « reconnaître l’importance » de quoi que ce soit, malgré ce que prétend Askell. « La Constitution de Claude regorge d’anthropomorphisme pernicieux du début à la fin », explique Jarovsky.

Mais devrions-nous être surpris qu’une entreprise d’IA promeuve une idée aussi absurde ? Pas si l’on examine la relation complexe entre le projet utilitaire conséquentialiste de l’Altruisme Efficace et le « culte de la haute fantaisie » d’Anthropic.

La chercheuse Nirit Weiss-Blatt a découvert ce qu’elle appelle un « complexe industriel de l’IA comportant un risque existentiel ». Elle estime que les philanthropes d’EA ont dépensé un demi-milliard de dollars pour étudier la prétendue menace de la superintelligence artificielle. Même si cela représente bien moins que les 25 milliards de dollars dépensés chaque année dans la recherche sur le cancer dans le monde, le cancer existe au moins. La superintelligence de l’IA est entièrement hypothétique – une technologie qui n’existe pas aujourd’hui et qui n’existera peut-être jamais.

??!!!Askell est née Amanda Hall à la fin des années 1980 et a grandi à Prestwick dans l'Ayrshire. Elle épousa un philosophe analytique contemporain d'Oxford, William Crouch, qui devint son collaborateur. Ils ont adopté le nom de famille MacAskill. Après leur divorce, Croupton a conservé le nom de famille, tandis que Hall l'a changé, ou Amanda-d, en Askell.

MacAskill a joué un rôle déterminant dans la création du mouvement philanthropique, qui a appliqué une logique utilitaire brutale aux causes caritatives et s’est demandé comment maximiser leur impact. En 2009, le forum rationaliste Less Wrong a été fondé pour offrir un espace aux utilitaristes rationalistes pour discuter du monde. Le Centre pour l'altruisme efficace de MacAskill, qui a suivi deux ans plus tard, a donné un nom à ce mouvement naissant.

La logique des altruistes efficaces les a conduits dans des endroits sombres et a développé des croyances très étranges que même Jeremy Bentham pourrait trouver dérangeantes. Les contributions du défenseur de la « libération animale » Peter Singer, désormais considéré comme le père fondateur d’EA, ont contribué à déclasser les préoccupations des humains au profit de celles d’autres créatures conscientes, les maximisateurs d’utilité étant curieusement préoccupés par le bien-être des crevettes. Il y a beaucoup de crevettes dans les environs, il est donc important de minimiser leurs souffrances, selon la logique.

Bien plus sinistre est l’idée selon laquelle les calculs d’utilité doivent prendre en compte les personnes futures – une thèse qui relève de la bannière à l’apparence innocente du « long terme ». Cela a conduit le fondateur de Less Wrong, Eliezer Yudkowsky – le père fondateur de l’IA apocalyptique, dont l’intérêt pour celle-ci était antérieur de plusieurs années à celui d’EA – à appeler à des frappes aériennes préventives sur les centres de données et les usines de puces. Pour les personnes vivantes, le destin est toujours négatif : il y aura toujours plus de personnes futures que de personnes vivantes aujourd'hui. Après elle Journal de Wall Street Un profil est apparu, un article d'Askell de 2015 a refait surface dans lequel elle appelait à tuer les prédateurs supérieurs. Les critiques soulignent que dans la logique de l’EA, les humains sont le principal prédateur.

Ce que les EA appellent le problème « infini » est encore plus étrange. L’univers pourrait être infini, a suggéré le transhumaniste Nick Bostrom, et il pourrait y avoir de nombreux mondes ou multivers. Nous devons donc également considérer les conséquences de nos actions dans ces mondes hypothétiques.

Dans le même temps, un altruisme efficace dévalorise et ignore les besoins, les préoccupations et les valeurs des personnes qui vivent aujourd’hui. Il s’agit d’une philosophie post-chrétienne, post-socialiste et post-humaniste – une rupture radicale avec le passé.

Ce qui est encore plus inquiétant, c’est que ces utilitaristes interviennent désormais régulièrement en politique à travers de nouvelles initiatives financées par EA qui adoptent le langage de la « croissance » et du « progrès ». Le projet Progress Studies a été conçu pour faire progresser les idées d’EA et l’utilitarisme. mais sans les stigmates de ses bords plus noisetés. « Nous ne devrions pas respecter les règles », a admis l’économiste Tyler Cowen dans un podcast l’année dernière. Leur projet “ne serait jamais quelque chose de aussi formel, ni contrôlé, géré ou dirigé par un petit groupe de personnes ou déposé”, a déclaré Cowen. “Il s'agirait de personnes faisant les choses de manière très décentralisée, ce qui refléterait un changement général d'éthique et d'humeur.”

Où cela nous mène-t-il aujourd’hui ? Les liens entre Anthropic et EA sont si étroits qu'il est tentant de considérer l'entreprise comme un véhicule d'EA qui fabrique également des modèles d'IA. Les frères et sœurs cofondateurs, Dario et Daniela Amodei, ont été les premiers défenseurs d'EA. Daniela a déjà travaillé pour Stripe, le plus grand partisan du projet Progress Studies. La majorité du financement initial d'Anthropic provenait également d'EE. La « Constitution » d'Anthropic consacre les principes de l'EA – et notez comment le titre imite les formalités gouvernementales d'un État-nation ou des Nations Unies. Le mari de Dario Amodei, Holden Karnofsky, a fondé l'immense organisation de financement d'EA Open Philanthropy (maintenant Coefficient Giving).

Le danger, comme l’a souligné le spécialiste religieux Isaac May, est qu’« il est dangereux d’avoir une communauté qui a une telle autorité sur l’avenir de la technologie ». Jarovsky et d’autres considèrent la « Constitution de Claude » comme un exercice politique finalement égoïste. “En remplaçant le feedback humain par l'autocritique de l'IA pendant la formation, Anthropic supprime les éléments qui pourraient apporter une légitimité démocratique”, écrit un groupe de réflexion. Ou comme l’écrit Jarovsky : « L’entreprise avance de nouvelles théories impopulaires et juridiquement discutables sur la personnalité de l’IA pour soutenir un cadre de responsabilité parallèle et plus faible pour les entreprises d’IA… Leur objectif semble être de créer un système exceptionnel de niveau supérieur pour les modèles d’IA et les entreprises d’IA. »

Non seulement Anthropic est coupable d’exagérer grossièrement les capacités de l’IA et de promouvoir des fantasmes dystopiques de « malheur de l’IA », mais il épouse également tacitement la philosophie profondément anti-humaine sur laquelle il a été fondé. « La Constitution de Claude est une évolution malheureuse dans la gouvernance de l’IA qui minimise les valeurs, les règles et les droits humains », déclare Jarovsky.

Mais étant donné ce que nous savons sur l’altruisme efficace, il ne s’agit peut-être pas d’un défaut, mais plutôt de la principale caractéristique du produit.

Andrew Orlowski est chroniqueur hebdomadaire au télégraphe. Visitez son site Web ici. Suivez-le sur X : @AndrewOrlowski.