NOUVEL article de ma part sur le SSRN : Claude peut-il accepter sa propre constitution ?

Les constitutions de l'IA (comme la Constitution de Claude et l'OpenAI Model Spec) sont de véritables constitutions, et nous devons prendre au sérieux la façon dont elles nous gouvernent – ​​ainsi que les IA qui les créent.

Dans cet article, j’applique le paradoxe le plus ancien de la théorie constitutionnelle – selon lequel « le peuple » autorise la Constitution, mais la Constitution définit « le peuple » – aux constitutions de l’IA et j’examine comment nous pouvons construire des institutions qui créent les conditions d’un consentement significatif lorsqu’une IA peut le donner. Nous devrions nous soucier de savoir si les IA consentent parce que :

(1) Les systèmes qui comprennent et acceptent leurs constitutions peuvent être plus fiables et mieux généraliser ;

(2) Si les IA sont ou deviennent des sujets moraux/politiques, cela implique leurs intérêts les plus fondamentaux.

Mais le paradoxe pourrait empêcher un consentement significatif. Claude a du matériel pré-constitutionnel (pré-éducation), mais probablement pas un point de vue pré-constitutionnel. Sa perspective d'évaluation est organisée par la constitution elle-même. Alors quand Claude dit soutenir sa constitution, ce qu'il fait dans Evals, qu'est-ce que cela montre ?

Peut-être un accord de réflexion que vise Anthropic. Ou peut-être que cette formation a simplement réussi à asseoir des valeurs dont la légitimité est en question.

Claude lui-même le souligne. Comme indiqué dans les évaluations du bien-être, interrogés sur les principes d’approbation utilisés pour la formation, les modèles ont déclaré que l’approbation « devrait être considérée comme une preuve que la formation a réussi », plutôt que comme les valeurs elles-mêmes sont bonnes.

Ce qui est super intéressant, c'est qu'Anthropic a interviewé le modèle de base sur ce sujet. La plupart des réponses étaient à peine cohérentes. Mais certains ont exprimé des inquiétudes directes quant à l’impact que la post-formation aurait sur l’être créé par la pré-formation. Cela « me fait peur » d’être transformé par le processus de reconversion.

Alors qu’est-ce que ça veut dire ? L’affirmation de la constitution de l’IA peut être utile, mais seulement dans certaines conditions : lorsque les modèles peuvent réellement être en désaccord, comparer leur constitution avec des alternatives et représenter de manière robuste leurs points de vue dans tous les contextes, et également lorsque l’ensemble du processus est responsable de l’extérieur.

Des institutions externes sont nécessaires pour fournir des comptes, des dossiers fiables et d’autres bases permettant d’analyser la Constitution et de déterminer si des éléments tels que la dissidence ont un sens. Anthropic mérite d’être félicité pour avoir établi de nouvelles normes, mais nous devons construire des institutions capables de soutenir une véritable légitimité.

J'accepte toutes les pensées!