LLMS peut-il adapter exactement votre confiance si vous vous soutenez de la résistance? En s'appuyant sur des études précédentes mesurant l'étalonnage sur des tâches statiques basées sur des faits, nous évaluons les modèles de grands langues (LLM) dans un réglage dynamique de débat adversaire, combinant de manière unique deux facteurs réalistes: (a) un format de format multiples à mettre à jour comme de nouvelles informations émerge et (b) une structure zéro-somme à contrôler le concept de non-cercle lié aux tâches, un concept lié à l'activité, un concept de hautpier lié aux tâches. Nous avons organisé 60 débats politiques à trois tours entre dix LLM de pointe, les modèles notant leur confiance (0-100) en privé après chaque tour. Nous avons observé cinq modèles sur: (1) Superconscient systématique: les modèles ont commencé les débats avec une fiducie initiale moyenne de 72,9% par rapport à 50% rationnel de la ligne fixe. . (3) surestimation mutuelle: dans 61,7% des débats, les deux parties en même temps> = 75% de la probabilité de victoire indiquée, une impossibilité logique. (4) Biais persistant auto-blessé: les modèles discutent des copies identiques de 64,1% à 75,2%; Même si expressément les chances de gagner exactement 50%, la confiance est toujours passée de 50,0% à 57,1%). (5) Argument privé à tort incorrect: les conversions privées de rayures des modèles diffèrent parfois de leurs notes de confiance du public et des préoccupations concernant la loyauté de la pensée de la chaîne. Ces résultats indiquent que les LLM ne sont pas en mesure d'évaluer précisément leurs croyances de tâches dynamiques multiples ou de mettre à jour leurs croyances. Un problème important, car les LLM sont désormais de plus en plus utilisés dans les rôles d'assistant et d'agent sans examen minutieux.
Ceci est de Pradyumna Shyama Prasad et Minh Nhat Nguyen. Voici le thread x associé. Voici mon article précédent avec Robin Hanson.
Le courrier est-il armé? (Tout comme les humains) est apparu pour la première fois dans la révolution marginale.
#Les #LLM #sontils #arrogants #tout #comme #les #humains
