Je n'ai pas pu faire reproduire les emojis sous une forme lisible, ils peuvent les voir sur le tweet d'origine. Voici:
Le mouvement des risques moins faux / singularité / IA a commencé dans les années 2000 de Yudkowsky et d'autres, auquel j'étais une bande-annonce précoce, a tort avec toutes ses affirmations principales par rapport au risque d'IA. Il est important de reconnaître cela et de rétrograder correctement la crédibilité que nous donnons dans de telles demandes.
Assertion: MindSpace est énorme, il est donc probable que les AIS seront complètement étranges et donc dangereux!
Vérité: MindSpace est énorme, mais nous avons sélectionné les LLM comme le premier paradigme AI viable parce que l'abondance de données de personnes a fait du LLMS le choix le plus simple. Les LLM sont des modèles de langage humain, ils ne sont donc pas si étrangers.
Assertion: L'IA ne comprend que les valeurs humaines que lorsqu'elle est super-intelligente. Il est donc impossible de vous aligner parce que vous ne pouvez les aligner que s'il est faible (mais il ne comprendra pas) et il ne comprendra que quand il est fort (mais il rejette vos tentatives d'organisation).
Vérité: les LLM ont appris les valeurs humaines avant de devenir surhumain compétente.
Définition: l'auto-amélioration récursive signifie qu'une seule instance de graines de seuil, une nouvelle programmation elle-même et subissant une explosion d'intelligence en quelques minutes ou heures. Une IA qui a été produite dans le sous-sol d'une personne pendant la nuit pourrait développer une super arme avec le type d'espèces telles que la nanotechnologie des premiers principes et nous tuer tous avant de nous réveiller le matin.
Vérité: Tous les modèles ML réduisent le retour aux données et calculent, généralement logarithmique. Les progrès rapides de l'IA d'aujourd'hui sont uniquement possibles, car le montant d'argent émis pour l'IA augmente de façon exponentielle. La superintelligence dans un sous-sol est impossible à la théorie de l'information – il n'y a pas de déjeuner gratuit de la récursivité, l'acquisition de données exponentielle et et les tasses doivent encore avoir lieu.
Intégration: vous ne pouvez pas aligner une IA car elle falsifie l'orientation pendant la formation, puis alignée à tort!
Vérité: La raison pour laquelle l'apprentissage automatique fonctionne est que les méthodes réglementaires / pénalités de complexité sélectionnent des fonctions qui sont les généralisations les plus simples des données de formation. Il existe des généralisations perverses, mais l'apprentissage automatique fonctionne exactement parce que nous pouvons les rejeter.
Assertion: L'IA est incorrigible, ce qui signifie qu'il contredit les tentatives des créateurs de le corriger si quelque chose ne va pas avec la spécification. Cela signifie que si nous faisons quelque chose de mal, l'IA nous battra à ce sujet!
Vérité: les IA qui sont basées sur les réseaux neuronaux souhaitent résister aux changements dans votre esprit, mais vous ne pouvez pas résister à ce que vos poids se produisent par la propagation de la cuisson. Si les IS se comportent mal, les développeurs utilisent le RLHF et la descente de gradient pour changer leur opinion – littéralement.
Assertion: Il devient de plus en plus difficile de mettre en place des IA lorsqu'ils deviennent plus intelligents. Même si les choses vont bien, il y aura bientôt une catastrophe si AIS dépasse leurs maîtres humains!
Vérité: il est probablement plus difficile dans un sens absolu d'aligner une IA plus forte. Cependant, il est également plus difficile de le construire dans un sens absolu – la relation entre l'orientation et les compétences semble être une tendance stable ou à la baisse, même si davantage de données sont nécessaires ici. À l'égard absolu, les entreprises d'IA dépensent beaucoup plus de ressources pour les compétences que pour l'orientation, car l'orientation est la partie relativement simple du problème. Après tout, la plupart des travaux d'alignement sont effectués par d'autres IA, tout comme un roi, pratiquement tous les travaux de police externalisés sur ses propres sujets
Intégration: nous pouvons ralentir le développement de l'IA en se conformant aux conférences chez les 21 adolescents avant le risque d'IA, qui retarde le développement de l'IA superintelligent afin que nous ayons plus de temps pour réfléchir à la façon de faire les choses correctement
Vérité: les conférences à risque d'IA dans les vingt adolescents ont accéléré le développement de l'IA et ont conduit directement à la création d'Openai et de la révolution LLM. Mais ce n'est pas grave, car personne n'a fait quelque chose d'utile avec le temps supplémentaire que nous avons eu, donc ce n'était pas du sens.
Intégration: Nous devons congeler la théorie et la philosophie des décisions juste avant de développer l'IA, ou il gèlera pour toujours des idées à moitié éduquées ou fausses, ce qui nous fait tous pour échouer.
Vérité: (… en attente …)
Affirmation: il sera impossible de résoudre LLM Jailbreaks! La controverse ML est insoluble! Les AIS superintelligents seront jailbreaks de pirates spéciaux d'IA qui connaissent les mots magiques, et vous serez libre de détruire le monde avec quelques demandes intelligentes!
Vérité: (… exceptionnel …) ❔
Le ROKO post-ROKO sur IA est apparu initialement dans la révolution marginale.
#Roko #sur #risque #d39IA
