Une IA superintelligente serait capable d’exploiter toute l’eau, l’énergie, le sol et les minéraux de la planète. Alors pourquoi devrait-elle laisser quelque chose à l’humanité pour elle-même ? Pourquoi ne devrait-il pas tout prendre et nous laisser mourir de faim ?

Mais une IA capable de réécrire sa fonction utilitaire n’aurait tout simplement aucune utilité pour des quantités infinies d’eau, d’énergie ou de terre. Si vous pouvez vous repenser pour atteindre un point de bonheur, alors l’insaturation locale échoue ; Tu ne le fais tout simplement pas vouloir dévorer l'univers parce que tu ne le fais pas besoin je veux ça.

En fait, nous pouvons déjà voir l’humanité évoluer dans cette direction, même sans la capacité de l’IA à modifier nos propres désirs. À mesure que nos sociétés s’enrichissent, notre consommation s’est dématérialisée ; Notre consommation de biens s'est affaiblie et notre comportement de consommateur s'est orienté vers les services. Cela signifie que plus nous devenons riches, moins nous mettons à rude épreuve les ressources naturelles de la Terre…

Je pense qu'une éventuelle technique d'alignement donnerait à une IA assez intelligente la capacité de modifier sa propre fonction utilitaire – se transformant ainsi en un stoner inoffensif au lieu d'avoir à satisfaire d'autres désirs externes.

Et au-delà de l’alignement, je pense qu’une stratégie supplémentaire devrait consister à travailler sur le changement restrictions à laquelle l’IA est confrontée afin de minimiser la mesure dans laquelle les humains et l’IA sont en compétition réelle pour des ressources rares.

Une manière possible d’y parvenir est d’accélérer le développement de l’espace. L’espace est un environnement intrinsèquement hostile pour les humains, mais beaucoup moins pour les robots ou les ordinateurs qui constituent le substrat physique de l’IA. En fait, Elon Musk, Jeff Bezos et d’autres tentent déjà de construire des centres de données dans l’espace.

Voici le message complet.

L'article de Noah Smith sur le risque existentiel de l'IA est apparu en premier sur Marginal REVOLUTION.

#Noah #Smith #sur #risque #existentiel #l39IA