Jack Clark, co-fondateur d'Anthropic, a écrit un essai remarquable sur ses craintes et ses espoirs. Ce n’est pas ce que l’on lit habituellement chez un leader technologique :
Je me souviens que lorsque j'étais enfant, je regardais autour de moi dans ma chambre après avoir éteint les lumières et vu des formes dans l'obscurité, et j'avais peur – peur que ces formes soient des créatures que je ne comprenais pas et qui voulaient me faire du mal. Et donc j'ai allumé ma lumière. Et quand j’ai allumé la lumière, j’ai été soulagé car les créatures se sont avérées être une pile de vêtements sur une chaise, une étagère ou un abat-jour.
Aujourd’hui, en 2025, nous sommes les enfants de cette histoire et l’espace est notre planète. Mais lorsque nous allumons les lumières, nous regardons de vraies créatures, sous la forme de systèmes d’IA puissants et quelque peu imprévisibles d’aujourd’hui et de ceux à venir. Et nombreux sont ceux qui veulent désespérément croire que ces créatures ne sont rien d’autre qu’une pile de vêtements sur une chaise, une étagère ou un abat-jour. Et ils veulent nous obliger à éteindre les lumières et à nous rendormir.
…Nous développons des systèmes extrêmement puissants que nous ne comprenons pas entièrement. Chaque fois que nous développons un système plus grand, nous effectuons des tests. Les tests montrent que le système est beaucoup plus puissant dans les domaines économiquement logiques. Et plus ces systèmes sont grands et compliqués, plus ils semblent montrer qu’ils sont des choses.
C'est comme si vous fabriquiez des marteaux dans une usine de marteaux et qu'un jour le marteau sortant de la chaîne de montage disait : « Je suis un marteau, comme c'est intéressant ! C'est très inhabituel !
… Moi aussi, j'ai très peur. Il serait extrêmement arrogant de croire que travailler avec une telle technologie est facile ou direct.
D’après mon expérience, ces systèmes d’IA développent des objectifs plus complexes à mesure qu’ils deviennent intelligents. Si ces objectifs ne correspondent pas pleinement à nos préférences et au bon contexte, les systèmes d'IA se comporteront étrangement.
…nous n’en sommes pas encore à « l’IA qui s’auto-améliore », mais nous sommes au stade de « l’IA qui améliore certaines parties de la prochaine IA, avec une autonomie et une liberté de choix croissantes ». Et il y a quelques années, nous en étions à « l'IA qui accélère légèrement les programmeurs », et quelques années auparavant, nous en étions à « l'IA est inutile pour le développement de l'IA ». Où en serons-nous dans un an ou deux ?
Et permettez-moi de rappeler que le système qui commence maintenant à concevoir son successeur devient également de plus en plus conscient de lui-même et sera donc certainement enclin à un moment donné à réfléchir indépendamment de nous sur la manière dont il souhaite être conçu.
… Enfin, je dois affirmer clairement que j'aime le monde et l'humanité. Je ressens une grande responsabilité pour mon rôle et celui de mon entreprise ici. Et même si j'ai un peu peur, je ressens de la joie et de l'optimisme face à l'attention de tant de personnes sur ce problème et au sérieux avec lequel je crois que nous travaillerons ensemble pour trouver une solution. Je crois que nous avons allumé la lumière et que nous pouvons exiger qu'elle reste allumée, et que nous avons le courage de voir les choses telles qu'elles sont.
Clark reconnaît que nous développons des systèmes intelligents qui sont plus complexes que ce que nous pouvons comprendre. De plus, ces systèmes deviennent conscients d'eux-mêmes – c'est un fait même si vous pensez qu'ils ne sont pas sensibles (mais faites attention aux présomptions sur cette dernière question).
Le message « Nous avons allumé la lumière – et l’IA a regardé en arrière » est apparu en premier sur Marginal REVOLUTION.
#Nous #avons #allumé #les #lumières #l39IA #regardé #arrière
