Deux nouveaux articles/initiatives soulignent de sérieux risques liés à l’IA, curieusement dans des directions opposées. La première est que les modèles pionniers les plus avancés sont désormais capables de trouver et d’exploiter des logiciels qui pourraient être utilisés pour faire planter ou contrôler presque tous les grands systèmes du monde.

Anthropic : Nous avons fondé le projet Glasswing sur la base des capacités que nous avons observées dans un nouveau modèle de frontière formé par Anthropic qui, selon nous, pourrait remodeler la cybersécurité. Claude Mythe² Preview est un modèle frontière universel et inédit qui révèle un fait brutal : les modèles d'IA ont atteint un niveau de compétence en codage où ils peuvent surpasser tous les humains, sauf les plus compétents, dans la recherche et l'exploitation des vulnérabilités logicielles.

Mythos Preview a déjà découvert des milliers de vulnérabilités de haute gravité, dont certaines dans tous les systèmes d'exploitation et navigateurs Web courants. Compte tenu du rythme des progrès de l’IA, de telles capacités ne tarderont pas à proliférer, peut-être au-delà des frontières des acteurs engagés dans leur utilisation sûre. Les conséquences – pour l’économie, la sécurité publique et la sécurité nationale – pourraient être graves. Le projet Glasswing est une tentative urgente d’utiliser ces capacités à des fins de défense.

Cela vient d'Anthropic. L’ironie est que l’entreprise qui a développé un modèle pionnier capable d’infiltrer et de renverser plus ou moins n’importe quel système informatique dans le monde s’est vu interdire de travailler avec le gouvernement américain. C'est comme si une entreprise privée développait des armes nucléaires et que le gouvernement américain refusait de coopérer avec elles parce qu'il était trop éveillé. D'accord, idiot.

Le deuxième article sur les risques liés à l'IA est AI Agent Traps de Google DeepMind. Ils soulignent que les agents d’IA sur le Web sont vulnérables à toutes sortes d’attaques, comme le texte en HTML qui n’est jamais lu par les humains, les commandes cachées dans les PDF, les commandes codées dans les pixels des images grâce à la stéganographie, etc.

En résumé, la combinaison inquiétante est que les IA très puissantes sont très vulnérables. L’IA résoudra-t-elle les problèmes de l’IA ? Finalement, le logiciel sera sécurisé, mais des choses étranges se produisent dans la course aux armements et le parcours est semé d'embûches.

L'article sur les risques liés à l'IA est apparu en premier sur Marginal REVOLUTION.

#Risques #liés #l39IA