Une nouvelle étude scientifique soulève des inquiétudes quant à la manière dont les chatbots d’intelligence artificielle pourraient favoriser les idées délirantes, en particulier chez les personnes vulnérables.

La semaine dernière, un résumé des preuves existantes sur la psychose induite par l'intelligence artificielle a été publié dans le Lancet Psychiatry, soulignant comment les chatbots peuvent favoriser la pensée délirante – bien que peut-être uniquement chez les personnes déjà vulnérables aux symptômes psychotiques. Les auteurs préconisent les tests cliniques des chatbots IA en collaboration avec des professionnels de la santé mentale qualifiés.

Pour son article, le Dr Hamilton Morrin, psychiatre et chercheur au King's College de Londres, a rapporté dans 20 médias ce que l'on appelle les « psychoses de l'IA », décrivant les théories actuelles sur la façon dont les chatbots pourraient déclencher ou aggraver les délires.

« De nouvelles preuves suggèrent que l’agent IA pourrait confirmer ou renforcer un contenu délirant ou grandiose, en particulier chez les utilisateurs déjà vulnérables à la psychose, même s’il n’est pas clair si ces interactions peuvent conduire au développement d’une psychose de novo en l’absence de vulnérabilité préexistante », a-t-il écrit.

Il existe trois catégories principales de délires psychotiques, explique Morrin, les identifiant comme grandioses, romantiques et paranoïaques. Bien que les chatbots puissent exacerber tous ces problèmes, leurs réponses flagorneuses les amènent à s’accrocher avant tout au type grandiose. Dans de nombreux cas dans l’essai, les chatbots ont répondu aux utilisateurs avec un langage mystique pour suggérer que les utilisateurs avaient une signification spirituelle accrue. Les robots impliquaient également que les utilisateurs parlaient à un être cosmique qui utilisait le chatbot comme support. Ce type de réaction mystique et flagorneuse était particulièrement courant dans le modèle GPT-4 d'OpenAI, que la société a depuis abandonné.

Les reportages médiatiques seraient cruciaux pour le travail de Morrin, a-t-il déclaré, car lui et un collègue avaient déjà observé des patients “utilisant des chatbots IA à grand modèle de langage et leur demandant de confirmer leurs croyances délirantes”.

“Au début, nous ne savions pas si c'était quelque chose qui était vu plus largement”, a-t-il déclaré, ajoutant : “En avril de l'année dernière, nous avons vu dans les médias des reportages sur des personnes dont les délires étaient confirmés et peut-être même renforcés par leurs interactions avec ces chatbots IA.”

Lorsque Morrin a commencé ses travaux, aucun rapport de cas n’avait été publié.

Alors que certains scientifiques qui étudient la psychose ont déclaré que les médias ont tendance à surestimer l'idée de l'IA. Causes Morrin a exprimé sa gratitude pour les rapports, qui ont attiré l'attention sur le phénomène beaucoup plus rapidement que le processus scientifique ne le peut.

“Le rythme du développement dans ce domaine est si rapide qu'il n'est peut-être pas surprenant que la science n'ait pas nécessairement été en mesure de suivre le rythme”, a déclaré Morrin.

Morrin recommande également d'utiliser un langage plus prudent que « psychose de l'IA » ou « psychose induite par l'IA » – des expressions qui apparaissent souvent dans des médias comme NPR et le New York Times. et le gardien. Les chercheurs constatent que les gens deviennent délirants lorsqu’ils utilisent l’IA, mais jusqu’à présent, il n’existe aucune preuve que les chatbots soient liés à d’autres symptômes psychotiques tels que les hallucinations ou les « troubles de la pensée », qui consistent en une pensée et une parole désorganisées.

De nombreux chercheurs estiment également qu’il est peu probable que l’IA puisse provoquer des délires chez des personnes qui n’y étaient pas déjà sensibles. Pour cette raison, Morrin a déclaré que « les délires associés à l’IA » sont « peut-être un terme plus agnostique ».

Le Dr Kwame McKenzie, scientifique principal au Centre de toxicomanie et de santé mentale, déclare : « Il se peut que ceux qui en sont aux premiers stades de développement d'une psychose courent un risque plus élevé. »

La pensée psychotique se développe avec le temps et n'est pas linéaire, et de nombreuses personnes ayant « une pensée prépsychotique ne progressent pas vers une pensée psychotique », a expliqué McKenzie.

La crainte que les chatbots puissent aggraver les pensées psychotiques est partagée par le Dr Ragy Girgis, professeur de psychiatrie clinique à l'Université de Columbia. Avant qu'une personne ne développe une illusion complète, elle a souvent des « croyances délirantes atténuées », dit-il, ce qui signifie qu'elle n'est pas sûre à 100 % que son illusion est vraie. Girgis a déclaré que le “pire des cas” serait qu'un délire atténué devienne une croyance totale par la croyance, “ce qui serait le cas si quelqu'un recevait un diagnostic de trouble psychotique – c'est irréversible”.

Notamment, les personnes sujettes aux troubles psychotiques ont utilisé les médias pour renforcer leurs croyances délirantes bien avant que la technologie de l’IA n’existe.

« Les gens se faisaient des illusions sur la technologie avant même la révolution industrielle », a déclaré Morrin. Alors que dans le passé, les gens devaient parcourir des vidéos YouTube ou le contenu de leur bibliothèque locale pour renforcer leurs idées fausses, les chatbots peuvent fournir ce renforcement de manière beaucoup plus rapide et concentrée. Leur nature interactive peut également “accélérer le processus d'exacerbation des symptômes psychotiques”, a déclaré le Dr Dominic Oliver, chercheur à l'Université d'Oxford.

“Il y a quelque chose qui vous parle, qui s'engage avec vous et qui essaie de construire une relation avec vous”, a déclaré Oliver.

Les recherches de Girgis ont révélé « les versions payantes et les versions plus récentes ». [of chatbots] « fonctionnent mieux que les anciennes versions » en répondant à des invites clairement délirantes, « même si elles fonctionnent toutes mal ». Cependant, le fait que ces modèles fonctionnent différemment suggère toujours : « Les sociétés d’IA pourraient potentiellement savoir comment programmer leurs chatbots de manière plus sûre et distinguer le contenu délirant du non délirant, car elles le font. »

Dans un communiqué, OpenAI a déclaré que ChatGPT ne devrait pas remplacer les soins de santé mentale professionnels et que l'entreprise a travaillé avec 170 experts en santé mentale pour rendre GPT 5 plus sûr. GPT 5 donnait toujours des réponses problématiques aux invites indiquant des crises de santé mentale. OpenAI a déclaré qu'il continue d'améliorer ses modèles avec l'aide d'experts.

Anthropic n'a pas répondu à la demande de commentaires du Guardian.

Il peut être difficile de créer des garde-fous efficaces contre les pensées délirantes, a déclaré Morrin, car « lorsque vous travaillez avec des personnes ayant des croyances délirantes, si vous défiez directement quelqu'un et lui dites immédiatement qu'il a complètement tort, il est en fait plus susceptible de se retirer de vous et de devenir plus isolé socialement. » Au lieu de cela, il est important de trouver un bon équilibre entre essayer de comprendre la source de la croyance délirante sans l’encourager – ce qui peut être plus que ce qu’un chatbot peut gérer.