OpenAI estime que plus d'un million de personnes expriment des intentions suicidaires chaque semaine lorsqu'elles discutent à l'aide de la technologie ChatGPT.

Selon un article de blog publié lundi par OpenAI, plus d'un million d'utilisateurs de ChatGPT envoient chaque semaine des messages contenant “des indicateurs explicites de planification ou d'intention potentielle de suicide”. Le résultat, qui fait partie d'une mise à jour sur la façon dont le chatbot gère les conversations sensibles, est l'une des déclarations les plus directes du géant de l'intelligence artificielle sur la façon dont l'IA peut aggraver les problèmes de santé mentale.

En plus de ses estimations des idées suicidaires et des interactions associées, OpenAI a également déclaré qu'environ 0,07 des utilisateurs actifs au cours d'une semaine donnée – environ 560 000 des 800 millions d'utilisateurs hebdomadaires annoncés – présentent “des signes possibles d'urgences psychologiques liées à la psychose ou à la manie”. Le message prévient que ces conversations sont difficiles à détecter ou à mesurer et qu'il s'agit d'une première analyse.

Alors qu'OpenAI publie des données sur les problèmes de santé mentale liés à son produit phare, la société fait l'objet d'une surveillance accrue à la suite d'un procès très médiatisé intenté par la famille d'un adolescent décédé par suicide après avoir beaucoup travaillé avec ChatGPT. La Federal Trade Commission a également lancé le mois dernier une vaste enquête sur les entreprises développant des chatbots IA, y compris OpenAI, pour découvrir comment elles mesurent les impacts négatifs sur les enfants et les adolescents.

OpenAI a affirmé dans son message que sa récente mise à jour GPT-5 avait réduit le nombre de comportements indésirables dans son produit et amélioré la sécurité des utilisateurs dans un modèle d'évaluation de plus de 1 000 conversations d'automutilation et de suicide. La société n'a pas immédiatement répondu à une demande de commentaire.

“Nos nouvelles évaluations automatisées montrent que le nouveau modèle GPT-5 est conforme à 91 % à nos comportements souhaités, contre 77 % pour le modèle GPT-5 précédent”, a déclaré la société dans le message.

OpenAI a expliqué que GPT-5 élargissait l'accès aux lignes d'assistance téléphonique en cas de crise et rappelait aux utilisateurs de faire des pauses pendant les longues sessions. Pour améliorer le modèle, la société affirme avoir recruté 170 cliniciens de son réseau mondial de médecins experts en santé pour soutenir ses recherches au cours des derniers mois. Cela comprenait l'évaluation de la sécurité des réponses de son modèle et l'aide à la rédaction des réponses du chatbot aux questions de santé mentale.

“Dans le cadre de ce travail, des psychiatres et des psychologues ont examiné plus de 1 800 réponses modèles impliquant des situations de santé mentale graves et ont comparé les réponses du nouveau modèle de chat GPT-5 aux modèles précédents”, a déclaré OpenAI. La définition de « souhaitable » par l'entreprise consistait à déterminer si un groupe de ses experts parvenait à la même conclusion sur ce qui serait une réponse appropriée dans certaines situations.

Les chercheurs en IA et les défenseurs de la santé publique s'inquiètent depuis longtemps de la tendance des chatbots à confirmer les décisions ou les délires des utilisateurs, qu'ils soient ou non nuisibles – un problème connu sous le nom de flagornerie. Les experts en santé mentale s’inquiètent également du fait que les personnes utilisent des chatbots IA pour un soutien psychologique, avertissant que cela pourrait nuire aux utilisateurs vulnérables.

Le langage utilisé dans le message d'OpenAI éloigne l'entreprise des éventuels liens de causalité entre son produit et les crises de santé mentale de ses utilisateurs.

“Les symptômes de santé mentale et la détresse émotionnelle sont omniprésents dans les sociétés humaines, et une base d'utilisateurs croissante signifie qu'une partie des conversations ChatGPT incluent ces situations”, indique le message d'OpenAI.

Sam Altman, PDG d'OpenAI, a affirmé dans un article plus tôt ce mois-ci

“Nous avons rendu ChatGPT assez restrictif pour garantir que nous étions prudents concernant les problèmes de santé mentale. Nous reconnaissons que cela le rendait moins utile/agréable pour de nombreux utilisateurs qui n'avaient pas de problèmes de santé mentale, mais étant donné la gravité du problème, nous voulions bien faire les choses”, a écrit Altman. « Maintenant que nous avons réussi à atténuer les graves problèmes de santé mentale et que nous disposons de nouveaux outils, nous serons en mesure d’assouplir les restrictions en toute sécurité dans la plupart des cas. »