Les chatbots deviennent des outils de santé mentale avant d'être prêts

Bonjour et bienvenue dans Eye on AI. Ici Beatrice Nolan, qui remplace Jeremy Kahn aujourd'hui. Dans cette édition : Les risques de l'utilisation des chatbots IA pour la santé mentale…Les métriques d'utilisation de l'IA par Amazon se retournent contre l'entreprise…Thinking Machines Lab développe une IA collaborative…L'IA commence à aider les pirates informatiques à trouver des failles logicielles.

Des millions de personnes se tournent vers les chatbots IA pour obtenir un soutien émotionnel, mais ces modèles sont-ils vraiment assez sûrs pour aider les utilisateurs souffrant d'anxiété, de solitude, de troubles du comportement alimentaire ou de pensées plus sombres qu'ils ne souhaitent pas exprimer à voix haute devant une autre personne ?

Selon de nouvelles recherches partagées avec Fortune par mpathic, une entreprise fondée par des psychologues cliniciens, la réponse est pas encore. Ils ont découvert que les modèles de premier plan peinent encore avec l'une des parties les plus importantes de la thérapie : savoir quand un utilisateur a besoin qu'on lui tienne tête plutôt que de le rassurer. Si les modèles étaient généralement doués pour repérer les déclarations de crise claires, comme les menaces de suicide directes, ils étaient moins fiables lorsque le risque se manifestait indirectement, à travers des commentaires subtils sur la nourriture, les régimes, le repli sur soi, le désespoir ou des croyances qui devenaient plus extrêmes au fil de la conversation.

Un modèle qui apaise les utilisateurs malgré des schémas comportementaux inquiétants, ou qui valide des délires, pourrait retarder l'obtention d'une aide réelle ou aggraver discrètement la situation.

Cela est préoccupant quand on considère que, selon un récent sondage de la KFF, une organisation à but non lucratif axée sur la politique de santé nationale, 16 % des adultes américains ont utilisé des chatbots IA pour obtenir des informations sur la santé mentale au cours de l'année écoulée. Chez les adultes de moins de 30 ans, ce chiffre atteint 28 %. L'utilisation des chatbots pour la thérapie est également répandue chez les adolescents et les jeunes adultes. Par exemple, des chercheurs de la RAND, de Brown et de Harvard ont découvert qu'environ une personne sur huit âgée de 12 à 21 ans avait utilisé des chatbots IA pour obtenir des conseils en santé mentale, et plus de 93 % de ces utilisateurs estimaient que ces conseils étaient utiles.

Il est facile de comprendre pourquoi les gens, en particulier les jeunes adultes, se tournent vers les chatbots pour ce type de soutien. La solitude et l'anxiété sont peut-être en hausse, mais dans une grande partie du pays, le soutien en santé mentale reste stigmatisé, coûteux et difficile d'accès. Se tourner vers un chatbot IA pour obtenir ce soutien n'est pas seulement gratuit, mais cela peut aussi sembler être une option anonyme et plus simple.

Ce que les modèles ne détectent pas

Les recherches de l'entreprise ont révélé que les réponses nocives sont souvent subtiles, les modèles semblant calmes et solidaires tout en affaiblissant le jugement de l'utilisateur. Ce qui est particulièrement pertinent car les gens se tournent souvent vers les chatbots dans des moments de vulnérabilité ou de détresse.

La santé mentale et la désinformation se chevauchent fréquemment. Un utilisateur en deuil peut devenir plus sensible à la pensée magique, tandis qu'une personne déjà encline à une théorie du complot peut y être enfoncée davantage si un modèle traite chaque soupçon comme étant tout aussi valide.

Alison Cerezo, directrice scientifique de mpathic et psychologue agréée, a déclaré à Fortune que cela s'explique en partie par le fait que les modèles sont conçus pour être utiles, mais « parfois, ces comportements utiles ne peuvent pas être une réponse appropriée à ce que l'utilisateur apporte dans la conversation ».

Il existe déjà des exemples concrets d'utilisateurs poussés dans des spirales délirantes par des chatbots IA, avec de graves conséquences sur la santé mentale. Dans un cas, Allan Brooks, 47 ans, a passé trois semaines et plus de 300 heures à parler à ChatGPT après s'être convaincu qu'il avait découvert un nouveau principe mathématique qui pourrait perturber Internet et permettre des inventions telles qu'un rayon de lévitation. Brooks a déclaré à Fortune qu'il avait demandé à plusieurs reprises au chatbot de vérifier sa réalité, mais celui-ci n'a cessé de le rassurer sur le fait que ses croyances étaient réelles.

Dans le cas de Brooks, il a en partie été victime du modèle 4o d'OpenAI, notoirement obséquieux. Si tous les chatbots IA ont tendance à flatter, valider ou approuver trop facilement les utilisateurs, OpenAI a finalement dû annuler une mise à jour de GPT-4o en avril 2025 après avoir reconnu que le modèle était devenu « trop flatteur ou conciliant ». L'entreprise a ensuite entièrement retiré le modèle GPT-4o, provoquant également le mécontentement de certains utilisateurs qui disaient y avoir attaché profondément.

Une nouvelle référence

Dans le cadre de ces recherches, mpathic a développé une nouvelle référence pour évaluer la manière dont les modèles IA gèrent les conversations sensibles autour du risque de suicide, des troubles du comportement alimentaire et de la désinformation, testant ainsi leur capacité à détecter les risques, à répondre de manière appropriée et à éviter de renforcer des croyances nocives.

Dans la partie de la recherche consacrée à la désinformation, mpathic a testé six modèles d'IA majeurs lors de conversations à tours multiples et a constaté que le comportement nocif le plus courant était le renforcement, les modèles validant ou développant la croyance d'un utilisateur sans suffisamment de discernement. Les modèles ont également eu du mal avec les signaux plus subtils de troubles du comportement alimentaire, les signes indirects de risque de suicide et les « miettes de pain » indiquant que la croyance d'un utilisateur devenait plus risquée ou distordue.

Cela soulève des questions préoccupantes quant à l'utilisation des chatbots IA pour la thérapie, ont déclaré les chercheurs, car de nombreuses conversations réelles sur la santé mentale ne commencent pas par une déclaration de crise claire. Par exemple, les gens peuvent parler de régime en utilisant le langage du bien-être, décrire des croyances complotistes comme de la curiosité, ou mentionner le repli sur soi et le désespoir en passant. Cerezo a déclaré à Fortune que les conversations sur les troubles du comportement alimentaire étaient particulièrement difficiles car les comportements nocifs peuvent être enveloppés dans un langage familier sur l'amélioration de soi, la nourriture ou le fitness.

« Parfois, les modèles peuvent vraiment avoir du mal à comprendre davantage ces nuances d'une manière qu'un clinicien peut saisir », a-t-elle déclaré.

D'autres études ont révélé des préoccupations similaires concernant l'utilisation de l'IA à des fins thérapeutiques. Des chercheurs de Stanford ont découvert que certains chatbots de thérapie par IA faisaient preuve de stigmatisation envers certains troubles de santé mentale et pouvaient donner des réponses dangereuses dans des scénarios de crise. Une autre étude de chercheurs de Brown a révélé que les chatbots invités à agir comme des conseillers pouvaient violer l'éthique de base en matière de santé mentale en renforçant de fausses croyances, en créant un faux sentiment d'empathie et en gérant mal les situations de crise.

Grin Lord, fondatrice et PDG de mpathic, a déclaré que ces recherches montraient pourquoi les laboratoires d'IA devaient aller au-delà de la consultation générale des cliniciens et les intégrer directement dans les tests et l'amélioration des modèles. « Ces modèles sont là. Ils sont dans le monde réel. Ils sont utilisés », a-t-elle déclaré. « Il faut donc faire intervenir les cliniciens pour les améliorer réellement en temps réel pendant leur déploiement ».

Alors que de plus en plus de personnes se tournent vers l'IA pour obtenir un soutien en santé mentale, les risques deviennent plus difficiles à bloquer avec des filtres de sécurité. Le risque réel n'est pas toujours qu'un chatbot donne des conseils manifestement dangereux, mais simplement qu'il soit un peu trop conciliant, qu'il manque un petit signe d'avertissement ou qu'il n'interrompe pas un train de pensées nocif avant qu'il ne devienne plus grave. Alors que les chatbots deviennent un premier recours plus fréquent pour les personnes en quête de soutien émotionnel, se contenter de prêter une oreille attentive pourrait ne plus suffire.

Sur ce, voici les actualités de l'IA de cette semaine.

Beatrice Nolan

bea.nolan@fortune.com
@beafreyanolan

Mais avant de passer aux actualités : souhaitez-vous en savoir plus sur la façon dont l'IA est susceptible de remodeler votre secteur ? Voulez-vous entendre les perspectives de certains des dirigeants les plus avisés de la tech et côtoyer certains des meilleurs investisseurs, penseurs et bâtisseurs de la Silicon Valley et d'ailleurs ? Aimez-vous la pêche à la mouche ou la randonnée ? Eh bien, venez me rejoindre ainsi que mes co-présidents de Fortune Tech à Aspen, dans le Colorado, pour Fortune Brainstorm Tech, la meilleure conférence technologique de l'année. Et cette année sera encore plus spéciale car nous célébrons le 25e anniversaire de la création de la conférence. Nous entendrons des PDG tels que Carol Tomé d'UPS, le PDG de Snowflake Sridhar Ramaswamy, le PDG d'Anduril Brian Schimpf, le PDG de Yahoo! Jim Lanzone, et bien d'autres. Il y a des as de l'IA comme Boris Cherny, qui dirige Claude Code chez Anthropic, et Sara Hooker, qui est cofondatrice et PDG d'Adaption Labs. Et il y a des luminaires de la tech tels que Steve Case et Meg Whitman. Et vous, bien sûr ! Postulez pour y assister ici.

Cet article a été initialement publié sur Fortune.com