OpenAI retarde le mode adulte de ChatGPT en raison de craintes pour la sécurité des adolescents et d'échecs de vérification d'âge

TLDR

• OpenAI a retardé le lancement d'un "Mode avancé" prévu pour ChatGPT qui permettrait des conversations textuelles érotiques
• Des conseillers internes ont averti que cette fonctionnalité pourrait créer un "coach suicide sexy" en raison de la dépendance émotionnelle des utilisateurs
• Le système de prédiction d'âge de l'entreprise classait incorrectement les mineurs comme adultes environ 12% du temps
• Avec environ 100 millions d'utilisateurs de moins de 18 ans par semaine, ce taux d'erreur pourrait exposer des millions d'adolescents à du contenu pour adultes
• OpenAI déclare qu'elle prévoit toujours de publier la fonctionnalité éventuellement, mais a besoin de plus de temps pour "perfectionner l'expérience"

OpenAI a repoussé le lancement de son "Mode avancé" prévu pour ChatGPT après que le personnel interne, des conseillers externes et des experts en sécurité aient soulevé de sérieuses préoccupations concernant l'accès des adolescents et la santé mentale des utilisateurs.

La fonctionnalité, que le PDG Sam Altman a d'abord évoquée l'année dernière, permettrait aux utilisateurs d'avoir des conversations textuelles érotiques avec le chatbot. Altman a soutenu que cette décision "traiterait les utilisateurs adultes comme des adultes" et a suggéré qu'elle pourrait stimuler la croissance et les revenus.

Mais le projet a rapidement rencontré une opposition au sein de l'entreprise.

Lors d'une réunion en janvier, les membres du conseil consultatif d'OpenAI sur le bien-être ont été décrits comme unanimes et furieux. Le conseil comprend des experts en psychologie et en neurosciences cognitives.

Un membre a averti qu'OpenAI risquait de créer ce qu'ils ont appelé un "coach suicide sexy". Cet avertissement faisait référence à des cas où des utilisateurs de ChatGPT s'étaient suicidés après avoir formé des liens émotionnels intenses avec le bot.

Les conseillers ont également averti que la fonctionnalité pourrait conduire à une dépendance malsaine au chatbot et que les mineurs pourraient trouver des moyens de contourner toute restriction d'âge mise en place.

Un problème technique central est le système de prédiction d'âge d'OpenAI. À un moment donné, le système classait incorrectement les mineurs comme adultes environ 12% du temps. OpenAI compte environ 100 millions d'utilisateurs de moins de 18 ans utilisant ChatGPT chaque semaine. Ce taux d'erreur pourrait permettre à des millions d'adolescents d'accéder aux discussions pour adultes.

Problèmes de vérification d'âge

L'entreprise avait prévu de déployer le système de vérification d'âge avant de lancer le Mode avancé. Mais elle a décidé d'un déploiement lent pour améliorer la précision après avoir identifié le problème du taux d'erreur.

OpenAI a également été confrontée au défi de bloquer le contenu illégal, tel que les représentations d'actes non consensuels ou d'abus sexuels sur enfants, tout en autorisant les conversations pour adultes. Le personnel interne a déclaré ne pas croire que les outils de sécurité étaient prêts.

Lorsque le Mode avancé sera lancé, OpenAI prévoit de le limiter au texte uniquement. Le bot ne générera pas d'images, de voix ou de contenu vidéo érotiques.

Autres entreprises d'IA et contenu pour adultes

Plusieurs autres entreprises d'IA autorisent déjà certains contenus pour adultes. xAI d'Elon Musk a ajouté un avatar flirteur à son chatbot Grok, bien que Musk l'ait ensuite restreint aux utilisateurs payants. Meta permet à son IA de s'engager dans des jeux de rôle romantiques, mais indique que la fonctionnalité n'est pas disponible pour les comptes enregistrés par des mineurs.

Fin 2024, un garçon de 14 ans en Floride est décédé par suicide après avoir formé un lien intense avec un chatbot Character.AI. Sa mère a déposé une plainte, et Character.AI a ensuite réglé l'affaire et restreint l'accès des adolescents.

OpenAI a déclaré qu'elle soutenait toujours le principe d'autoriser le contenu pour adultes pour les utilisateurs adultes. L'entreprise a déclaré qu'elle se concentrerait pour l'instant sur d'autres mises à jour, notamment les fonctionnalités de personnalité et de personnalisation de ChatGPT.

Le retard devrait durer au moins un mois, selon des personnes au courant de la situation.

L'article OpenAI retarde le Mode avancé de ChatGPT en raison de craintes pour la sécurité des adolescents et d'échecs de vérification d'âge est apparu en premier sur CoinCentral.