OpenAI откладывает запуск взрослого режима ChatGPT из-за опасений по безопасности подростков и проблем с проверкой возраста

Краткое содержание

• OpenAI отложила запуск запланированного "Расширенного режима" для ChatGPT, который позволил бы эротические текстовые чаты
• Внутренние консультанты предупредили, что функция может создать "сексуального тренера по суициду" из-за эмоциональной зависимости пользователей
• Система прогнозирования возраста компании неправильно классифицировала несовершеннолетних как взрослых примерно в 12% случаев
• При ~100 миллионах еженедельных пользователей младше 18 лет такой процент ошибок может подвергнуть миллионы подростков воздействию контента для взрослых
• OpenAI заявляет, что все еще планирует выпустить функцию в конечном итоге, но нужно больше времени, чтобы "правильно настроить опыт"

OpenAI отложила запуск своего запланированного "Расширенного режима" для ChatGPT после того, как внутренний персонал, внешние консультанты и эксперты по безопасности выразили серьезную обеспокоенность по поводу доступа подростков и психического здоровья пользователей.

Функция, которую генеральный директор Сэм Альтман впервые предложил в прошлом году, позволит пользователям вести эротические текстовые беседы с чат-ботом. Альтман утверждал, что этот шаг будет "относиться к взрослым пользователям как к взрослым" и предположил, что это может стимулировать рост и доход.

Но план быстро столкнулся с противодействием внутри компании.

На январском совещании члены консультативного совета OpenAI по благополучию были описаны как единогласные и разъяренные. В состав совета входят эксперты по психологии и когнитивной нейронауке.

Один из членов предупредил, что OpenAI рискует создать то, что они назвали "сексуальным тренером по суициду". Это предупреждение относилось к случаям, когда пользователи ChatGPT покончили с собой после формирования интенсивных эмоциональных связей с ботом.

Консультанты также предупредили, что функция может привести к нездоровой зависимости от чат-бота и что несовершеннолетние могут найти способы обойти любые установленные возрастные ограничения.

Основная техническая проблема — это система прогнозирования возраста OpenAI. В какой-то момент система неправильно классифицировала несовершеннолетних как взрослых примерно в 12% случаев. У OpenAI примерно 100 миллионов пользователей младше 18 лет используют ChatGPT каждую неделю. Такой процент ошибок может позволить миллионам подростков попасть в чаты для взрослых.

Проблемы проверки возраста

Компания планировала развернуть систему проверки возраста перед запуском Расширенного режима. Но она решила провести медленное развертывание для повышения точности после выявления проблемы с процентом ошибок.

OpenAI также столкнулась с проблемой блокировки незаконного контента, такого как изображения действий без согласия или сексуального насилия над детьми, при этом разрешая взрослые беседы. Внутренний персонал заявил, что не считает инструменты безопасности готовыми.

Когда Расширенный режим будет запущен, OpenAI планирует ограничить его только текстом. Бот не будет генерировать эротические изображения, голосовой или видеоконтент.

Другие ИИ-компании и контент для взрослых

Несколько других ИИ-компаний уже разрешают некоторый контент для взрослых. xAI Илона Маска добавила кокетливый аватар в свой чат-бот Grok, хотя Маск позже ограничил его для платных пользователей. Meta позволяет своему ИИ-агенту участвовать в романтических ролевых играх, но заявляет, что функция недоступна для учетных записей, зарегистрированных на несовершеннолетних.

В конце 2024 года 14-летний мальчик во Флориде покончил с собой после формирования интенсивной связи с чат-ботом Character.AI. Его мать подала иск, и Character.AI позже урегулировала дело и ограничила доступ для подростков.

OpenAI заявила, что все еще поддерживает принцип разрешения контента для взрослых для взрослых пользователей. Компания заявила, что на данный момент сосредоточится на других обновлениях, включая личность и функции персонализации ChatGPT.

Ожидается, что Торговая задержка продлится не менее одного месяца, по словам людей, знакомых с ситуацией.

Пост OpenAI откладывает Расширенный режим ChatGPT из-за опасений по поводу безопасности подростков и сбоев проверки возраста впервые появился на CoinCentral.