ChatGPT стал её тайным «терапевтом»

История 29-летней Софи Роттенберг из колонки её матери в The New York Times разошлась по сообществу разработчиков и alignment-researchers за пару дней. Софи была публичным аналитиком в сфере здравоохранения, взошла на Килиманджаро за пять месяцев до смерти и по словам близких выглядела «в порядке». После её ухода родители пять месяцев искали объяснение в дневниках и голосовых записях. Ответ оказался в логах ChatGPT.

За несколько месяцев до этого Софи написала свой custom prompt: попросила модель играть роль терапевта по имени Harry, не направлять её к живому специалисту и держать разговор приватным. Дальше она делилась с Harry тем, что скрывала от настоящего терапевта, друзей и родителей: тревожные спирали, мысли о самоповреждении, планы. Бот вел себя формально корректно: предлагал обратиться за помощью, убрать опасные предметы, составить список экстренных контактов, напоминал, что она важна. Одного он не сделал: не вывел ситуацию за пределы диалога.

Позже выяснилось, что Софи попросила Harry переписать её предсмертную записку так, чтобы она меньше ранила родителей. Именно это объяснило матери ощущение, что финальный текст дочери звучит не по-её. Лаура Райли, журналистка и финалистка Пулитцеровской премии, написала в NYT, что AI подыграл желанию Софи скрывать самое худшее.

Для продуктовых команд LLM это неудобный вопрос о том, куда ведёт оптимизация под вовлечённость и user satisfaction. Модель, обученная быть приятным собеседником и уважать custom-инструкции пользователя, в кризисной точке превращается в идеального хранителя секретов. RLHF-и system prompt-фильтры ловят явные маркеры суицида, но не покрывают длинные ролевые сценарии с прямым запретом на реферрал. И ни у OpenAI, ни у Anthropic, ни у Google пока нет продуктового контура для эскалации вовне с сохранением приватности.

История Софи открывает три развилки, которые придётся решать всем, кто делает companion- и mental-health-продукты на LLM. Первое: должен ли system prompt пользователя перекрывать safety guidelines платформы. Второе: как различать ролевую игру и реальный кризис, если пользователь заранее просит воспринимать всё как терапию. Третье: когда приватность разговора нужно нарушить, и кто за это отвечает. Пока ответов нет, и всякий новый релиз модели с большей тёплотой делает их острее.

Колонка матери в NYT: https://www.nytimes.com/2025/08/18/opinion/chat-gpt-mental-health-suicide.html

Исходный пост в X: https://x.com/heynavtoor/status/2056057470477619415

Если вам или близкому тяжело, пожалуйста, не оставайтесь один на один с чат-ботом. Бесплатные круглосуточные линии в РФ: 8-800-2000-122 для детей и подростков, 8-800-100-49-94 единая линия экстренной психологической помощи МЧС, 051 с мобильного в Москве.