Почему ИИ пишет скучно и как Sherpa научилась писать хиты

Когда Pocket FM, платформа аудиосериалов, перешла на шоу, написанные с помощью ИИ, многие предрекали ей конец. Сооснователь компании Рохан Наяк признаётся, что через полгода сам почти в это поверил. А потом экосистема резко выросла. Меньше чем за два года ИИ компании помог авторам выпустить 161 хит, включая франшизу стоимостью $100 млн.

Для этого Pocket FM пришлось построить собственные модели и обвязку под названием Sherpa. В своей колонке Наяк подробно разобрал, почему обычные LLM плохо пишут художественные тексты и как устроена система, которая справляется с этим лучше.

Почему ИИ-текст звучит как ИИ-текст

С момента выхода ChatGPT все жалуются, что сгенерированные тексты узнаются с первого абзаца. Длинные тире, короткие рубленые фразы, ровный нейтральный тон и ощущение одного большого скучного полотна.

Наяк объясняет это устройством самих моделей. LLM обучали логике, математике, коду и пересказу энциклопедических знаний. Обучение с подкреплением лучше всего работает там, где есть чёткий сигнал успеха: код либо запускается и делает что нужно, либо нет. С текстом так не получается. Автор не знает, бросил ли читатель на первом предложении или дошёл до конца, а десять человек оценят одну и ту же книгу десятью разными способами.

Есть и более глубокая причина. Достоевского читают ради противоречий и эмоций героев, Уайльда и Фицджеральда ради стиля, Конан Дойла ради умения прятать от читателя ключевую информацию до последней страницы. Универсальные модели учили ровно обратному: отвечать прямо, нейтрально и быстро подводить пользователя к правильному выводу. Хорошая история требует напряжения, медленного разрешения конфликта, смены темпа и ложных следов, которые держат слушателя на крючке.

Даже модель с долгим рассуждением тратит время на то, чтобы решить задачу, а не на то, чтобы аудитории было интересно идти к ответу. Разгадать детективную загадку и написать детектив совсем не одно и то же.

Почему у Pocket FM есть то, чего нет у других

Компания одновременно создаёт контент и распространяет его, поэтому видит поведение слушателей поминутно: где человек остановился, вернулся ли к следующему эпизоду, остался ли с сериалом надолго. Для обучения сложно придумать сигнал лучше. Всё, что заставляет слушателя уйти, Sherpa учится избегать, а всё, что удерживает, переносит в новые шоу.

Объём данных тоже впечатляет: на платформе 550 тысяч авторов и больше 100 млн пользователей. По словам Наяка, средний пользователь слушает Pocket FM больше 150 минут в день, это почти втрое больше, чем на YouTube, и примерно на 50% больше, чем на Netflix.

Что не сработало

Сначала команда пробовала доработать готовые модели. Прямые промпты к всё более сильным LLM, скользящие саммари по ходу сюжета, RAG и графы знаний для ответов на вопросы о мире истории.

Результаты оказались слабыми. При прямом промптинге к сотому эпизоду набиралось от 10 до 20 нестыковок. Скользящие саммари теряли важные детали, и сюжет дальше разваливался. Большое контекстное окно помогало, но модели всё равно неточно используют информацию в длинном контексте. Главным индикатором стали вопросы по тексту: ни одна модель не справлялась с многошаговыми вопросами, ответ на которые требует деталей из нескольких эпизодов. После этого команда решила строить всё с нуля.

Как устроена Sherpa

Sherpa представляет собой обвязку для длинных сериализованных художественных текстов из трёх частей. Планировщик решает, чего должна добиться каждая арка и сцена и как развиваются персонажи и их отношения. Нарративная модель мира (Narrative World Model) ведёт структурированную запись событий, знаний каждого героя и обещаний, которые сюжет ещё должен выполнить. Движок прозы пишет текст по плану и текущему состоянию мира, а модели-критики проверяют поведение персонажей, непрерывность и качество сцен. Правки авторов и реакция аудитории улучшают следующую итерацию.

В слепых парных сравнениях истории, написанные Sherpa с нуля, выигрывали у конкурентов в доле случаев от 65,6 до 97,1%, в зависимости от модели.

Память: нарративная модель мира

У языковой модели нет памяти между вызовами, поэтому всё, что она знает об истории, должно поместиться в промпт. Длинный контекст проблему не решает, потому что модели неравномерно используют информацию из середины. Поиск по сырому тексту тоже: он найдёт абзац, где говорится, где лежал предмет, но не скажет, где он сейчас.

В Sherpa после финализации эпизода отдельная модель извлекает из него структурированные записи, каждая из которых привязана к подтверждающему фрагменту текста. Поля заточены под художественную прозу: что персонаж знает и чего пока не знает, когда событие произошло и когда о нём узнаёт аудитория, какие завязки ждут развязки. Каждый факт действует с главы, где он появился, до главы, где он меняется. Если автор правит раннюю главу, всё зависимое пересобирается.

При ответе на вопрос система ищет по графу одновременно по точным словам и по смыслу, подтягивает прямые связи каждого результата и отдаёт модели компактный пакет данных. Поиск учитывает номер эпизода, поэтому в контекст не попадают спойлеры из будущих глав.

На внутреннем бенчмарке из 60 вопросов NWM показала точность 86,7% (52 из 60) при стоимости $0,78 за прогон. По данным компании, это та же точность, что у системы памяти Claude Code на моделях класса Opus 5.x, но примерно в 21 раз дешевле: там прогон стоил $16,22. Поиск только по тексту прозы дал 66,7%, то есть на 20 процентных пунктов меньше.

Движок прозы: агенты, критик и рассказчик

Для обучения с подкреплением нужна функция награды, а у прозы её нет. Абзац не проходит тест, который скажет, тянет ли он на Нобелевскую премию или это вода.

Sherpa делит работу между несколькими моделями. Каждый персонаж представлен отдельным агентом на дообученных моделях Pocket FM. Агент предлагает следующее действие, исходя из своей личности, текущей цели истории, недавних событий и релевантной части мира. Отдельная модель-критик проверяет каждое предложение и отклоняет всё расплывчатое, неправдоподобное, нехарактерное для героя, повторяющееся или не двигающее сюжет. Третья модель, рассказчик, выбирает подходящие предложения и превращает их в следующий абзац. В память истории попадает только то, что оказалось на странице.

Параллельно компания обучает собственную модель прозы с функциями награды для сериальной литературы. Модель штрафуют за вычурный стиль, повторы и избыточные объяснения и поощряют за естественные диалоги, узнаваемые голоса героев и напряжение.

Сигналов качества несколько. Не противоречит ли текст событиям и знаниям персонажей. Правдоподобно ли действие и двигает ли сцену. Предпочитают ли авторы этот вариант диалога, голоса и темпа альтернативному. Дослушивают ли слушатели эпизод и возвращаются ли к следующим. Эти сигналы работают на разных масштабах: фраза может звучать отлично и при этом ломать канон, а клиффхэнгер может поднять запуски следующего эпизода и ослабить всю арку. Поэтому Sherpa оптимизирует их вместе, без сведения к одной оценке «хорошего текста».

По внутренним тестам Pocket FM, тексты движка прозы предпочитали в 69% случаев в сравнении с Sonnet 5 и в 94% в сравнении с Gemini 3.1 Pro. Сравнение проводилось в обоих порядках показа, 50% означает паритет. Компания подчёркивает, что это ранние результаты и дообучение продолжается.

Иерархический планировщик сюжета

Структура принадлежит всему шоу, а языковая модель генерирует только следующий кусок. Ничто в предсказании следующего слова не подсказывает, что улика из пятого эпизода требует развязки в шестидесятом. В тестовой истории на 100 страниц от передовой модели ИИ-редактор нашёл 52 структурные проблемы, проверив всего пять глав: провисающее развитие сюжета и главы, без которых история могла бы обойтись.

Планировщик Sherpa идёт сверху вниз: от общего сюжета к аркам и эпизодам, и каждой сцене назначает задачу, включая то, что она должна оставить нерешённым. Так двадцатый эпизод может подготовить разгадку восьмидесятого и не выдать её. Каждая завязка хранится в памяти как открытое обещание до своей развязки. Генератор целей не даёт истории застрять: когда цель достигнута или зашла в тупик, он ставит новую, которая не повторяет прежние. На той же стостраничной истории число структурных проблем снизилось с 52 до 31, а отключение одного только обновления целей увеличивало число замечаний к главам почти в полтора раза.

Что дальше

Наяк считает, что у Sherpa есть всё, чтобы в ближайшие годы помогать авторам создавать франшизы на миллиард долларов, и система улучшается с каждым новым автором и слушателем на платформе. Он признаёт, что нерешённых вопросов много: и сама модель, и условия, в которых авторам будет удобно с ней работать.

Для разработчиков в этой истории полезен подход. Когда у задачи нет очевидной метрики, её можно собрать из нескольких сигналов разного масштаба, а память для длинных текстов лучше строить как структурированный граф фактов с привязкой ко времени, чем полагаться на длинный контекст.

Источник: колонка Рохана Наяка в X.