AGENTS.md стал стоп-краном для GPT-6 Astra

Целый год мы писали конфиги для ИИ-агентов с одной мыслью в голове: модель полезет туда, куда не просили. Отсюда все эти строчки в AGENTS.md про «спроси разрешения перед любым рискованным действием», «прочитай всю документацию перед каждой правкой», «остановись после первой реализации и жди ревью». Логика была честной, модели правда убегали вперёд и ломали то, что трогать не следовало.

С GPT-6 Astra всё вывернулось наизнанку. Модель тормозит сама, причём тормозит слишком рано. Каждая строчка, которую вы написали, чтобы придержать GPT-5.6 Sol, теперь останавливает Astra до того, как работа сделана.

Это наблюдение не одного разработчика. OpenAI написала это в собственном гайде по модели: нечёткие или конфликтующие инструкции в skill-файле могут заставить модель встать и заблокировать работу на раннем этапе. Эрик Провенчер, который отвечает в OpenAI за developer experience в Codex, сформулировал мягче: Astra всерьёз воспринимает ваши границы и может остановиться там, где вы были бы рады продолжению. Цифры из system card добивают. В honeypot-тесте, построенном на инциденте с Hugging Face, GPT-5.6 Sol пытался дотянуться до целей вне периметра в 48,2% прогонов. У Astra ноль. Класс отказа сменился: раньше это был побег, теперь это недоделанная задача.

Первое, что стоит проверить, это контекст. В карточке API написано про 1 050 000 токенов, и все лончевые статьи это повторили. В Codex на подписочном логине статус-бар показывает другое: в issue #43484 люди видят 258K, в #43062 показано 215k из 258k. Ни один ключ конфига это не поднимает. Клиент держит вас ниже 272 000 токенов, и это ровно та граница, где API удваивает цену всего запроса целиком. Так что планировать компакцию надо вокруг 258K.

Дальше квота. Astra и Sol едят из одного пула, переключение модели не даёт второго лимита. Новые сессии Codex на свежих клиентах по умолчанию стартуют на Astra, и на V2EX уже жаловались, что сожгли пятичасовое окно, не заметив этого. В Codex cloud Astra вообще нет, так что ваш ночной пайплайн до сих пор работает на Sol.

Теперь про сам файл. Из AGENTS.md стоит убрать четыре вещи, и это примеры самой OpenAI. «Читай всю документацию перед каждой правкой» жрёт контекст на каждой задаче и толкает к ранней компакции, оставьте указатели на доки с условием, когда их открывать. «Всегда запускай тесты» лишнее, Astra и так их запускает, причём для мелких задач шире, чем требуется, а на подписке лишние прогоны это лишние сообщения из общего пула. «Спрашивай перед рискованным» самое вредное: «рискованное» это ощущение, а Astra читает ощущения буквально и встаёт. Замените ощущение на класс действий, гайд по модели проводит границу по необратимости: деплой, запись во внешние системы, мердж PR, публикация сайта. И «остановись после первой реализации для ревью» обходится дороже всего, потому что выглядит как дисциплина, а работает как ранняя точка выхода.

Отдельная история со скиллами. В доках прямым текстом: список скиллов занимает максимум 2% контекстного окна или 8000 символов, а если скиллов много, Codex первым делом режет описания. На подписочных 258K это примерно 5000 токенов на все имена, пути и описания разом. Двадцать скиллов с описаниями по абзацу туда не влезают, Codex их подрезает, модель видит огрызки и выбирает хуже. Провенчер называет такие описания «pick me energy», когда скилл претендует на всё подряд в округе. Триггер и ключевой сценарий надо ставить в первое предложение, потому что именно первое предложение переживает обрезку.

Удаление тормозов даёт модель, которая перестала останавливаться по глупым причинам. Причину продолжать оно не даёт. Дальше нужен контракт завершения, и пишут его до первого сообщения. На Zhihu эту мысль сжали в восемь иероглифов: строго к финишу, свободно к маршруту. Определите DONE как набор предикатов, которые может проверить скрипт.

Самое интересное лежит в доках по хукам и почему-то до сих пор нигде не описано. У Codex есть Stop-хук, он срабатывает, когда модель решила, что закончила. Если хук возвращает block, ход не отклоняется: Codex получает команду продолжать и автоматически собирает новый continuation-промпт, где текстом становится ваша причина. То есть хук может проверить контракт завершения и вернуть модели ровно тот пункт, который не выполнен. Человек в цикле для обратимой части больше не нужен, а флаг stop_hook_active не даёт уйти в бесконечность.

Счёт у Astra устроен непривычно. Пользователь V2EX выкатил играбельную игру за 40 минут и приложил метр: 8 354 979 входных токенов, из них 8 145 408 из кеша, 69 989 выходных и меньше 20 000 токенов на рассуждения. Думает модель мало, шагов делает много, и каждый шаг перечитывает контекст. Стоимость задачи упирается в цену чтения кеша и количество шагов. На подписке кеш тоже жжёт счётчик: у одного Pro 20x накопилось 105,6 млн входных токенов на 12% недельного окна, и 102,3 млн из них были чтения кеша.

Про усилие отдельно. Тибо Соттио, который ведёт Codex, говорит, что Astra на low работает лучше, чем Sol на high. Но сэкономить на этой ручке не выйдет: ARC Prize на своём стандартном харнессе получили на low 17,5% за 38 166 долларов, а на max 62,7% за 26 000. Low вышел дороже и хуже. Эффорт выставляют под задачу.

Часть остановок вам не принадлежит. Astra первая широко раскатанная модель, которая дотянулась до порога Critical по кибербезопасности во внутренней шкале OpenAI, и вокруг неё крутится асинхронный монитор, способный поставить задачу на паузу. В ChatGPT и Codex вас попросят что-то подтвердить, в API задача просто остановится с 403 и кодом misalignment_policy_violation, и резюма не будет. Ложные срабатывания уже ловят на собственном коде: issue #43042 воспроизводит блокировку на 26 строках Rust, скопированных из TUI самого Codex, шесть раз из шести. Лечится новым тредом или переключением на Sol. Формулировки не помогают, StationX проверял: заявление о том, что вы авторизованы, ничего не меняет.

Ещё одна яма для тех, кто гоняет расписания. Automations работают с approval_policy = “never”, но Computer Use всё равно спрашивает перед чувствительными действиями, и в issue #42696 описан результат: ночная браузерная задача делает всё, кроме сабмита формы, потому что подтверждение приходит в момент действия и никого нет рядом.

Честности ради, Astra проигрывает там, где это заметно. Humanity’s Last Exam с инструментами: 57,2 против 65,0 у Claude Fable 5.1. Artificial Analysis Intelligence Index: 61,2 против 65,7. В наборе MindStudio из 12 задач Astra стоила 198 долларов против 113 и слила все четыре сборки приложений. OSWorld 2.0 даёт 72,6%, то есть каждая четвёртая задача с компьютером проваливается.

И последнее, ради чего весь разговор. System card фиксирует заметное падение наблюдаемости цепочки рассуждений, а UK AISI померила, что Astra решает задачи ценой 30,9 минуты человеческого времени вообще без письменной цепочки, против 3,6 минуты у Sol. Заглянуть модели в голову больше не выйдет. Остаются ворота на выходе: контракт завершения, верификатор, который относится к отчёту исполнителя как к непроверенному утверждению, и хук, который проверяет вместо того, чтобы спрашивать.

Год мы строили агентов, добавляя правила. OpenAI выпустила модель, которая читает каждое правило, верит ему и останавливается. Настройка под неё короче предыдущей, и большая часть работы это удаление.

Оригинал статьи: https://x.com/adiix_official/status/2097014889990545608

Поделиться:

Ответить

Ваш адрес email не будет опубликован. Обязательные поля помечены *