Андрей Карпаты выложил минимальный репозиторий Autoresearch – систему, где AI с…

⚡️ Андрей Карпаты выложил минимальный репозиторий Autoresearch – систему, где AI сам проводит исследования.

Это упрощённая версия ядра обучения LLM из nanoGPT/nanochat:
весь код обучения помещается в один файл (~630 строк) и работает на одной GPU.

Как это устроено:

– человек редактирует prompt (.md)
– AI-агент автоматически меняет training code (.py)

Дальше начинается цикл автономных экспериментов.

Каждая точка на графике — полный запуск обучения LLM (~5 минут).

AI-агент работает в бесконечном цикле:

– создаёт git-ветку
– меняет архитектуру модели
– подбирает optimizer
– оптимизирует гиперпараметры
– запускает обучение
– коммитит улучшения

Если validation loss становится ниже, изменение сохраняется.

Фактически агент сам оптимизирует собственный код обучения и постепенно улучшает модель.

Можно запускать несколько агентов с разными промптами и сравнивать, кто быстрее двигает исследование.

Карпаты шутит, что раньше AI-исследования делали люди между:

– едой
– сном
– митингами

Теперь же исследования могут выполнять рои автономных AI-агентов, которые бесконечно гоняют эксперименты на кластерах.

GitHub: github.com/karpathy/autoresearch

🎯Полезные Мл-ресурсы 🚀 Max

@data_analysis_ml