🧠 Новый подход к архитектуре нейросетей:
Attention Residuals
Исследователи предложили переосмыслить одну из базовых идей глубоких нейросетей – residual connections.
До сих пор такие соединения работали очень просто:
каждый слой добавляет свой результат к предыдущим слоям через фиксированное накопление.
Но у этого подхода есть проблемы:
• информация постепенно «размывается»
• растёт скрытое состояние
• модели сложнее извлекать важные представления из прошлых слоёв
Теперь предложена новая идея – Attention Residuals.
Вместо обычного сложения слоёв модель использует attention, чтобы выбирать, какие представления из предыдущих слоёв действительно нужны.
Проще говоря:
модель сама решает, к каким слоям прошлого стоит “вернуться”.
Что это даёт:
🔹 сеть может избирательно извлекать нужные представления
🔹 уменьшается эффект «размывания» информации
🔹 контролируется рост скрытых состояний
🔹 глубина сети используется гораздо эффективнее
Чтобы это работало на больших моделях, авторы предложили механизм Block AttnRes.
Он делит сеть на блоки и применяет сжатое attention между ними, делая кросс-слойное внимание масштабируемым.
По результатам экспериментов:
• около 1.25× выигрыша по вычислениям
• <2% увеличение latency на инференсе
• стабильный рост качества на downstream-задачах
Метод протестировали на архитектуре Kimi Linear:
• 48B параметров всего
• 3B активных параметров
Если идея подтвердится на больших LLM, это может стать новым стандартом для глубинных архитектур нейросетей.
https://github.com/MoonshotAI/Attention-Residuals/blob/master/Attention_Residuals.pdf
🎯Полезные Мл-ресурсы 🚀 Max
@data_analysis_ml
