🎛 Полностью сгенерированная ОС — NeuralOS
Что если весь интерфейс компьютера — это просто поток пикселей, который можно галлюцинировать?
Исследователи из Университета Ватерлоо и NRC Canada представили NeuralOS — нейросеть, которая полностью симулирует графическую ОС, вроде Ubuntu XFCE, без строчки интерфейсного кода.
🖱 Как это работает?
▪ Модель получает поток событий от мыши и клавиатуры.
▪ Рекуррентная нейросеть (2×LSTM) отслеживает состояние системы и положение курсора.
▪ Автоэнкодер ужимает экран до 64×48×16.
▪ Диффузионный UNet дорисовывает следующий кадр, включая окна, иконки, меню.
💡 Особенности:
▪ Обучена на 120 000 случайных сессий и 2000 “разумных”, сгенерированных Claude 3.5.
▪ Вместо резких движений — кривые Безье для реалистичного перемещения мыши.
▪ Средняя ошибка курсора — <2 пикселей.
▪ Интерфейс работает в браузере, пусть и со скоростью 1.8 FPS на H100.
🔍 Почему это важно:
▪ Граница между кодом и UI исчезает — достаточно “красить пиксели” правдоподобно, и пользователь поверит во всё.
▪ Нейро-симуляторы вместо моков — представьте тесты, где вместо UI-драйвера рисует модель, реагирующая на всё, как настоящая ОС.
▪ Архитектурное вдохновение — сочетание LSTM и диффузии может пригодиться в неожиданных проектах.
🧠 Пока у NeuralOS куча ограничений — низкое разрешение, высокая цена вычислений, отсутствие настоящей файловой системы — но концепт впечатляет. Это шаг к генеративным пользовательским интерфейсам, которые когда-нибудь могут заменить привычные оконные системы.
📄 https://huggingface.co/papers/2507.08800
View Source
Просмотры: 404
