Джон фон Нейман и фундамент всего современного ИТ

28 декабря 1903 года в Будапеште родился ребёнок, который изменит математику, физику, экономику и вычислительную технику. Это был Джон фон Нейман.

Britannica пишет, что фон Нейман оказал на современный мир большее влияние, чем любой другой математик 20 века. Wikipedia называет его, возможно, самым влиятельным исследователем в научных вычислениях за всю историю. Оба утверждения легко защитить, если посмотреть, чем он успел заняться за 53 года жизни.

В 21 год он аксиоматизировал теорию множеств. В 1925 году вышла работа An Axiomatization of Set Theory, ставшая основой теории множеств фон Неймана, Бернайса и Гёделя (NBG). Отделив множества от собственных классов, он закрыл парадокс Рассела и другие парадоксы, которые ломали ранние формулировки теории. Дальше пошёл поток статей по логике, теории групп, эргодической теории и теории операторов. Из крупных разделов математики он не оставил серьёзного следа только в топологии и теории чисел.

В 24 года он создал теорию игр. В 1928 году в Mathematische Annalen вышло его доказательство теоремы о минимаксе, фундаментального результата всей теории игр. Сам он говорил, что без этой теоремы никакой теории игр быть не могло, и что до её доказательства публиковать было нечего. Теорема показала, что в антагонистических играх двух игроков существует оптимальная смешанная стратегия для каждого: max min = min max. Максимум, который один игрок может гарантированно выиграть, равен минимуму, который другой может гарантированно проиграть. Вместе с Оскаром Моргенштерном фон Нейман развернул это в книгу Theory of Games and Economic Behavior (1944) с аксиомами ожидаемой полезности, на которых до сих пор стоит теория принятия решений. Сегодня теория игр лежит под обучением с подкреплением, мультиагентными системами, состязательным обучением в GAN и методами поиска равновесия Нэша в задачах AI alignment.

В 28 лет он подвёл математическую базу под квантовую механику. В 1932 году вышли The Mathematical Foundations of Quantum Mechanics, где появились аксиомы Дирака и фон Неймана. Квантовую механику он полностью переписал на языке гильбертовых пространств и линейных операторов. Квантовые состояния стали векторами в бесконечномерном гильбертовом пространстве, физические наблюдаемые самосопряжёнными операторами. Любой алгоритм квантовых вычислений, который пишут сегодня, опирается на эту конструкцию.

В 41 год он написал чертёж каждого компьютера, который вы сейчас держите в руках. 30 июня 1945 года был распространён First Draft of a Report on the EDVAC, который Вольфганг Кой назвал свидетельством о рождении современных компьютеров. В документе впервые в опубликованной форме была описана машина, которая хранит программу в памяти рядом с данными. Пять компонентов: центральный арифметический блок, центральный блок управления, память, общая для программы и данных, ввод, вывод. Главное прозрение в том, что программа и данные живут в одной памяти. Это сделало возможными самомодифицирующиеся программы, компиляторы, операционные системы и софт как отдельную сущность. Авторство стоит обсуждать аккуратно: Эккерт и Маучли по сути уже спроектировали машину со store-program концепцией до обсуждений с фон Нейманом, а Голдстайн разослал документ только с его именем. Но архитектура стала универсальной и работает в каждом устройстве, выпущенном с тех пор.

Вместе со Станиславом Уламом он придумал метод Монте-Карло, статистическую выборку, которая позволяет приближать сложные задачи случайными числами. Метод родился в Манхэттенском проекте для моделирования диффузии нейтронов и теперь сидит везде: в науке, финансах и ИИ. Dropout, байесовский вывод, оценка policy gradient в RL все варианты Монте-Карло.

В 1948 году он придумал самовоспроизводящиеся машины и поле клеточных автоматов, ещё до появления компьютеров, на бумаге в клетку. Он формально доказал, что машина может содержать полное описание самой себя, использовать это описание для постройки копии и передать описание копии. Это за пять лет до открытия двойной спирали ДНК, и логическая схема точно соответствует тому, как устроено биологическое размножение.

Всё вместе: в 21 аксиоматизация теории множеств, в 24 теория игр и минимакс, в 28 математические основы квантовой механики, в 41 архитектура любого современного компьютера. Параллельно Монте-Карло, клеточные автоматы, операторные алгебры, эргодическая теория, линейное программирование. 150 опубликованных работ: 60 по чистой математике, 20 по физике, 60 по прикладной математике.

Его ассистент Пол Халмош писал, что все мы способны мыслить ясно, более или менее, иногда, но ясность мышления фон Неймана была на порядки выше, чем у большинства из нас, и всё время. Сегодня теорема о минимаксе работает внутри каждого игрового ИИ. Архитектура фон Неймана работает внутри каждого устройства. Метод Монте-Карло работает внутри каждой вероятностной модели, которую обучают прямо сейчас. Гильбертовы пространства работают внутри каждого квантового алгоритма. Он не предсказывал будущее, он его собрал.

Источник: https://x.com/techNmak/status/2056033166960578663