Дарио Амодеи об эссе Policy on the AI Exponential

Дарио Амодеи, глава Anthropic, опубликовал эссе Policy on the AI Exponential. Основной тезис простой: технология развивается по экспоненте, а регулирование движется линейно и безнадёжно отстаёт.

Сроки у него короткие. Если законы масштабирования продержатся ещё год или два, мы получим то, что он называет Powerful AI, или страну гениев в дата-центре. Доказательством он считает киберриски превью Claude Mythos, которые подтверждают, что передовые модели стали инструментом глобального и национального стратегического значения.

Что он предлагает: регулирование по образцу авиационного FAA. Обязательное независимое тестирование передовых моделей и право государства заблокировать или отозвать релиз, признанный небезопасным. Важная деталь в том, что под эти ограничения первыми попали бы модели самого Anthropic.

По экономике Амодеи честно раздвоен. С одной стороны, огромный потенциал роста за счёт ускорения науки и автоматизации когнитивного труда, вплоть до рекурсивного самоулучшения моделей. С другой, заметная вероятность устойчивой потери рабочих мест как внутреннего свойства технологии. В качестве мер он называет безусловный базовый доход и повышение налога на прирост капитала.

По вопросу власти он предупреждает, что ИИ в неправильных руках способен стать абсолютным инструментом автократии, и тут же добавляет, что технологию нельзя полностью доверить ни государствам, ни компаниям, включая саму Anthropic. Общий настрой эссе это срочность, а не триумф. Окно для разумного регулирования узкое, и по оценке автора мы уже примерно на год опоздали.

Полный текст эссе: https://www.darioamodei.com/post/policy-on-the-ai-exponential

Источник в X: https://x.com/kimmonismus/status/2064788701532635301