Агент пожизненного обучения, который играет в Minecraft и непрерывно совершенствуется.

Voyager состоит из трех ключевых компонентов: автоматического учебного плана для открытого исследования, библиотеки навыков для все более сложного поведения и итеративного механизма подсказок, который использует код как пространство действий.

Voyager – агент пожизненного обучения, который играет в Minecraft и непрерывно совершенствуется. Voyager постоянно улучшается, генерируя, изменяя и переписывая собственный код .

GPT-4 открывает новую парадигму: “обучение” – это генерация и выполнение кода, а не градиентный спуск. “Обучаемая модель” – это кодовая база навыков, которую Voyager итеративно составляет, а не матрицы плавающих чисел. Это безградиентная архитектуру.

Voyager быстро становится опытным исследователем. В Minecraft он получает в 3,3 раза больше уникальных предметов, преодолевает в 2,3 раза больше расстояний и открывает ключевые этапы технологического дерева на 15,3 раза быстрее, чем предыдущие методы.

 В Minecraft Voyager способен принимать решения путем моделирования мира. Пример: 

“очков голода осталось немного”

-> если я не получу еду в ближайшее время, то умру 

-> я вижу поблизости кошку, свинью и деревенского жителя. 

-> на кого из них я должен охотиться? 

-> на свинью, потому что убийство двух других не даст мне еды, даже если я добьюсь успеха 

-> проверить инвентарь, нет хорошего оружия 

-> [пойти сделать каменный меч] 

-> свинья убежала 

-> [начать охоту на овец]”.

Этот способ мышления предполагает постоянные рассуждения и активное вмешательство в текущее состояние агента и мира. Voyager предвидит, что ему нужно, мысленно моделируя будущее, и соответственно планирует это “воображаемое будущее”. Он проводит обширную разведку и приобретает новые навыки по пути с помощью механизма библиотеки навыков. Агент совершает ошибки, но корректирует ход действий.

🖥 Github: https://github.com/MineDojo/Voyager

📕 Paper: https://arxiv.org/abs/2305.16291

⭐️ Project: https://voyager.minedojo.org/

+1
0
+1
0
+1
0
+1
0
+1
1

Ответить

Ваш адрес email не будет опубликован. Обязательные поля помечены *