Gato модель с миллиардами параметров от Deepmind

DeepMind представила кросс-модальную универсальную модель с 1.2 миллиардами параметров Gato. Gato может выполнять более 600 задач, таких как воспроизведение видеоигр, создание субтитров к изображениям и управление роботами.

DeepMind обучила Gato на датасетах, включающих опыт работы агента как в моделируемых, так и в реальных средах, а также на датасетах естественного языка и изображений.

Gato имеет архитектуру трансформера, которая была выбрана для решения сложных задач на рассуждение, демонстрации способностей к обобщению текстов, созданию музыки, классификации объектов на фотографиях и анализу последовательностей белков.

На этапе обучения Gato данные из различных задач и модальностей упорядочиваются в плоскую последовательность токенов, объединяются и обрабатываются нейросетью.

Интересно, что у Gato количество параметров на порядки меньше, чем у однозадачных систем, включая GPT-3. Так, GPT-3 насчитывает более 170 миллиардов параметров, в то время как у Gato их всего 1,2 миллиарда.

Deepmind: https://www.deepmind.com/publications/a-generalist-agent

Статья: arXiv

Больше интересного из мира машинного обучения: https://t.me/ai_machinelearning_big_data

Ответить