🦀 CRAB: бенчмарк для агентов работающих с мультимодальными языковыми моделями
🦀 CRAB предоставляет комплексную и простую в использовании платформу для создания мультимодальных агентов, управления различных ос и создания тестов для их оценки, состоящую из трех ключевых компонентов:
– 🔀 Агенты могут выполнять задачи на 📱 Android и 💻 Ubuntu.
– 🕸 Graph Graph evaluator – предоставляет агентам точную метрику оценки работы агентов.
– 🤖 Автоматическая гнерация задач для агентов.
Подключая все устройства к агентам, 🦀CRAB открывает больше возможностей для выполнения различных задач, аналогичных реальным задачам.
Используйте 🦀 CRAB для тестирования ваших мультимодальных агентов!
– 👨💻 Репозиторий: https://github.com/camel-ai/crab
– 📝 Статья: https://arxiv.org/abs/2407.01511
– 🌐 Проект https://crab.camel-ai.org
@data_analysis_ml
View Source
Просмотры: 30
