🌟 Только что вышла модель Jamba 1.5.
✨ Архитектура SSM-Transformer сочетает в себе качество Transformer и эффективность Mamba, меньший объем занимаемой памяти, более легкую тонкую настройку в длинных контекстах.
🚀 Jamba 1.5: новое открытое семейство LLM от AI21
– Варианты Mini и Large
– Новая архитектура SSM-трансформатора e
– Гибридная модель SSM-трансформера на основе смеси экспертов (MoE)
📏 Контекстное окно:
– 256K лексем (самое длинное среди открытых моделей)
– Поддерживает качество на протяжении всего контекста
⚡ Скорость:
– До 2,5 раз быстрее на длинных контекстах
– Jamba 1.5 Mini: Самый быстрый на 10K контекстах (тест искусственного анализа)
🏆 Производительность:
– Jamba 1.5 Mini: 46,1 в бенчмарке Arena Hard
– Jamba 1.5 Large: 65.4 в бенчмарке Arena Hard (превосходит Llama 3.1 70B и 405B)
💾 Новая техника квантования: ExpertsInt8
– Предназначена для моделей MoE
– Квантует веса MoE/MLP в INT8
– Самая низкая задержка среди техник квантования vLLM
– Mini позволяет разместить до 140K контекстов в одном A100
🌐 Особенности:
– Многоязыковая поддержка
– Вывод JSON, вызов функций, объекты документов, цитаты
🔧 Примеры использования:
– Анализ документов, рабочие процессы RAG, поддержка клиентов
🖥️ Доступность:
– Несколько платформ: AI21 Studio, Google Cloud, Azure, Hugging Face, NVIDIA NIM.
Поддерживается в трансформаторах и VLLM
Официальное объявление – https://ai21.com/blog/announcing-jamba-model-family
ВЧ-модель – https://huggingface.co/collections/ai21labs/jamba-15-66c44befa474a917fcf55251
@machinelearning_ru
