⚡️ Mistral AI представила новые модели 3B и 8B.

Mistral AI, отмечая годовщину выпуска Mistral 7B, представила две новые модели: Ministral 3B и Ministral 8B. 

⚡️ Mistral AI представила новые модели 3B и 8B.

Семейство этих моделей получило название «Ministraux», они отличаются высокой производительностью в области знаний, рассуждений, вызова функций и эффективности среди аналогичных моделей категории менее 10 млрд. параметров. 

Обе модели Ministraux поддерживают контекстную длину до 128 тыс. токенов (32 тыс. токенов на vLLM), а Ministral 8B использует специальную схему чередующегося скользящего окна внимания для более быстрого и эффективного инференса. 

⚡️ Mistral AI представила новые модели 3B и 8B.

Модели предназначены для использования в различных сценариях, от робототехники до автономных интеллектуальных помощников без подключения к интернету. 

Обе модели в ближайшее время будут доступны в сервисе La Plateforme и в облачных сервисах партнеров MistalAI. Цены: 0.1$/M (input and output) для Ministral 8B и 0.04$ /M (input and output) для Ministral 3B.

⚡️ Mistral AI представила новые модели 3B и 8B.

▶️ Ministral 3B доступна для некоммерческого использования по запросу через форму.

▶️ Ministral 8B-Instruct опубликована в отрытом доступе:

🟢Architecture: Transformer

🟢Parameters: 8B

🟢Layers: 36

🟢Heads: 32

🟢Dim: 4096

🟢Hidden Dim: 12288

🟢Vocab Size: 131K

🟢Context Length: 128K

🟢Tokenizer: V3-Tekken

🟢Language: multilingual

Локальный запуск рекомендуется выполнять в среде vLLM, воспользоваться docker или библиотекой Mistral Inference.

⚠️ vLLM имеет ограничение на размер контекста 32k, поскольку поддержка interleaved attention kernels for paged attention в нем пока еще не реализована.

⚠️ Для локального запуска Ministral 8B-Instruct понадобится 24 Gb VRAM

📌Лицензирование : MRL-0.1

🟡Страница проекта https://mistral.ai/news/ministraux/

🟡Модель https://huggingface.co/mistralai/Ministral-8B-Instruct-2410

🟡Demo Ministral 8B-Instruct https://huggingface.co/spaces/vilarin/Mistral-lab

#AI #ML #LLM #Ministraux #MistralAI

+1
0
+1
0
+1
0
+1
0
+1
0

Ответить

Ваш адрес email не будет опубликован. Обязательные поля помечены *