🔥 Новые модели OpenAI нашли в релизе Transformers 4.55
GPT-OSS — долгожданysq опенсорс для продвинутого reasoning и агентных задач.
🧠 Представленно два варианта:
— GPT-OSS-120B — 117B параметров, запускается на одной H100 (80GB)
— GPT-OSS-20B — 21B параметров, работает на 16GB GPU (или даже локально!)
💡 Оба варианта — MoE-модели (Mixture of Experts) с 4-битной квантизацией (MXFP4), что обеспечивает быстрое и дешёвое инференс-время (активны только 3.6B и 5.1B параметров).
✔️ Особенности:
• Архитектура Token-choice MoE с SwiGLU
• Контекст до 128K токенов с RoPE
• Чередуются full-attn и sliding-window слои
• Модель хорошо работает с CoT (chain-of-thought)
• Поддержка instruction-following и tool-use
• Совместима с transformers, vLLM, llama.cpp, ollama
• Используется тот же токенизатор, что и в GPT-4o
• Открытая лицензия Apache 2.0 (есть небольшое policy-дополнение)
Младшая модель может запускаться даже на локальном железе — идеально для on-device и edge-сценариев.
📎 Пример кода инференса уже доступен — достаточно 16GB GPU с mxfp4!
🏴☠️Лицензирование: Apache 2.0
https://github.com/huggingface/transformers/releases/tag/v4.55.0
@ai_machinelearning_big_data
#openai #opensource #chatgpt
View Source
Просмотры: 853
