ByteDance представил Seed-OSS (Apache-2.0) — открытую серию LLM, обученную на 1…

🔥 ByteDance представил Seed-OSS (Apache-2.0) — открытую серию LLM, обученную на 12 трлн токенов и оптимизированную для:
– контекста до 512K,
– reasoning-задач,
– агентных сценариев,
– международного применения (i18n).

📦 В релиз вошли:
– Seed-OSS-36B-Base (с синтетическими данными и без)
– Seed-OSS-36B-Instruct

⚙️ Архитектура
– 36B параметров, 64 слоя, hidden 5120
– словарь 155K
– GQA (80/8/8, head 128)
– SwiGLU, RMSNorm
– RoPE base 1e7

🧠 Thinking Budget
Механизм контроля длины рассуждений (кратные 512):
– 0 = прямой ответ
– default = без ограничений
– поддержка CoT и саморефлексии

—

📊 Результаты (Seed-OSS-36B-Base)
– MMLU-Pro: 65.1 / 60.4
– MMLU: 84.9 / 84.8
– TriviaQA: 82.1 / 81.9
– GPQA-D: 31.7 / 35.2
– BBH: 87.7 / 87.2
– GSM8K: 90.8 / 90.3
– MATH: 81.7 (SOTA) / 61.3
– MBPP: 80.6 / 74.6
– HumanEval: 76.8 / 75.6

📊 Результаты (Seed-OSS-36B-Instruct)
– MMLU-Pro: 82.7 | MMLU: 87.4
– GPQA-D: 71.4 | SuperGPQA: 55.7
– AIME24: 91.7 (SOTA) | AIME25: 84.7 | BeyondAIME: 65
– ArcAGI V2: 40.6 | KORBench: 70.6
– LiveCodeBench v6: 67.4 (SOTA)
– IFEval: 85.8
– TAU1-Retail: 70.4 (SOTA) | TAU1-Airline: 46
– SWE-Bench Verified: 56 (SOTA) | Multi-SWE-Bench: 17
– MMMLU: 78.4 | RULER (128K): 94.6 (SOTA) | AIR-Bench: 75.6

⚡ Инференс
– Поддержка Transformers и vLLM (≥0.10.0)
– FlashAttention2
– Квантизация 4/8-бит

📌 Итог: ByteDance выкатывает мощный опенсорс-стек для reasoning и агентных задач. Seed-OSS-36B-Instruct бьёт SOTA на множестве бенчмарков — от MATH и SWE-Bench до RULER-128K.

🟢GitHub
🟢Hugging Face