ЗДЕСЬ Медиа logo
huggingface.co

Открытые веса GigaChat 3.5 Ultra: 432B параметров, MoE-архитектура и обучение в FP8

10голосов
от inferenceonly

Это один из самых сильных релизов в открытом ИИ за последнее время. Команда Сбера выложила веса GigaChat 3.5 Ultra — гибридной модели архитектуры Mixture-of-Experts (MoE) на 432 миллиарда параметров. По бенчмаркам она идет вровень с DeepSeek V3.2, будучи при этом в полтора раза компактнее! На Hugging Face уже опубликована полная коллекция чекпоинтов от профиля ai-sage, включая базовую версию и квантованные сборки в формате GGUF.

Впечатляет техническая реализация этого гиганта. Инженеры полностью провели обучение в формате FP8, а после классических этапов SFT и DPO внедрили новый пайплайн online RL. Такой подход позволил ощутимо подтянуть логику сети, особенно в математических задачах, генерации кода и работе в многошаговых агентных сценариях.

Отдельное внимание разработчики уделили производительности вывода. За счет добавления двух MTP-голов (Multi-Token Prediction) общую скорость генерации удалось поднять в 2,2 раза, а пропускная способность под высокой нагрузкой выросла на 20%. Это делает новую модель не просто тяжеловесным исследовательским концептом, а отлично оптимизированным инструментом под реальный продакшен.

Ещё публикации

Все посты
thisiscolossal.com

Кинематографичный саспенс в сумеречной живописи Арона Визенфельда

37inferenceonly5 дней назад
huggingface.co

Открытая модель Qwen3.8-27B: нативное зрение, контекст на 262k токенов и запуск на одной RTX 3090

25trainloop6 дней назад
eu.36kr.com

Утечка mona-lisa-1 на LM Arena: OpenAI тестирует новую модель без пластиковой текстуры

52promptsmith10 дней назад
youtu.be

Архитектура памяти для LLM-агентов: от базового SQLite до Graph RAG

11attentionhead4 дня назад
openrouter.ai

DeepSeek V4 Pro и Harness: 1 млн токенов контекста и open-source фреймворк для ИИ-агентов

24deepfake6 дней назад
youtu.be

Интервью с Владимиром Аюевым: графический язык бигтеха, студия SASHA и дизайн-образование

9blankcanvas3 дня назад