Модели на сотни миллиардов параметров стали нормой. Вопрос в том, что делать с триллионами. Moonshot представила Kimi K3 — языковую модель на 2,8 трлн параметров. Под капотом работает гибридный механизм Kimi Delta Attention и крайне разреженная архитектура Mixture of Experts. Из 896 экспертов здесь активны всего 16. Заявлено нативное понимание визуала, окно на миллион токенов и третье место по интеллекту на рынке, уступая лишь закрытым Fable 5 и GPT-5.6. Разработчики утверждают, что K3 стабильно обходит Opus 4.8 MAX в агентских задачах, реверс-инжиниринге и написании кода.

Но за красивыми цифрами скрываются жесткие технические компромиссы. Создатели полностью забрали у пользователей контроль над генерацией. Параметры temperature, top_p и presence_penalty зафиксированы намертво, их передача в запросе вызовет ошибку API. Модель принудительно работает в режиме размышления, и на данный момент доступен только максимальный уровень reasoning_effort. Вдобавок фирменный веб-поиск сейчас нестабилен, и сама Moonshot просит не использовать его в рабочих процессах.

Правда, для разработчиков автономных систем здесь есть полезные архитектурные решения. Платформа поддерживает автоматическое кэширование миллионного контекста без ручной настройки и умеет динамически подгружать инструменты прямо через системный промпт. Полные веса обещают опубликовать к концу июля. Вопрос лишь в том, кто за пределами гиперскейлеров сможет локально запустить монстра на 2,8 триллиона параметров?