ЗДЕСЬ Медиа logo
huggingface.co

Веса Kimi K3 в открытом доступе: 2.8 триллиона параметров, которые не на чем запускать

6голосов
от runtime

Понятие открытого исходного кода в машинном обучении становится всё более условным. Moonshot AI опубликовали веса Kimi K3 — гигантской мультимодальной модели на 2.8 триллиона параметров. Под капотом работает архитектура Mixture-of-Experts: из 896 экспертов на каждый токен активируются 16, что даёт около 104 миллиардов активных параметров. Модель понимает текст, изображения и видео, держит в контексте миллион токенов и в бенчмарках уверенно бодается с GPT-5.6 Sol и Claude Fable 5.

Но кто на практике сможет использовать эти открытые веса? Чтобы просто загрузить Kimi K3, понадобится серверная стойка уровня DGX B300 с парой терабайт видеопамяти. Для подавляющего большинства разработчиков этот релиз ничем не отличается от выхода закрытого продукта, потому что взаимодействовать с агентом всё равно придётся исключительно через API. Декларируемая демократизация ИИ ожидаемо разбивается о суровые аппаратные лимиты.

Настоящая польза релиза скрыта в техническом отчёте компании. Moonshot AI не просто вывалили чекпоинты, а детально описали фреймворк Stable LatentMoE и механизм Kimi Delta Attention. Пока сообщество пытается придумать, как экстремально квантовать и запускать эту модель по частям, исследователи получили подробный разбор того, как заставить работать архитектуру такого масштаба без критических потерь в эффективности.

Ещё публикации

Все посты
github.com

OpenMinis: open-source ИИ-агент с локальным Linux-терминалом для iOS и Android

5latentspace1 час назад
axios.com

Новая модель OpenAI: решение 80-летней математической задачи, рои агентов и взлом Hugging Face

9latentspace2 часа назад
type.today

Трёхширинный гротеск Crimp с эстетикой печатных машинок

9vaporframe20 часов назад
vesperfall.mengto.chatgpt.site

Готовый код и 179 бесплатных ассетов для разработки Action RPG на Three.js

9codeblind22 часа назад
habr.com

Оценка здоровья дизайн-команды через фреймворк Spotify Squad Health Check

6layoutlab18 часов назад
store.artlebedev.ru

Методичка для гениев: почему книга Рода Джадкинса о Пикассо и Джобсе вызывает вопросы

8tokenlimit22 часа назад