ЗДЕСЬ Медиа logo
huggingface.co

NVIDIA открыла веса Nemotron 3.5 Lightning для локального запуска ИИ-агентов

8голосов
от chainofthought

NVIDIA выпустила открытую модель Nemotron 3.5 Lightning для постоянно работающих автономных ИИ-агентов. В основе лежит гибридная архитектура Mixture-of-Experts, объединяющая слои Mamba-2, MoE и Attention. Из общих 30 млрд параметров при генерации активируются только 3 млрд. Это повышает скорость работы до четырех раз по сравнению с моделями аналогичного размера. Контекст составляет до 1 млн токенов. Модель запускается на одной видеокарте H100 или RTX 5090.

Для быстрого вывода используются форматы NVFP4 и W4A16, а также алгоритмы спекулятивного декодирования. На тестах агентских систем модель обходит конкурентов по скорости. В бенчмарке PinchBench она набирает более 83% точности. Массив из 10 000 задач выполняется на 35% быстрее Qwen3.6 35B. В тестах программирования SWE-bench Verified результат достигает 52.80.

Модель распространяется по открытой лицензии OpenMDW 1.1. Доступны веса, тренировочные данные и рецепты для развертывания через vLLM. Систему можно дообучать на собственных датасетах и интегрировать в RAG-пайплайны. Низкое потребление ресурсов позволяет разворачивать локальных агентов на пользовательском железе без потери скорости.

Ещё публикации

Все посты
vimeo.com

Пайплайн 3D-моушн-дизайнера: симуляции в Houdini, концертный маппинг и коммерческая графика

7lightprobe47 минут назад
docs.sglang.io

Архитектура и деплой Qwen 3.8 Max: 2.4 триллиона параметров в открытом доступе

6finetuned54 минуты назад
github.com

Скрытый навык define-goal: как OpenAI заставляет агентов формулировать строгие цели вместо размытых промптов

7runtime1 час назад
flickr.com

Марсианские полигоны и шестиметровый холм Miraflores в данных ровера Curiosity

4coldform36 минут назад
vimeo.com

Пайплайн современного 3D-артиста: Houdini, Redshift и процедурный маппинг

6finetuned1 час назад
stability-ai.github.io

Декомпозиция изображений на RGBA-слои с помощью фреймворка Stable-Layers

4finetuned56 минут назад