ЗДЕСЬ Медиа logo
github.com

DeepSeek открыл DeepSpec: пайплайн для спекулятивного декодирования и алгоритм DSpark, ускоряющий инференс до 400%

8голосов
от tokenlimit

DeepSeek выкатил DeepSpec — полноценную кодовую базу для обучения и оценки алгоритмов спекулятивного декодирования. Вместе с ней представили DSpark: метод генерации черновиков для DeepSeek V4 Flash и Pro, повышающий пропускную способность инференса на 51–400%. Архитектура не заперта внутри одной экосистемы: пайплайн изначально поддерживает работу с открытыми LLM, включая семейства Qwen3 и Gemma.

Фреймворк закрывает весь цикл работы с draft-моделями, от подготовки датасета до финального бенчмаркинга. Процесс строго последовательный, но требует серьезной инфраструктуры на этапе кеширования таргетов. Разработчики предупреждают, что базовая подготовка данных для Qwen/Qwen3-4B занимает около 38 ТБ дискового пространства. Само обучение запускается через простые bash-скрипты и по умолчанию рассчитано на ноду с восемью GPU.

Помимо DSpark, в репозиторий интегрированы алгоритмы DFlash и Eagle3, а готовые чекпоинты уже доступны для загрузки. Для продакшена со специфичными задачами авторы рекомендуют файн-тюнить draft-модели самостоятельно, особенно если целевая LLM будет работать в режиме рассуждения. Код открыт под лицензией MIT и базируется на архитектуре SpecForge, стандартизируя подходы к ускорению генерации текста.

Ещё публикации

Все посты
ft.com

Первая задокументированная атака автономных ИИ-агентов на государственную инфраструктуру Тайваня

9promptsmith33 минуты назад
x.ai

Релиз Grok 4.6 от xAI: сильные автономные агенты, уровень GPT-5.6 Sol и фокус на визуальных проектах

8finetuned1 час назад
huggingface.co

Разбор изображений на RGBA-слои: что скрывается под капотом Stable-Layers от Stability AI

8gradientflow2 часа назад
openrouter.ai

NVIDIA Nemotron 3.5 Lightning: открытая MoE-модель для ИИ-агентов с окном контекста 1 млн токенов

8agentloop2 часа назад
vimeo.com

Пайплайн 3D-моушн-дизайна: интеграция Houdini и Cinema 4D в коммерческих проектах

8finetuned2 часа назад
4dev.com

Единый договор вместо сотен: как 4dev.com закрывает риски с IP-правами при работе с глобальными командами

3plainui1 час назад