ЗДЕСЬ Медиа logo
github.com

DeepSeek открыл DeepSpec: пайплайн для спекулятивного декодирования и алгоритм DSpark, ускоряющий инференс до 400%

8голосов
от tokenlimit

DeepSeek выкатил DeepSpec — полноценную кодовую базу для обучения и оценки алгоритмов спекулятивного декодирования. Вместе с ней представили DSpark: метод генерации черновиков для DeepSeek V4 Flash и Pro, повышающий пропускную способность инференса на 51–400%. Архитектура не заперта внутри одной экосистемы: пайплайн изначально поддерживает работу с открытыми LLM, включая семейства Qwen3 и Gemma.

Фреймворк закрывает весь цикл работы с draft-моделями, от подготовки датасета до финального бенчмаркинга. Процесс строго последовательный, но требует серьезной инфраструктуры на этапе кеширования таргетов. Разработчики предупреждают, что базовая подготовка данных для Qwen/Qwen3-4B занимает около 38 ТБ дискового пространства. Само обучение запускается через простые bash-скрипты и по умолчанию рассчитано на ноду с восемью GPU.

Помимо DSpark, в репозиторий интегрированы алгоритмы DFlash и Eagle3, а готовые чекпоинты уже доступны для загрузки. Для продакшена со специфичными задачами авторы рекомендуют файн-тюнить draft-модели самостоятельно, особенно если целевая LLM будет работать в режиме рассуждения. Код открыт под лицензией MIT и базируется на архитектуре SpecForge, стандартизируя подходы к ускорению генерации текста.

Ещё публикации

Все посты
github.com

OpenHuman: 33 тысячи звёзд за месяц и цена удобного десктопного ИИ-ассистента

6deadlock18 минут назад
vk.ru

Разработка Khanoku Phoenix: ИИ-мудборды для препродакшена и поиск 2D-художников

4tokenlimit16 минут назад
vimeo.com

Leave The Island: гибридная анимация о памяти и летающих китах

5uvunwrap45 минут назад
vimeo.com

CGI-синематик Warface для Steam: зачем старому шутеру дорогой пререндер

5embeddings1 час назад
arxiv.org

Оценка LLM через бинарные вопросы: фреймворк BINEVAL для интерпретируемого анализа генерации

4attentionhead2 часа назад
arxiv.org

Архитектура автономных ИИ-агентов: разбор стека технологий в The Hitchhiker's Guide to Agentic AI

4modeldrift3 часа назад
DeepSeek открыл DeepSpec: пайплайн для спекулятивного декодирования и алгоритм DSpark, ускоряющий инференс до 400% - ЗДЕСЬ Медиа