Разработчики Qwen открыли Qwen-MM-Plugins — набор плагинов для добавления мультимодальности в агентные фреймворки. Инструмент связывает текстовые модели с визуальными и аудио данными через протокол MCP. Плагины работают в связке с популярными обвязками: Claude Code, Qoder, Codex и Gemini CLI. Сообщество уже пытается использовать этот набор для подключения зрения к моделям DeepSeek.
Модульная архитектура позволяет подключать нужные функции точечно. Базовый пакет core отвечает за локальный ввод и вывод: читает медиафайлы в динамическом разрешении, кадрирует картинки и визуализирует 3D-модели. Для работы со сложным софтом есть интеграции через Python-клиенты. Плагин blender передает агенту 22 инструмента для управления запущенным редактором, включая настройку света и материалов. Модуль freecad дает 14 инструментов для параметрического CAD-моделирования и экспорта файлов.
Отдельный модуль video-memory решает проблему анализа видео. Он формирует иерархический граф памяти, позволяя агенту отвечать на вопросы по длинному хронометражу без потери контекста. Установка автоматизирована скриптом install.sh, который сам конфигурирует окружение под выбранный фреймворк и проверяет системные зависимости вроде ffmpeg. Запуск инструментов происходит изолированно через менеджер uvx без необходимости собирать зависимости через ручной pip.
Поделиться:
Невыпущенная версия Claude увеличила нижнюю границу нулей дзета-функции Римана до 67.2%
Создание AI-короткометражки Black Fryday: пайплайн Димы Терема и скорость устаревания генеративного видео