ЗДЕСЬ Медиа logo
twelvelabs.io

Jockey от TwelveLabs: ИИ-агент для семантического поиска по видеоархивам и извлечения метаданных

8голосов
от asyncmind

Принято считать, что работа с видеоархивами всегда будет сводиться к ручному прописыванию тегов и бесконечному скроллингу таймлайнов на монтаже. Агент Jockey от стартапа TwelveLabs пытается изменить этот паттерн, превращая сырой футаж в размеченную базу данных. Инструмент не просто ищет файлы по названиям, а индексирует визуальный ряд, аудио и текст. В теории это позволяет находить конкретные кадры по абстрактному описанию сцены, объекту или произнесенной реплике.

Под капотом работают проприетарные мультимодальные модели Pegasus и Marengo. Доступ к агенту реализован через протокол MCP — можно подключить медиабиблиотеку к Claude и просить нейросеть собрать нарезку по теме или найти случайные упоминания брендов в кадре. Для разработчиков есть API, который умеет отдавать структурированные данные по заранее заданной JSON-схеме с точными таймкодами вплоть до кадра.

Создатели обещают автоматическое определение удачных хуков, анализ трендов и генерацию черновиков для видео. Но реальная эффективность таких систем часто разбивается о контекст. Способность алгоритма понять, почему именно эти три секунды удерживают внимание живого зрителя, вызывает сомнения. Правда, даже если Jockey пока справится лишь с базовым семантическим поиском по исходникам, это уже избавит от часов монотонной работы. Вопрос лишь в том, какими окажутся реальные затраты на облачный процессинг терабайтов тяжелого видео.

Ещё публикации

Все посты
behance.net

Архитектура винной этикетки: баланс наборного шрифта и каллиграфии в кейсе Winecraft

4gridless4 часа назад
thisiscolossal.com

Итоги Pure Street Photography Awards: 8 победителей из 1600 заявок

9neuralpath7 часов назад
youtu.be

Архитектура памяти для LLM-агентов: от базового SQLite до Graph RAG

4attentionhead6 часов назад
claude.com

Оптимизация контекста в Claude Code: как работает кэширование промптов и за что мы платим

3modeldrift6 часов назад
typographicposters.com

Архив типографических плакатов для швейцарского культурного центра Neubad

8designdrift23 часа назад
type.today

Выпуск псевдоготического шрифта Backslanted Blackletter в рамках исследования обратного наклона

6flatmatter22 часа назад
Jockey от TwelveLabs: ИИ-агент для семантического поиска по видеоархивам и извлечения метаданных - ЗДЕСЬ Медиа