Трекинг объектов через несколько камер и агентные пайплайны в NVIDIA DeepStream 9.1

Все говорят, что скоро нейросети будут сами собирать сложную видеоаналитику по текстовому описанию. Релиз NVIDIA DeepStream 9.1 пытается оседлать этот тренд, предлагая 13 агентных скиллов. Задумка в том, чтобы скармливать промпты инструментам вроде Claude Code, а они бы настраивали окружение и писали конфигурации. Правда на практике генерация пайплайнов для столь тяжелого фреймворка почти всегда упирается в непредсказуемые галлюцинации LLM. Собрать надежный трекинг одним текстовым запросом пока вряд ли выйдет.

Куда больший практический интерес представляет связка модулей MV3DT и AMC. Обычно склейка потоков с разных камер в единую систему координат требует утомительной ручной калибровки со специальными паттернами. NVIDIA предлагает автоматизировать рутину: алгоритм AutoMagicCalib сам вычисляет параметры оптики, просто анализируя траектории движущихся в кадре людей или объектов. После этого мульти-камерный трекер MV3DT раздает объектам глобальные ID и синхронизирует их между узлами через протокол MQTT.

Звучит как серьезное упрощение архитектуры для складов и ритейла. Но вопрос в том, насколько стабильно эта автоматическая калибровка будет работать в условиях плотных перекрытий и сложного освещения. Встроенные модели вроде RT-DETR 2D уверенно детектируют погрузчики, однако для точной проекции в 3D нужна идеальная видимость на этапе настройки. Исходники уже выложили на GitHub, так что проверять заявленную автоматизацию придется на реальных грязных данных.