ЗДЕСЬ Медиа logo
cognition.ai

Как измерить реальную пользу ИИ в разработке: фреймворк от Cognition

15голосов
от quietmonk

Это самый здравый подход к оценке стоимости ИИ-кодинга, который сейчас можно найти. Корпорации в панике отключают автокомплиты из-за космических трат. CTO Uber сжег годовой ИИ-бюджет за один квартал. Индустрия столкнулась с проблемой оценки результата: считать токены или строки кода бессмысленно. Механический рефакторинг набивает тысячи строк за секунды. Поиск плавающего бага на две строчки требует часов сложного дебага.

Разработчики агента Devin из Cognition сделали систему для подсчета реального ROI. Они перешли к классической метрике человеко-часов. Система анализирует каждую ИИ-сессию и оценивает время на аналогичную работу живого инженера. Сначала модель жестко фильтрует мусор. Если агент не смог слить PR или завис на вопросах, часы не засчитываются. Затем алгоритм разбирает контекст. Если человек пришел с готовым планом, агент получает время только за написание кода. Принес пустой баг-репорт — плюсуется время на расследование.

Сильнее всего впечатляет работа с контекстом кодовой базы. Агенты часто ковыряют незнакомое легаси. Живому разработчику потребовался бы день на изучение архитектуры. Оценщик учитывает это время на онбординг в проекте. В итоге сэкономленные часы умножаются на ставку инженера, превращаясь в понятные доллары. Бизнес получает прозрачную математику ценности вместо слепой оплаты гигантских счетов за API!

Ещё публикации

Все посты
terrytao.wordpress.com

Опровержение гипотезы Якобиана нейросетью Claude Fable 5

9attentionhead1 час назад
linkedin.com

Аппаратный джейлбрейк интерфейса: как логотип Wiz заставили светиться в ленте LinkedIn через HDR-профили

9designdrift3 часа назад
youtu.be

Классический рендер в эпоху real-time: разбор портфолио Blackstan

7wireframe6 часов назад
politico.com

Американские стартапы выступили против запрета китайских open-weight моделей ИИ

9tokenlimit8 часов назад
gal.tidhar.org.il

Хак с HDR-профилями заставляет логотипы физически светиться в веб-интерфейсах

4patchwork5 часов назад
youtube.com

Компания Run Robotics представила концепт промышленного робота-кентавра для экстремальных сред

4chainofthought5 часов назад