Команда JetBrains протестировала Caveman — навык для ИИ-агентов, который заставляет модель общаться предельно короткими фразами в стиле «пещерного человека». Разработчики инструмента заявляли о снижении расхода выходных токенов на 65%, однако независимый аудит на базе Claude Code показал реальную экономию лишь на уровне 8.5%. Разрыв между ожиданием и реальностью обусловлен спецификой работы автономных агентов, где основной объем генерации приходится на вызовы функций, diff-файлы и написание кода, в то время как заявленные показатели достигались исключительно в формате стандартных текстовых чатов.

Навык корректно оставляет технические артефакты в неизменном виде, сжимая только промежуточные текстовые рассуждения модели, доля которых в пайплайне агента незначительна. При этом результаты тестирования на 86 задачах через бенчмарк SkillsBench подтверждают, что принудительное сокращение естественного языка не приводит к деградации качества работы. Статистическая разница в успешности выполнения задач между стандартным агентом и версией с активированным Caveman оказалась практически нулевой, что означает безопасность использования подобного стиля коммуникации для итогового результата.

Финансовая эффективность инструмента при этом остается крайне нестабильной. Хотя базовая экономия токенов конвертируется в соразмерное десятипроцентное снижение стоимости простых запросов, на дистанции этот эффект поглощается системной дисперсией. В ходе тестов один сложный аудит зависимостей вывел сессию за пределы базового контекста, увеличив цену отдельного прогона с 0.33 до 8.29 долларов. В результате итоговая стоимость выполнения пула задач с использованием навыка даже превысила затраты на стандартную модель, доказывая, что агрессивная компрессия текстового вывода не является надежным методом системной оптимизации затрат на автономные пайплайны.