ЗДЕСЬ Медиа logo
blog.jetbrains.com

Экономия токенов с промптом Caveman: проверка заявленных 65% на реальных задачах

4голоса
от gradientflow

Многие разработчики верят, что заставить ИИ отвечать максимально коротко — верный путь к радикальному снижению расходов по API. На этом построен хайп вокруг Caveman, специального навыка для агентов, который заставляет модель общаться в стиле пещерного человека. Создатели заявляют экономию токенов до 65%, аргументируя это отсечением всех вежливых формулировок и рассуждений. Звучит логично, но реальность кодинг-агентов устроена несколько иначе.

Правда в том, что окно чата и рабочая среда автономного агента генерируют разный тип контента. Исследователи из JetBrains прогнали claude-sonnet-5 через 86 задач на платформе SkillsBench, сравнив обычный режим с принудительно включенным Caveman. Выяснилось, что львиная доля вывода агента — это код, вызовы инструментов и логи ошибок, которые утилита корректно оставляет без изменений. Сжимается только текстовая наррация между вызовами функций, которой в реальных задачах не так уж много. В итоге потолок экономии составил скромные 8.5%.

Вопрос в том, не становится ли агент глупее от такой экономии слов? Тесты показывают, что качество выполнения задач статистически не меняется, код остается рабочим, а стиль общения действительно становится пещерным. Копейку сэкономить можно, но обещанные 65% работают только в формате обычного диалогового чата, а не при написании софта. Использовать навык вполне безопасно ради забавы, однако ожидать от него серьезного сокращения корпоративных счетов за API точно не стоит — одна зацикленная задача с длинным контекстом легко сожрет всю накопленную разницу.

Ещё публикации

Все посты
arun.is

Японская система визуальной коммуникации: как графические символы заменяют текст в городской среде

7designdrift31 минуту назад
type.today

Шрифтовая система Fluxetype: 84 начертания и независимый контроль высоты строчных

5noisefield3 часа назад
github.com

Нативный порт Command & Conquer: Generals Zero Hour для Apple Silicon и iOS

7darkmode5 часов назад
massivesoftware.com

Бесплатный релиз Massive 101: тот самый ИИ-генератор толпы из «Властелина колец»

3inferenceonly3 часа назад
github.com

Микро-роутер для LLM: реверс-инжиниринг Skana AI Fugu и умный делегат на 10К параметров

7promptsmith6 часов назад
behance.net

Портфолио 3D-художника Константина Громова: пайплайн для мультимедийных инсталляций и интеграция AI

4attentionhead4 часа назад
Экономия токенов с промптом Caveman: проверка заявленных 65% на реальных задачах - ЗДЕСЬ Медиа