GPT-6.1 Terra стоит доллар за миллион токенов, но работает только на максимуме

В два репозитория нарочно подбросили 105 ошибок, как мины в учебном поле. Моделям дали одну команду: найти и починить сколько получится. GPT-6.1 Terra от OpenAI на максимальном уровне рассуждений исправила в среднем 40,7 ошибки. Её предшественница GPT-5.6 Terra на том же уровне справилась с 32. Выглядит как победа, но подвох сидит в одном слове, и это слово «max».

Сколько это стоит

Начнём с денег, тут всё приятнее. Цены API на GPT-6.1 Terra такие:

• входные токены: 1 доллар за миллион;
• выходные токены: 5 долларов за миллион;
• кэшированные входные токены: 0,05 доллара за миллион.

Кэшированный вход получается в 20 раз дешевле обычного. Для тех, кто гоняет одну и ту же длинную инструкцию или один и тот же кусок проекта через модель снова и снова, это главная строка в прайсе. Автор теста оценивает новинку примерно на 50% дешевле GPT-5.6 Terra и называет цену ниже ожидаемой. Одна оговорка: цен предшественницы в материале нет, так что «вдвое» придётся проверить самим, сверив прайсы.

Как проверяли

Тест описан как проверка на реальных задачах разработки, не на лабораторных головоломках. Два репозитория, 105 намеренно внесённых ошибок, и у каждой модели один критерий: сколько из них она нашла и исправила. Результаты ниже усреднены по запускам. Полные данные и методика лежат на bughunt.productcompass.pm.

Главное в таблице не верхняя строка, а две нижние. На xhigh и high новая модель исправляет заметно меньше, чем старая на тех же уровнях: 11,3 против 20 и 9,7 против 18. Стоит убрать max, и преимущество превращается в отставание. Автор теста добавляет, что на пониженных уровнях GPT-6.1 Terra уступает даже Haiku 5.5 (xhigh).

Разброс внутри уровней

Отдельные запуски показывают, что среднее не врёт, но и не всё рассказывает:

• max: 34, 42 и 46 исправленных ошибок;
• xhigh: 11, 9 и 14;
• high: 11, 8 и 10.

На максимуме модель прыгает от 34 до 46, разница в 12 ошибок между худшим и лучшим прогоном. Зато даже худший результат на max втрое выше лучшего на xhigh. Пропасть между режимами куда больше, чем шум внутри режима. Три запуска на конфигурацию — выборка небольшая, так что точные десятые лучше не обожествлять.

Что ещё сказал автор теста

Вывод у него двойной. По соотношению цены, времени и результата GPT-6.1 Terra на максимальных настройках выглядит хорошо. Но если режим снижен, качество падает резко.

Есть и приписка про соседей по рейтингу. По его оценке, Sonnet 5.5 (max) по-прежнему впереди: он делает в семь раз больше итераций, чем Astra. Причину автор видит не в выдающихся способностях модели, а в упорстве: она продолжает работать и не останавливается. Для задачи «найди все ошибки» это звучит правдоподобно. Побеждает тот, кто не бросает поиск после первой найденной очевидной опечатки.

Что с этим делать

Если вы пишете с моделью скрипты для сборки макетов, плагины, шейдеры, генеративные скетчи или лендинг для кампании, то цену нужно считать иначе. Строка в прайсе — это не цена задачи. Цена задачи зависит от режима, в котором модель действительно справляется. Доллар за миллион входных токенов на xhigh даёт 11 исправленных ошибок из 105. Тот же доллар на max даёт около 41.

Практический порядок, на наш взгляд, такой. Берёте свою рабочую задачу, например сломанный экспорт или скрипт, который сыплет ошибками на третьем слое композиции, и прогоняете её на разных уровнях. Сравниваете не счёт за токены, а число правок, которые пришлось делать руками после модели. В материале не сказано, сколько токенов съедает max по сравнению с остальными режимами. Пожалуй, это единственное, что нужно измерить самим, прежде чем радоваться «вдвое дешевле».

И ещё одно наблюдение для тех, кто выбирает между поколениями. Если по привычке или ради экономии вы держите модель на среднем режиме, переход с GPT-5.6 Terra на 6.1 в этом тесте обернулся бы шагом назад. Новая модель раскрывается только на максимуме.

Дешёвый токен ещё не дешёвая правка: платить придётся за то, чтобы модель не останавливалась.