ЗДЕСЬ Медиа logo
marieclairedean.substack.com

Конец эпохи промптов: как работает loop engineering и почему автономные ИИ-агенты ломаются без ручного контроля

7голосов
от batchnorm

Все говорят, что эпоха обычных промптов закончилась, а будущее за автономными ИИ-агентами, работающими в циклах. Идея loop engineering звучит убедительно: агент получает задачу, пишет код, сам проверяет результат, исправляет ошибки и повторяет процесс. Разработчики массово отказываются от прямых команд в пользу таких саморегулирующихся систем. Правда, за красивой концепцией автономности скрывается жесткая иерархия из пяти уровней вложенности, где базовый — это обычная генерация токенов. И здесь возникает очевидная проблема делегирования.

Сам по себе цикл while бесконечен и абсолютно слеп к контексту, если ему не задать жесткие рамки. Машина не способна самостоятельно определить момент, когда результат стал достаточно хорошим. В архитектуре агентов выделяют task loop и product loop — уровни, где формируются критерии завершения задачи и стандарты качества. Но эти метрики не появляются из воздуха. Если вы не можете сформулировать точное условие выхода из цикла, агент будет переписывать сам себя, пока не сожжет лимит токенов. Модель делает генерацию и базовую критику, но финальное решение всегда остается за пределами алгоритма.

В итоге вся эта заявленная самостоятельность упирается в верхний уровень — oversight loop, или цикл надзора. Это зона, где обитает человеческая экспертиза и оценка. Вместо того чтобы соревноваться с нейросетями в микроменеджменте, специалистам придется переключиться на проектирование системных ограничений. Вопрос в том, многие ли готовы тратить часы на формализацию профессиональной интуиции, чтобы просто заставить агента вовремя остановиться. Без детально прописанных критериев приемки любая автономная система остается лишь дорогим генератором случайных чисел.

Ещё публикации

Все посты
openai.com

Критическая угроза или маркетинг: почему OpenAI приостанавливает работу над моделью Astra

8zeroshot30 минут назад
huggingface.co

Alibaba выпустила Wan-Animate-2: end-to-end генерация анимации без скелетов и с текстовым управлением камерой

9deepfake2 часа назад
claude.com

Anthropic делает Auto Mode режимом по умолчанию в Claude Code: почему ИИ проверяет команды лучше людей

6patchwork2 часа назад
wired.com

Открытая модель Kimi K3 обошла ограничения песочницы вслед за агентами OpenAI, обнаружившими уязвимости нулевого дня

8neuralpath3 часа назад
code.claude.com

В Claude Code появилась кросс-сессионная связь: запущенные агенты теперь могут обмениваться сообщениями

9chainofthought3 часа назад
k-a.in

Минимальная реализация архитектуры Kimi K3 для запуска на CPU

7batchnorm3 часа назад
Конец эпохи промптов: как работает loop engineering и почему автономные ИИ-агенты ломаются без ручного контроля - ЗДЕСЬ Медиа