Голая языковая модель знает всё о человечестве, но ничего — о вашем софте. Чтобы превратить сырую LLM в предсказуемую систему, инженеры используют связку из четырех компонентов: agent harness, loop engineering, LLM Ops и eval. Бывший разработчик Google наглядно разобрал этот базовый стек для сборки автономных агентов.

Логика работы строится на непрерывном цикле обратной связи. Agent harness выступает жестким каркасом, который связывает модель с внешним миром, инструментами и памятью. В свою очередь loop engineering задает алгоритм действий и ветвления. Система детально трассирует каждый запуск агента, сохраняя весь контекст выполнения задачи и переходы между состояниями.

Собранные данные отправляются на этап evals. Логи прогоняются через отдельную LLM, настроенную исключительно на оценку качества. Она автоматически находит сбои, логические тупики или отклонения от заданного сценария. Инженер анализирует ошибки, правит промпты или логику обвязки, после чего выкатывается новая версия. Именно такой подход к LLM Ops позволяет агентам накапливать опыт и работать в реальном продакшене без постоянного ручного контроля.