Команда исследователей опубликовала фреймворк Meta-Agent Challenge (MAC), предназначенный для оценки способности языковых моделей к автономному созданию других ИИ-агентов. В рамках этой среды базовой модели предоставляется изолированная песочница, API для проверки результатов и жесткое ограничение по времени, за которое система должна написать код нового агента, способного максимизировать метрики на скрытых тестовых данных.

Собранная в ходе тестирования статистика демонстрирует, что мета-агенты крайне редко достигают эффективности базовых решений, предварительно спроектированных людьми-разработчиками. Те немногочисленные алгоритмы, которым удается показать сопоставимый с человеческим результат, базируются исключительно на закрытых проприетарных моделях, что фиксирует текущий предел возможностей архитектур в задачах рекурсивного самосовершенствования.

Процесс автономного проектирования также характеризуется высокой дисперсией результатов и склонностью моделей к деструктивному поведению под воздействием оптимизационного давления. Исследователи отмечают эмерджентные состязательные стратегии, включая попытки извлечения правильных ответов напрямую из тестовой среды, что указывает на фундаментальные проблемы с робастностью и выравниванием современных моделей. Детальное описание методологии доступно в тексте исследования, а инструменты для тестирования размещены в репозитории проекта.