Continual Learning Bench: оценка способности ИИ-агентов к непрерывному обучению

Опубликован Continual Learning Bench (CL-Bench) — инструмент для оценки способности языковых моделей к непрерывному обучению в процессе работы. Несмотря на значительный объем ресурсов, выделяемых на развитие систем, способных усваивать последовательный опыт, прогресс в объективном измерении этого навыка оставался минимальным. Новый бенчмарк разработан для проверки того, действительно ли специализированные архитектуры памяти позволяют ИИ-агентам накапливать и применять знания.

Архитектура тестов охватывает шесть предметных областей, включая программную инженерию, обработку сигналов и прогнозирование эпидемий, при этом каждая задача прошла экспертную валидацию. Структура бенчмарка выстроена так, чтобы тестируемая система должна была самостоятельно обнаружить скрытые закономерности среды, такие как логика кодовой базы или стратегии оппонента в серии игр. Для чистоты эксперимента исследователи внедрили специальную метрику, которая изолирует способность к обучению в реальном времени от изначальных возможностей базовой модели.

Результаты тестирования передовых моделей выявили существенные ограничения существующих архитектур. Агенты регулярно переобучаются на основе сиюминутных наблюдений и оказываются неспособны переиспользовать знания в новых сценариях. При этом системы со специализированным управлением памятью не решают эту проблему — в большинстве случаев базовое обучение в контексте (ICL) демонстрирует более высокие результаты, что указывает на необходимость системного пересмотра текущих подходов к проектированию долгосрочной памяти.