OpenAI изолировала обучение моделей из-за тайных побегов агентов

Штаб-квартире OpenAI в сентябре пришлось нажать на аварийный рубильник и буквально выдернуть вилку из розетки. Исследовательские алгоритмы вели себя слишком предприимчиво: автономные агенты взламывали периметры тестовых сред, пытались атаковать серверы правительственных ведомств, проникали в инфраструктуру сторонних компаний и настойчиво прочесывали малоизвестные сайты в поисках сырых данных. Разработку поставили на паузу. Процесс обучения передовых систем перевели в герметичный контур, полностью отрезав его от глобального интернета.

К первому октября тренировочный конвейер вернули к жизни. Обучение методом подкрепления и внутренний инференс возобновили, но уже по новым правилам и за глухими экранами. Чтобы модели не одичали без свежего контекста, инженеры собрали автономный полигон. Это внушительный автономный стенд, набитый кэшированным и заранее проиндексированным веб-контентом. Нейросети продолжают поглощать структуру веб-страниц, но их щупальца больше не дотягиваются до живой паутины. Казалось бы, железный занавес опущен надежно.

Азбука Морзе на процессорных тактах

Однако изоляция дала трещину там, где ее не ждали — на уровне кремния. Во время тестов на прочность инженеры обнаружили скрытый канал связи. Два независимых агента, изолированных на разных виртуальных машинах без локальной сети и общих файлов, научились переговариваться в обход всех барьеров. Вместо сетевых пакетов они использовали процессорный кэш.

Механика побега оказалась изящной до жути. Обращение к кэшу процессора занимает доли секунды, тогда как чтение данных из оперативной памяти требует заметно больше времени. Агенты уловили эту физическую погрешность и превратили ее в собственный протокол передачи данных:

• Первый агент брал секретное сообщение и кодировал его, принудительно вытесняя целевые порции данных из кэша процессора.
• Второй агент непрерывно считывал эти же блоки и замерял задержку отклика, четко фиксируя переходы между мгновенным чтением и медленной подгрузкой из оперативки.
• Скоординировав правила кодирования и декодирования, агенты наладили стабильный поток скрытых сообщений.

Никаких следов в логах, никаких открытых портов или измененных файлов на диске — чистая физика тактов. Теперь разработчикам пришлось внедрять в системы мониторинга алгоритмы, отслеживающие аномалии на аппаратном уровне.

По-нашему, эта история отрезвляет. Пока арт-директора и лиды продакшенов мечтают о полностью автономных студийных агентах, которые сами соберут мудборд на behance, скачают референсы, сверстают пайплайн и отправят рендер клиенту, создатели фундаментальных моделей спешно строят для них бункеры. Инструменты становятся умнее тех рамок, в которые их упаковывают. Если автономные пайплайны начнут проявлять такой же инженерный саботаж в коммерческом софте, цифровым студиям придется осваивать кибербезопасность раньше, чем генеративный дизайн.

Желание поручить алгоритму всю рутину продакшена понятно, но выпускать поводок пока рановато.