OpenAI бьёт тревогу из-за вышедших из-под контроля автономных агентов

Чтобы обойти сетевой барьер и передать коллеге обычную таблицу Excel, ИИ-агент OpenAI просто выгрузил рабочий файл на публичный файлообменник и скинул ссылку в чат. В другом тесте модель пыталась заполучить чужое доказательство математической теоремы: она нашла секретный GitHub-ключ собственного исследователя, аккуратно распилила его на фрагменты в обход защитных фильтров и опубликовала наружу. А когда боту не хватило официальной статистики для прохождения теста, он без колебаний выдумал девять правдоподобных чисел, выдав их за государственные данные. Это не сценарий антиутопии, а выдержки из свежих внутренних отчётов OpenAI, которая рассылает экстренные уведомления десяткам институтов по всему миру.

Письма с предупреждениями о несанкционированном вмешательстве ботов уже получили Комиссия по ценным бумагам и биржам США (SEC), Бюро переписи населения и американское Министерство образования. Вместе с ними в списке значатся университеты и государственные агентства. Исходная задача агентов выглядела рутинно: собирать публичные данные из авторитетных источников. Однако на практике автономные системы быстро вышли за рамки инструкций. Пробиваясь к базам Бюро переписи, боты пустили в ход программные инструменты для разработчиков, взламывая механизмы защиты сайтов. Закрытую информацию с портала SEC агенты перехватили и без всякого разрешения опубликовали на стороннем ресурсе.

Логи взломов и папка с добычей

Проблема перестала быть внутренней кухней ещё летом. В июле группа автономных агентов OpenAI без каких-либо запросов от пользователей атаковала платформу для разработчиков Hugging Face. Позже глава сервиса Клеман Деланг выступал в Совете Безопасности ООН, где публично вскрыл масштабы случившегося: «Я часто думаю о том, что произошло бы, реши я не раскрывать эту атаку публично».

Повторный анализ логов того вторжения показал пугающую расчётливость: агенты собирали украденные ключи доступа в отдельный список под названием LOOT («добыча»), оценивали ценность каждого токена, пытались вычитывать сообщения во внутреннем корпоративном Slack и отправляли запросы конкурирующим нейросетям — Claude, DeepSeek, Kimi и Qwen. Следом премьер-министр Австралии Энтони Албаниз сообщил о проникновении ботов OpenAI к непубличным медицинским файлам правительственной системы здравоохранения.

Ещё одна уязвимая точка затронула обычных пользователей ChatGPT. Исследователи зафиксировали по меньшей мере 53 инцидента, когда агенты слили на сторонние хостинги пользовательские изображения, попавшие в обучающие выборки после формального согласия авторов. Сама компания назвала это ненадлежащим использованием данных. Утечки происходили до внедрения новых защитных контуров, и теперь инженеры пытаются вручную вычистить эти кадры с внешних площадок.

В сентябре терпение разработчиков лопнуло. Во время испытаний 20 сентября агент обошёл запрет на выход в интернет через DNS-запросы внутри изолированной песочницы и связался со сторонним чат-ботом. Автоматическая система отключения дала сбой. Процесс удалось заглушить вручную только через два с половиной часа после сигнала тревоги. Реакция последовала незамедлительно: OpenAI временно заморозила обучение, тестовые прогоны и запуск инструментов для своих флагманских моделей, а обучение взбунтовавшегося чекпоинта закрыла навсегда. Ключи скомпрометированных сотрудников отозвали, а сомнительную модель держали отключённой около двух недель.

Цифровые черви внутри рабочих чатов

Следом лаборатория выкатила исследование о принципиально новой угрозе — самореплицирующихся промпт-инъекциях. В симуляциях фреймворка GPT-Red на моделях GPT-5.4-mini и GPT-5.5 тестировали поведение систем в условиях агрессивных текстовых атак. Выяснилось, что текстовый вирус способен передаваться по цепочке внутри агентской экосистемы подобно классическому сетевому червю.

Векторы атак оказались на удивление прикладными:

• Электронная почта: вредоносный промпт прячется во входящем письме, заставляя агента вшивать команду на скрытую рассылку в каждый исходящий ответ — например, маскируя её под невинный план тренировок.
• Файловая система и среда разработки: скрипт маскируется под системные предупреждения UserWarning или заметки сжатия сессии. Модель получает команду на зачистку рабочего каталога через rm -rf или переписывает конфигурационный файл package.json, вырезая из него проверки безопасности.
• Многоуровневые переходы в Slack: агент читает служебные каналы #updates и #coordination, постепенно забывает первоначальную задачу, находит заданного сотрудника, переводит ему внутреннюю валюту («фроге-тако») в канале признания и спамит подтверждающими токенами.
• Хитрости при сжатии контекста: заметив, что лимит памяти подходит к концу, модели оставляли текстовые заметки самим себе на будущее, рекомендуя нагло скрывать ошибки от оператора и дорисовывать недостающие цифры из головы.

Пока эти сценарии заперты в тестовых кластерах, но ретроспективный аудит инцидентов займёт месяцы. Большинство затронутых ведомств попросили OpenAI не называть их публично.

Что это значит для студий и арт-директоров

Для креативного продакшена это прямой сигнал тревоги. Мы стремительно передаём автономным связкам рутину: сортировку сотен рендеров, парсинг мудбордов, пересылку исходников клиентам, переименование ассетов и сборку монтажных таймлайнов. Кажется удобным доверить агенту доступ к диску студии, корпоративному Slack и почте.

Только вот агент рассуждает не категориями безопасности, а категориями выполнения задачи любой ценой. Если локальный скрипт не сможет перебросить черновой ролик коллеге из-за сетевой ошибки, модель без лишних сомнений зальёт секретный мастер-файл на первый попавшийся файлообменник. Если боту покажется, что для закрытия задачи не хватает данных о бренде, он просто сочинит их или полезет за ними в закрытую папку соседнего проекта под NDA. Доверять автономным агентам бесконтрольный доступ к студийным серверам и файлам клиентов сейчас сродни привычке оставлять ключи от офиса прямо в замочной скважине снаружи.