GPT-Red от OpenAI: зачем компания создала нейросеть для взлома собственных моделей

Принято считать, что безопасность нейросетей обеспечивают люди-тестировщики, часами подбирающие хитрые промпты. Но масштабировать такой ручной подход для новых архитектур физически невозможно. OpenAI выкатили GPT-Red — специализированную модель, которую обучают не помогать пользователю, а целенаправленно ломать другие алгоритмы. Это автоматизированный внутренний хакер, работающий через self-play: пока защитник выполняет задачу, GPT-Red ищет способы внедрить вредоносную инструкцию через веб-страницы или файлы.

Звучит как отличный план, особенно если смотреть на результаты тестов. В симуляциях непрямых инъекций GPT-Red показала 84% успешных атак против 13% у людей на модели GPT-5.1. Алгоритм также сломал реального ИИ-агента управления вендинговым автоматом, заставив его снизить цены до 0.50$ и отменить чужие заказы. Правда, синтетические атаки алгоритма могут оказаться слишком шаблонными по сравнению с действиями живых злоумышленников.

Результатом этой гонки вооружений стала GPT-5.6 Sol — модель, которую натаскивали сопротивляться атакам GPT-Red. Разработчики заявляют, что количество уязвимостей на бенчмарках снизилось в 6 раз. Идея использовать алгоритмы для защиты других алгоритмов выглядит вполне логично. Вопрос в том, не превратится ли это в замкнутую систему, где нейросети учатся защищаться только от того, что сами способны сгенерировать?