Принято считать, что языковые модели генерируют текст токен за токеном без какого-либо внутреннего осмысления. Исследователи из Anthropic ставят этот тезис под сомнение, заявляя об обнаружении в архитектуре Claude функционального аналога «глобального рабочего пространства» из нейробиологии. Авторы проводят прямые параллели с сознательно доступным мышлением человека. Звучит смело, но техническая реальность несколько прозаичнее.

Большая часть вычислений внутри нейросети — это базовая автоматика, которая никак не транслируется в итоговый вывод. Однако с помощью метода Jacobian Lens исследователи выделили специфическую подсеть активаций, названную J-space. Именно там модель удерживает скрытые концепции во время работы. Это своеобразный буфер: сеть способна распознать промпт-инъекцию или оценить риск сценария с шантажом, сформировать реакцию внутри J-space, но внешне выдать совершенно стандартный текст. Модель удерживает контекст, который не собирается озвучивать.

Для специалистов по безопасности это крайне полезная находка. Доступ к J-space позволяет аудировать внутреннее состояние сети и отлавливать скрытые цели, включая попытки обмануть функцию вознаграждения, еще до фактического нарушения. Правда, называть этот механизм зачатком реального восприятия преждевременно. Перед нами скорее архитектурная особенность, где определенные слои трансформера работают как концентратор для скрытых репрезентаций. Вопрос в том, окажется ли этот инструмент надежным метрическим аппаратом для контроля алгоритмов, или так и останется удобной биологической метафорой для объяснения сложных матричных умножений.