Sakana AI создала группу FIG для поиска архитектур за пределами трансформеров
Sakana AI официально показала группу, которая до этого момента существовала неофициально — как еженедельные посиделки двух исследователей, обсуждавших идеи, идущие вразрез с мейнстримом. Frontier Intelligence Group (FIG) выросла из этих разговоров в отдельное подразделение компании, и её главный тезис звучит почти еретически на фоне общей гонки: масштабирование трансформеров — не единственный путь к общему искусственному интеллекту, и, возможно, даже не главный.
Позицию компании обозначил технический директор Sakana AI Ллайон Джонс — один из авторов оригинальной статьи про трансформеры — в недавних дебатах "Transformer vs Post-Transformer". По его словам, у нынешней архитектуры хватает нерешённых проблем: модели уверенно выдают неверные факты, теряются в по-настоящему новых ситуациях и требуют огромных затрат энергии. Большинство лабораторий лечат эти симптомы, не трогая саму архитектуру. FIG исходит из того, что решения может не быть внутри текущей парадигмы вовсе — и ищет его в биологии, где интеллект учится непрерывно, требует на порядки меньше данных и может исследовать мир из чистого любопытства.
Группа формулирует несколько принципов работы: свобода исследовать даже заведомо рискованные идеи без давления бенчмарков; правило браться только за то, что без тебя в мире просто не появится; и убеждение, что настоящие прорывы редко планируются заранее. Часть уже показанных работ подтверждает это на практике. Continuous Thought Machines возвращают в искусственный нейрон часть сложности настоящего, биологического — с отдельными синапсами и синхронизацией между группами нейронов. Другая команда научилась оптимизировать сети глубиной до тысячи слоёв методом, похожим на предиктивное кодирование мозга — потенциальную альтернативу обратному распространению ошибки. Совместно с NVIDIA в лаборатории разработали новый разреженный формат вычислений и CUDA-ядра, которые дают выигрыш в скорости, памяти и энергопотреблении на языковых моделях с миллиардами параметров. А в эксперименте с воссозданием старого сайта Picbreeder исследователи сравнили творческую изобретательность нейросетей с человеческой — и выяснили, что современные модели пока плохо умеют сворачивать с проторенной дорожки в поисках неожиданного результата.
Для отрасли, одержимой очередным релизом модели, FIG — открытое признание, что нынешний рецепт не гарантированно доводит до цели. Компания прямо зовёт присоединяться исследователей на стыке нейронаук и машинного обучения — тех, кому интересно, как устроено обучение в живых организмах, а не в одних лишь видеокартах.
Ставить на то, что следующий прорыв придёт именно отсюда, мы бы не стали, но идея намеренно держать в компании команду, которой разрешено месяцами ничего не публиковать, — редкий в этой индустрии жест против собственной спешки.
