Почему просьба стать «экспертом» делает код нейросети только хуже

Принято считать, что магия промпт-инжиниринга начинается с ролевой игры. Мы привыкли писать нейросетям что-то вроде «ты senior full-stack разработчик», ожидая, что это чудесным образом повысит качество генерируемого кода. Но исследователи из Университета Южной Калифорнии поставили этот подход под сомнение. Оказалось, что наделение модели статусом эксперта не добавляет ей знаний из обучающей выборки, а для точных дисциплин работает исключительно во вред.

Проблема кроется во внутренних механизмах LLM. В тестах на фактическую точность базовая модель справляется лучше, чем её «экспертная» версия — 71.6% против 68% на бенчмарке MMLU. Правда в том, что ролевой префикс переводит нейросеть в режим строгого следования инструкциям, отбирая ресурсы у механизмов извлечения фактов. Вы просите её написать сложный скрипт, а она тратит вычислительные мощности на то, чтобы просто звучать как уверенный в себе профессионал, неизбежно жертвуя при этом самой логикой.

Значит ли это, что ролевые промпты полностью бесполезны? Не совсем. Они по-прежнему работают для задач выравнивания — когда нужно задать структуру ответа, форматирование или жестко ограничить безопасность. Авторы исследования даже предлагают использовать LoRA адаптеры для динамического переключения между ролевым поведением и чистой генерацией фактов. Вопрос лишь в том, готовы ли пользователи окончательно отказаться от иллюзии «волшебного промпта» и отправлять сухие запросы там, где нужна голая математика.