Это один из самых изящных способов вернуть языковым моделям утраченную креативность. Процесс post-training alignment делает нейросети безопасными и полезными, но приводит к эффекту mode collapse. Модель начинает генерировать скучные, усредненные ответы, потому что на этапе RLHF люди-разметчики систематически выбирали наиболее привычный и предсказуемый текст.

Исследователи из Стэнфорда предложили метод Verbalized Sampling (VS), который обходит эту проблему без переобучения. Идея заключается в добавлении к запросу требования вывести распределение вероятностей. Например: Сгенерируй 5 шуток про кофе и укажи их вероятности. Такая формулировка заставляет модель обращаться к менее очевидным паттернам в своих весах и выдавать нестандартные варианты. Теоретическая база и эксперименты описаны в статье на arXiv.

Результаты впечатляют! Всего пара десятков дополнительных слов в промпте увеличивает креативность ответов в 1.6–2.1 раза при написании историй или стихов. Разнообразие выдачи по оценкам людей вырастает на 25.7%. Метод позволяет восстановить 66.8% креативности, которую LLM теряет после выравнивания, причем на сильных моделях эффект заметнее всего. Код проекта уже доступен на GitHub.