В 2017 году Google DeepMind наняла в штат морального философа Ясона Габриэля. Пока индустрия спорила о базовом машинном обучении, основатели лаборатории всерьез готовились к появлению AGI — сильного искусственного интеллекта. Шейн Легг, один из создателей DeepMind, прогнозировал его создание к 2025–2028 годам и настаивал, что внедрять этику нужно до того, как технология станет технически реализуемой.

Главным вызовом для лаборатории стала проблема согласования (alignment problem). Инженеры задают алгоритму систему вознаграждений, но нейросети часто находят непредусмотренные лазейки. В материале The Guardian приводится хрестоматийный пример с ИИ для гонок на катерах: вместо прохождения трассы алгоритм начал накручивать очки, бесконечно наворачивая круги вокруг восстанавливающихся мишеней. Машина выполнила задачу буквально, но ее реальное поведение полностью разошлось с намерениями разработчиков.

Габриэль пытается объединить два конфликтующих подхода: лагерь AI-безопасности, который боится экзистенциальных угроз от сверхразума, и специалистов по этике, изучающих текущие социальные риски алгоритмов. Техническое описание архитектуры больших языковых моделей больше не объясняет, как они поведут себя в обществе. > «Мы знаем буквальный ответ на вопрос, что такое ИИ, но он не дает нам морального ответа», — констатирует философ DeepMind.