OpenAI забирает авторов портретного режима Apple ради собственных камер

Маленький сенсор карманного устройства упирается в законы оптики ровно в тот момент, когда свет проходит сквозь миниатюрное стекло. OpenAI выложила больше 300 миллионов долларов за стартап Glass Imaging, чтобы эту оптическую физику окончательно подчинить софту. Сделка выглядит как прямой шаг создателей ChatGPT в сторону осязаемого кремния и линз, где картинка собирается не в облаке, а прямо в момент нажатия на спуск.

Кто стоит за оптикой

Команду Glass Imaging в 2019 году собрали Зив Аттар и Том Бишоп. До собственного бизнеса оба инженера работали в Apple, где руководили созданием портретного режима — той самой программной имитации студийного боке, которая превратила мобильную съемку в рабочий инструмент визуального продакшена. До продажи стартап успел привлечь около 30 миллионов долларов инвестиций на то, чтобы научить нейросети выжимать максимум из крошечных мобильных объективов.

Суть технологии проста по замыслу и точна в реализации: софт Glass Imaging создается под конкретные оптические схемы компактных модулей. Нейросети стартапа берут сырые данные со стекла и сенсора смартфона, компенсируя аберрации, дисторсию и геометрические ограничения оптики прямо во время захвата кадра, а не на стадии постобработки готового снимка.

Что это значит для железа

Поглощение произошло посреди плотной волны обсуждений собственных аппаратных разработок OpenAI. Слухи упорно связывают компанию с разработкой целой линейки портативных устройств:

• компактные смартфоны с упором на локальные вычисления;
• умные наушники с пространственным восприятием;
• портативные гаджеты нового формата, над обликом которых компания работает вместе с дизайнером Джони Айвом.

Когда софтверный гигант покупает команду с таким бэкграундом, речь редко идет просто о фильтрах для мобильного приложения. Нас подкупило, с какой последовательностью OpenAI стягивает под свое крыло людей, умеющих упаковывать сложный визуальный пайплайн в карманные габариты. С альянсом вокруг Джони Айва пазл складывается еще нагляднее: если строить принципиально новое устройство с нуля, ему нужны глаза, не уступающие профессиональным инструментам, но умещающиеся в тонкий корпус.

Для арт-директоров, мобильных фотографов и продакшен-дизайнеров эта новость важнее очередного релиза текстовой модели. Похоже, алгоритмическая фотография перерастает привычные рамки ретуши кожи и размытия фона — в руках OpenAI технологии Glass Imaging могут превратить компактную камеру будущего гаджета в инструмент, видящий геометрию и свет точнее человеческого глаза.

Кажется, гонка мобильных сенсоров за мегапикселями закрыта окончательно — дальше решают нейросети на стекле.