Порт 3D-генератора TRELLIS.2 для macOS с использованием PyTorch MPS

Разработчик shivampkumar портировал нейросетевой 3D-генератор TRELLIS.2 на устройства Apple, заменив зависимость от cuda на использование фреймворка PyTorch с бэкендом MPS (Metal Performance Shaders). Проект позволяет локально создавать трехмерные модели из одного плоского изображения, обходясь без аппаратного обеспечения NVIDIA.

При тестировании на процессоре M4 Pro с 24 ГБ объединенной памяти генерация сетки плотностью более 400 000 вершин с запеченными PBR-текстурами занимает 5 минут 13 секунд при холодном старте. Из этого времени 1 минута 45 секунд уходит на инициализацию конвейера и загрузку весов в кэш, что означает сокращение времени создания и запекания при последующих запусках до 3 минут 20 секунд.

Полученные метрики производительности демонстрируют ограничения архитектуры Apple Silicon в контексте тяжелых ML-вычислений. Несмотря на успешный запуск сложных пайплайнов для генерации 3D-геометрии, скорость обработки на MPS кратно уступает тензорным ядрам, в результате чего использование macOS для плотной генерации пикселей и вокселей остается технически возможным, но неэффективным с точки зрения затрачиваемого времени процессом.