Робот Skild AI учится новой задаче по одной видеозаписи демонстрации
Команда Skild AI записала видео, как сажают растение в горшок, и показала его роботу — а через 11 минут после записи ролика тот уже делал то же самое сам, без единой строчки нового кода.
Так работает S1 — модель для промышленных манипуляторов, которую Skild AI выпустила на прошлой неделе. Вместо того чтобы переобучать робота под каждую новую задачу, оператор просто записывает видео нужного действия и показывает его модели как подсказку. S1 считывает из ролика намерение, объекты и последовательность действий и сразу переводит это в движения манипулятора — без дообучения весов и без отдельного датасета под конкретную задачу.
Подход называется обучением в контексте и рассчитан на задачи длиной до 10 минут и на десятки шагов манипуляции подряд: посадка растения, приготовление блинов, пуровер-кофе, сборка комплектов. Модель умеет достраивать навыки в последовательности, которых раньше не видела, подстраиваться, если предмет сдвинулся, и восстанавливаться после ошибки.
В тестах на новых многошаговых задачах S1 доводила отдельный шаг до конца в 66% случаев — против 9% у сравнимой ИИ-системы, семикратная разница. По оценке Skild AI, один короткий видеопример заменяет собой около 380 примеров ручной тренировки, а собрать столько вручную заняло бы 50–100 часов.
От лаборатории до заводского цеха
Skild, NVIDIA и Foxconn уже используют модель — «мозг» Skild — на двуруких манипуляторах для высокоточной сборки серверных систем NVIDIA Blackwell: робот устанавливает шину и ограничительный блок, закручивает 16 винтов и подстраивается, если сцена отличается от плана. Модель обучали и проверяли на инфраструктуре NVIDIA — от синтетических данных Cosmos и симуляции в Omniverse и Isaac Sim до обучения с подкреплением в Isaac Lab на физическом движке Newton.
«Обучение через опыт, а не через перепрошивку — вот в чём состоит смена эпохи, которая произошла в робототехнике», — сказал сооснователь и CEO Skild AI Дипак Патхак.
Бизнес растёт с той же скоростью, что и функциональность: через 10 месяцев после первого коммерческого внедрения Skild AI вышла на годовую выручку в 100 миллионов долларов и подписала больше 60 партнёрств на внедрение — в производстве, логистике, инспекции, охране и общепите.
Для отрасли, где переоснащение линии под новый продукт обычно означает недели простоя и новый датасет, замена этого одним видео — не улучшение процента, а другой принцип работы с роботом.
