Новини›Нови модели›Runway пусна Praxis-1 с отворен код и го превърна в контролер за роботи
Нови модели

Runway пусна Praxis-1 с отворен код и го превърна в контролер за роботи

The Decoder · събота, 14 ноември, 11:45 · 1 мин четене

Моделът използва знания от видео и заема първото място в категорията World Action Model на бенчмарка

Компанията Runway публикува роботния си модел Praxis-1 с отворени тегла и изходен код под лиценз Apache 2.0. Това означава, че всеки може да го изтегли и използва, включително за търговски цели. Моделът е създаден на базата на видео, с което Runway е обучавала генеративните си модели за видео.

Praxis-1 приема изображения от камера, текстови инструкции и данни за позицията на робота. От тях той предсказва как ще се промени околната среда и изчислява подходящите движения на робота. Когато пристигат нови кадри, моделът непрекъснато коригира управлението.

Моделът първо е научил как обектите се движат и взаимодействат от обикновени видеозаписи. След това е дообучен с видеа на човешки действия и с данни от роботи.

На бенчмарка RoboLab-120 на Nvidia Praxis-1 постига 46,2 процента успеваемост. Това го поставя на първо място сред World Action Model модели. Резултатите обаче са направени от самата Runway и още не са проверени от независими страни.

В реален тест с роботизирана ръка Franka моделът успя в 88 от 100 опита, а сравняваният модел FLUX 3 Action в 80. Моделът все още има слабости: понякога обърква подобни обекти, затруднява се с неясни инструкции и не може сам да планира сложни последователности от действия. За по-дълги задачи стъпките трябва да се описват една по една.

Още новини