ToyBlocks: контролирана среда за обучение и оценка на роботи
Hugging Face · петък, 6 ноември, 16:00 · 1 мин четене
Allen AI представя ToyBlocks, отворена симулация с робот ръка и блокчета на маса.
Allen AI представи ToyBlocks, първата от т.нар. FoundationWorlds, контролирани симулирани светове за изследване на роботика. Целта е да може изследователят да сменя данните за обучение или дизайна на модела, да повтаря теста и да проследи причината за грешка.
ToyBlocks е отворена симулационна рамка около робот ръка и блокчета върху маса. Средата е умишлено проста, но роботът трябва да разбере как блокчетата си взаимодействат и как да ги нареди, докато ги бутa, обръща или натрупва. На блоковете има картинки и букви, така че роботът може да търси, сортира и подрежда.
Системата генерира сама демонстрации, тоест записи на робот, който изпълнява задачи в симулация. Не е нужно дълго ръчно управление от човек. Изследователите могат лесно да променят тренировъчните данни, например да добавят повече обръщания и да проверят как се справя робота със задачи, които не са били в обучението.
За уменията за кратки задачи се използват обучение с подкрепление и планиране на движението, в Isaac Lab на Nvidia. Планировчик за задачи и движения избира и подрежда уменията, а паралелно на една видеокарта се изпълняват стотици планове, до 24 пъти по-бързо от реалното време.
Високото ниво на модела решава какво да се направи, а ниското управлява движенията на ръката. Система с уеб интерфейс позволява и на хора без опит в роботиката да пробват задачи със свой език, като свържат модел.



