кампанія Робат X Square адкрыла праект XRZero-G0 - Апаратна-праграмны фрэймворк для збору навучальных дэманстрацый, генерацыі палітык кіравання і праверкі іх на рэальных робатах. Праект арыентаваны на адну з галоўных праблем embodied AI: дарагі і павольны збор якасных дадзеных з дапамогай фізічных робатаў. Замест сталай тэлеметрыі з рэальнага абсталявання XRZero-G0 выкарыстоўвае дэманстрацыі, запісаныя чалавекам праз VR-інтэрфейс і набор камер, пасля чаго гэтыя дадзеныя прымяняюцца для навучання робатаў.
В тэхнічнай справаздачы XRZero-G0 аўтары апісваюць сістэму як сумесна спраектаваную апаратна-праграмную платформу для "robot-free" збору дадзеных і навучання палітык кіравання. Па іх дадзеных, спалучэнне вялікага масіва чалавека-запісаных дэманстрацый з невялікім аб'ёмам дадзеных ад рэальнага робата дазваляе атрымаць якасць, супастаўнае з датасетамі, сабранымі толькі на фізічных робатах. У эксперыментах згадваецца суадносіны каля 10 чалавека-запісаных эпізодаў на 1 эпізод рэальнага робата, што зніжае кошт збору дадзеных прыкладна ў 20 раз.
Па апісанні Help Net Security, разам з XRZero-G0 апублікаваны G0-Dataset - мультымадальны набор дадзеных, сабраны з дапамогай гэтага фрэймворка. Ён уключае больш 2000 гадзін правераных дэманстрацый, ахоплівае глядзельныя, тактыльныя і аўдыямадальнасці, а таксама змяшчае каля 3000 розных задач маніпуляцыі - Ад базавых дзеянняў да больш тонкіх семантычных сцэнарыяў. Частка набору дадзеных даступна на Hugging Face як XRZero-G0-3K.
Сістэма цікавая тым, што спрабуе зрабіць збор робататэхнічных дадзеных падобным не на ручное кіраванне канкрэтнай дарагой машынай, а на маштабаваны вытворчы працэс: аператар запісвае дзеянні ў зручным асяроддзі, дадзеныя праходзяць кантроль якасці, затым выкарыстоўваюцца для навучання палітыкі, а вынік правяраецца на фізічным робаце. Такі падыход можа быць карысны для даследаванняў у галіне ўніверсальных робатаў, dexterous manipulation і пераносу навыкаў паміж рознымі робататэхнічнымі платформамі.
Магчымасці XRZero-G0
Збор даных без фізічнага робата.
Дэманстрацыі запісваюцца чалавекам праз VR-інтэрфейс і спецыялізаваныя захопы, што зніжае залежнасць ад дарагіх гадзін працы рэальнага робата. Такі падыход дазваляе хутчэй назапашваць вялікі аб'ём прыкладаў для навучання.Мультымадальны запіс дэманстрацый.
XRZero-G0 выкарыстоўвае некалькі камер, у тым ліку аглядную камеру і камеры на ўзроўні "запясцяў", каб наблізіць чалавечую дэманстрацыю да таго, як задачу бачыць робат пры рэальным выкананні. У апублікаваным G0-Dataset таксама заяўлены глядзельныя, тактыльныя і аўдыёдадзеныя.Эрганамічны VR-інтэрфейс.
Аператар працуе не з прамысловым робатам напрамую, а з зручнейшым VR-асяроддзем і зменнымі захопамі. Гэта павінна павысіць хуткасць і паўтаральнасць збору дэманстрацый.Замкнёны цыкл кантролю якасці.
Дадзеныя праходзяць ланцужок «збор → праверка → навучанне → ацэнка». На ўзроўні назіранняў правяраецца ўзгодненасць дадзеных з розных камер, на ўзроўні кінематыкі адкідаюцца некарэктныя траекторыі, а фінальнай праверкай становіцца ўзнаўленне палітыкі на фізічным робаце.Праверка прыдатнасці даных.
Аўтары заяўляюць эфектыўную долю валідных дадзеных каля 85% у кантраляваных умовах. Гэта важна, таму што ў робататэхніцы дрэнна ўзгодненыя або фізічна невыканальныя дэманстрацыі могуць пагаршаць навучанне не менш, чым недахоп даных.Data Mixing Laws.
У праекце даследуецца, як змешваць дадзеныя, сабраныя без робата, з невялікім аб'ёмам дадзеных рэальнага робата. Практычная выснова аўтараў: невялікая дзель рэальных эпізодаў дапамагае ўлічыць фізічныя фактары накшталт затрымак, трэнні і асаблівасцяў прывадаў, а асноўную варыятыўнасць можна атрымаць з таннейшых чалавека-запісаных дэманстрацый.Zero-shot cross-embodiment transfer.
XRZero-G0 накіраваны на перанос навыкаў паміж рознымі робатамі без асобнай тонкай налады пад кожную платформу. У справаздачы заяўлены перанос на мэтавага фізічнага робата без дадатковага platform-specific fine-tuning.G0-Dataset для даследаванняў.
Апублікаваны набор дадзеных дае даследнікам гатовую базу для навучання і праверкі мадэляў маніпуляцыі. Ён пакрывае тысячы задач і разлічаны на эксперыменты з прадугледжаннем, пераносам паміж embodiment-платформамі і маштабаваннем робататэхнічных палітык.Адкрытая публікацыя кода і даных.
Рэпазітар XRZero-G0 размешчаны на GitHub, а выбарка XRZero-G0-3K даступная праз Hugging Face. Па дадзеных Help Net Security, код апублікаваны пад ліцэнзіяй MIT.
Крыніца: linux.org.ru
