Khamphani Roboto ea X Square открыла проект XRZero-G0 — аппаратно-программный фреймворк для сбора обучающих демонстраций, генерации политик управления и проверки их на реальных роботах. Проект ориентирован на одну из главных проблем embodied AI: дорогой и медленный сбор качественных данных с помощью физических роботов. Вместо постоянной телеметрии с реального оборудования XRZero-G0 использует демонстрации, записанные человеком через VR-интерфейс и набор камер, после чего эти данные применяются для обучения роботов.
В техническом отчёте XRZero-G0 авторы описывают систему как совместно спроектированную аппаратно-программную платформу для «robot-free» сбора данных и обучения политик управления. По их данным, сочетание большого массива человеко-записанных демонстраций с небольшим объёмом данных от реального робота позволяет получить качество, сопоставимое с датасетами, собранными только на физических роботах. В экспериментах упоминается соотношение около 10 человеко-записанных эпизодов на 1 эпизод реального робота, что снижает стоимость сбора данных примерно в Linako tsa 20.
Ka описанию Help Net Security, вместе с XRZero-G0 опубликован G0-Dataset — мультимодальный набор данных, собранный с помощью этого фреймворка. Он включает более Lihora tsa 2000 проверенных демонстраций, охватывает зрительные, тактильные и аудиомодальности, а также содержит около 3000 различных задач манипуляции — от базовых действий до более тонких семантических сценариев. Часть набора данных доступна на Hugging Face как XRZero-G0-3K.
Система интересна тем, что пытается сделать сбор робототехнических данных похожим не на ручное управление конкретной дорогой машиной, а на масштабируемый производственный процесс: оператор записывает действия в удобной среде, данные проходят контроль качества, затем используются для обучения политики, а результат проверяется на физическом роботе. Такой подход может быть полезен для исследований в области универсальных роботов, dexterous manipulation и переноса навыков между разными робототехническими платформами.
Возможности XRZero-G0
Сбор данных без физического робота.
Демонстрации записываются человеком через VR-интерфейс и специализированные захваты, что снижает зависимость от дорогих часов работы реального робота. Такой подход позволяет быстрее накапливать большой объём примеров для обучения.Мультимодальная запись демонстраций.
XRZero-G0 использует несколько камер, включая обзорную камеру и камеры на уровне «запястий», чтобы приблизить человеческую демонстрацию к тому, как задачу видит робот при реальном выполнении. В опубликованном G0-Dataset также заявлены зрительные, тактильные и аудиоданные.Эргономичный VR-интерфейс.
Оператор работает не с промышленным роботом напрямую, а с более удобной VR-средой и сменными захватами. Это должно повысить скорость и повторяемость сбора демонстраций.Замкнутый цикл контроля качества.
Данные проходят цепочку «сбор → проверка → обучение → оценка». На уровне наблюдений проверяется согласованность данных с разных камер, на уровне кинематики отбрасываются некорректные траектории, а финальной проверкой становится воспроизведение политики на физическом роботе.Проверка пригодности данных.
Авторы заявляют эффективную долю валидных данных около 85% в контролируемых условиях. Это важно, потому что в робототехнике плохо согласованные или физически невыполнимые демонстрации могут ухудшать обучение не меньше, чем нехватка данных.Data Mixing Laws.
В проекте исследуется, как смешивать данные, собранные без робота, с небольшим объёмом данных реального робота. Практический вывод авторов: небольшая доля реальных эпизодов помогает учесть физические факторы вроде задержек, трения и особенностей приводов, а основную вариативность можно получить из более дешёвых человеко-записанных демонстраций.Zero-shot cross-embodiment transfer.
XRZero-G0 нацелен на перенос навыков между разными роботами без отдельной тонкой настройки под каждую платформу. В отчёте заявлен перенос на целевого физического робота без дополнительного platform-specific fine-tuning.G0-Dataset для исследований.
Опубликованный набор данных даёт исследователям готовую базу для обучения и проверки моделей манипуляции. Он покрывает тысячи задач и рассчитан на эксперименты с предобучением, переносом между embodiment-платформами и масштабированием робототехнических политик.Открытая публикация кода и данных.
polokelo XRZero-G0 размещён на GitHub, а выборка XRZero-G0-3K доступна через Hugging Face. По данным Help Net Security, код опубликован под лицензией MIT.
Source: linux.org.ru
