EgoMimic: сбор данных для имитационного обучения роботов

Имитационное обучение роботов выполнению задач, требующих ручного труда, предполагает обучение алгоритма на видеозаписях и данных о захвате движений людей. Это позволяет роботу постепенно выполнять те же задачи.

Однако методы имитационного обучения часто не обобщают знания на новые задачи и требуют сложных демонстраций. Ученые из Технологического института Джорджии представили EgoMimic — платформу для сбора разнообразных демонстрационных данных.

EgoMimic использует эргономичные очки Project Aria и недорогой двурукий манипулятор для записи видеозаписей с точки зрения пользователя. Это помогает минимизировать кинематический разрыв с человеческими данными и обучать роботов на данных человека и робота одновременно.