WildLMa: новая платформа для обучения четырёхногих роботов

Четырёхногие роботы с манипуляторами могут собирать мусор, передавать предметы людям или размещать их в определённых местах. Однако существующие методы их обучения часто неэффективны в реальных условиях.

Исследователи разработали платформу WildLMa для улучшения навыков передвижения и манипулирования роботов. Платформа состоит из трёх компонентов: сбора данных с помощью виртуальной реальности, обучения с использованием визуально-языковых моделей и объединения навыков с помощью больших языковых моделей.

WildLMa позволяет собирать данные о демонстрациях экспертов с помощью системы телеуправления в виртуальной реальности, где люди-операторы управляют роботом одной рукой. Это упрощает сбор данных и делает процесс более доступным.