Новый метод планирования маршрутов для роботов: понимание изображений и текста

Современные роботы могут выполнять множество задач, от производства и упаковки товаров до сложных хирургических операций. Они также могут осматривать труднодоступные или опасные места, такие как туннели, плотины и железные дороги.

Хотя роботы обещают безопасность и эффективность, пока большинство проверок всё ещё проводят люди. В последние годы учёные пытаются создать компьютерные модели, которые помогут роботам планировать свои маршруты и действия.

Недавно исследователи из Университета Пердью и LightSpeed Studios разработали новый метод для создания таких планов. Их подход основан на использовании моделей, которые могут понимать и изображения, и текст. Это позволяет роботам следовать инструкциям на естественном языке при осмотре объектов.

Цель этого исследования — создать модель, которая поможет оптимизировать маршруты проверок, учитывая конкретные задачи. При этом модель не должна требовать большого количества данных для настройки, как это делают другие модели на основе машинного обучения.