Искусственный интеллект описывает окружение для слабовидящих в реальном времени через камеру смартфона
, Источник: techxplore.com , Источник фото: freepik.com
Исследователи Мичиганского университета разработали инструмент под названием WorldScribe, который использует языковые модели генеративного искусственного интеллекта для интерпретации изображений с камеры и создания текстовых и аудиоописаний в реальном времени.
Во время пробного исследования смартфон посредством камеры по беспроводной сети передавал изображения на сервер, который почти мгновенно генерировал текстовые и звуковые описания объектов в кадре камеры: ноутбука на столе, стопки бумаг, телевизора и картин, установленных на стене поблизости.
«Для нас, слепых людей, это может изменить взаимодействие с миром. Я получил картину реального мира и был взволнован цветами и текстурами, к которым иначе не имел бы доступа», — сказал Сэм Рау, который участвовал в пробном исследовании WorldScribe.
