Новый метод анализа изображений с помощью генеративного ИИ

За последние десятилетия специалисты в области информатики создали много инструментов для анализа и понимания изображений. Эти инструменты применяются в робототехнике, автономных автомобилях, медицине, производстве и даже в индустрии развлечений.

Самые эффективные методы анализа изображений сегодня основаны на нейронных сетях. Эти сети шаг за шагом обрабатывают изображения и делают прогнозы. Однако такие модели часто плохо справляются с новыми изображениями и ситуациями, а их прогнозы сложно понять.

Исследователи из Принстонского университета разработали новый метод, который делает анализ изображений более понятным. Этот метод использует искусственный интеллект для создания изображений и их оптимизации.

Феликс Хайде, старший автор статьи, объяснил, что генеративный искусственный интеллект позволяет создавать изображения и видео на основе описаний. Теперь исследователи изучают, можно ли использовать эти модели для извлечения описаний из существующих изображений.

Новый метод, разработанный Хайде и его командой, использует дифференцируемый конвейер рендеринга. Этот процесс позволяет моделировать создание изображений на основе сжатых данных, полученных с помощью генеративных моделей ИИ.