Проблема цифрового неравенства в работе крупных языковых моделей

Новое исследование посвящено сообществам, лишенным доступа к ИИ, что ограничивает их возможности и повышает риски предвзятости и дезинформации.

Ученые обнаружили, что крупные языковые модели страдают от цифрового неравенства. ChatGPT и GPT-3 отлично работают для 1,52 миллиарда англоязычных пользователей, но плохо справляются с задачами для 97 миллионов вьетнамцев и еще хуже — для 1,5 миллиона носителей науатля.

Причина — недостаток данных. Неанглийским языкам не хватает объема и качества информации для создания эффективных моделей. Большинство крупных языковых моделей обучаются на английском (или других языках с обширными ресурсами) или на некачественных местных данных и не учитывают контексты и культуры других народов.