Инструмент INCLUDE: помощь большим языковым моделям в учёте региональных особенностей

Представьте, что вы спрашиваете у диалогового бота, например, Claude или ChatGPT, на греческом языке про местные правила дорожного движения. Он быстро отвечает на греческом, но использует законы Великобритании. Это показывает, что большие языковые модели (LLM) могут понимать языки, но не всегда учитывают местные законы, культуру и обычаи.

Чтобы решить эту проблему, учёные из Лаборатории обработки естественного языка в EPFL, Cohere Labs и других мест создали инструмент INCLUDE. Он помогает ИИ лучше понимать и учитывать особенности конкретного региона.

Этот инструмент проверяет, насколько LLM точно понимает не только язык, но и связанные с ним культурные особенности. Это важно для Швейцарии, где хотят, чтобы ИИ учитывал местные языки и ценности. Исследование об этом опубликовано на сайте arXiv.