Метод снижения неопределённости в больших языковых моделях

ChatGPT и другие подобные системы часто поражают нас точностью ответов, но иногда заставляют сомневаться в их правильности. Главная проблема мощных ИИ заключается в том, что они могут давать как идеальные ответы, так и явную ерунду. Одна из основных трудностей — это то, как большие языковые модели (LLM) справляются с неопределённостью.

Учёные из Института машинного обучения Швейцарской высшей технической школы Цюриха создали метод, который помогает снизить неопределённость ИИ. Этот метод описан в статье на сервере препринтов arXiv.

Новый алгоритм позволяет улучшить ответы ИИ, добавляя в них информацию из нужной области. В сочетании с конкретным вопросом, алгоритм извлекает из модели и дополнительных данных те связи, которые с наибольшей вероятностью приведут к правильному ответу.