Сравнение эффективности моделей ИИ в генерации научных цитат и объяснении их выбора
, Источник: techxplore.com , Источник фото: freepik.com
ChatGPT и другие чат-боты иногда выдумывают информацию, включая научные и юридические цитаты. Чтобы проверить их способность рассуждать, важно оценивать точность этих цитат.
Модель ИИ «придумывает» свои ответы, разбивая задачу на этапы и решая их по порядку, как это делают ученики при решении математических задач.
В идеале, модель ИИ должна понимать ключевые понятия из текста, находить подходящие статьи для цитирования и объяснять, почему каждая статья важна для текста.
Специалисты по информатике, создали тест Reasons для проверки, насколько хорошо модели ИИ могут автоматически генерировать научные цитаты и объяснять их выбор. Они сравнили две популярные модели: R1 от DeepSeek и o1 от OpenAI. Хотя DeepSeek привлекает внимание своей эффективностью, он пока не так хорош в логических рассуждениях, как OpenAI.
