Искажение данных в обучении больших языковых моделей: результаты эксперимента
, Источник: medicalxpress.com , Источник фото: freepik.com
Группа учёных провела эксперимент, чтобы выяснить, насколько легко можно исказить данные, используемые для обучения больших языковых моделей (LLM). Они создали тысячи статей с ложной информацией и добавили их в обучающий набор данных. Затем они попросили LLM ответить на медицинские вопросы.
В этом эксперименте учёные хотели выяснить, насколько легко злоумышленники могут изменить ответы моделей.
Они использовали ChatGPT для создания 150 000 медицинских документов, содержащих ложные сведения. Затем эти документы были добавлены в обучающий набор данных, и на его основе были обучены несколько магистров права. После этого магистры отвечали на медицинские вопросы, а эксперты проверяли их ответы на наличие ошибок.
Оказалось, что даже замена всего лишь 0,5% данных на ложные документы значительно снизила точность ответов моделей.
