Открытые большие языковые модели: иллюзия доступности

Трое исследователей ИИ из Корнеллского университета, Signal Foundation и Now Institute утверждают, что популярные открытые большие языковые модели (LLM) на самом деле не так открыты, как кажутся.

Авторы статьи отмечают, что предоставление открытого исходного кода не достаточно для того, чтобы LLM была действительно открытой. Это связано с тем, что исходный код не включает доступ к базовым обучающим данным и требует значительных вычислительных ресурсов для самостоятельного обучения.

С ростом популярности LLM, таких как ChatGPT, возникают вопросы о конфиденциальности и рабочих местах. Создатели LLM пытаются сделать свои разработки более прозрачными, выкладывая код в открытый доступ, но авторы статьи утверждают, что пользователи не получают доступа к базовым знаниям, полученным в процессе обучения.