Нелинейное изучение признаков: новый метод для улучшения больших языковых моделей

Михаил Белкин и его команда из Калифорнийского университета в Сан-Диего разработали метод «нелинейного изучения признаков» для более точного управления большими языковыми моделями (LLM), такими как Google Gemini и OpenAI ChatGPT.

Этот метод позволяет выявлять и манипулировать базовыми признаками в LLM, что помогает улучшить их безопасность, надёжность и адаптивность. Исследование опубликовано в Science и PNAS. 

Подход основан на анализе внутренних активаций LLM, что позволяет определить функции, отвечающие за токсичность, точность и другие характеристики. Исследователи корректируют эти функции для улучшения качества ответов и решения проблем, таких как галлюцинации и вредоносность. Метод также помогает моделям лучше понимать различные языки, включая шекспировский английский.