Сжатие больших языковых моделей: новый алгоритм для экономии ресурсов
, Источник: techxplore.com , Источник фото: freepik.com
Большие языковые модели (LLM) становятся всё более популярными для автоматизации различных задач, таких как перевод, классификация текстов и обслуживание клиентов. Однако пользователи обычно должны отправлять запросы на централизованный сервер, что связано с высокой стоимостью, потреблением энергии и, иногда, медлительностью.
Исследователи предложили метод сжатия огромных объёмов данных LLM, который может повысить конфиденциальность, сэкономить энергию и снизить затраты. Их результаты были опубликованы на сервере препринтов arXiv.
Новый алгоритм работает путём устранения избыточности и снижения точности слоёв информации в LLM. Это позволяет создавать более компактные модели, которые можно хранить и использовать локально, например, на телефоне или ноутбуке, обеспечивая при этом почти такую же точность и детализацию.
