Разработка более доступных моделей ИИ: новый метод обучения сокращает затраты

Исследователи из Стэнфорда и Вашингтона разработали способ обучения ИИ-моделей за значительно меньшую стоимость, чем у крупных корпораций, таких как OpenAI и DeepSeek. Их метод включает использование процесса дистилляции для извлечения знаний из готовых моделей ИИ, таких как Alibaba’s s1. 

Для обучения модели они использовали 1000 пар вопросов и ответов, а также «мыслительный процесс» экспериментальной модели Google Gemini 2.0. Процесс занял всего 26 минут на 16 графических процессорах Nvidia H100. Исследователи также добавили этап «размышления», который позволяет модели проверять свою работу перед выдачей ответа. 

Результат — модель ИИ с аналогичными возможностями, но гораздо дешевле в обучении, что может изменить ландшафт разработки чат-ботов.