Исследователи "Т-Технологий" совместно с МФТИ, Университетом иннополис и "Сбером" разработали метод "Симплекслора" (SimplexLoRA), который повышает качество дообучения языковых моделей за счет того, что направляет больше ресурсов на слои, важные для конкретной задачи, сообщает Т-Банк.
Работа представлена на Международной конференции по обработке естественного языка уровня A* (Conference on Empirical Methods in Natural Language Processing), которая проходит с 24 по 29 октября в Будапеште.
Для адаптации языковых моделей к прикладным задачам широко применяется метод "Лора" (LoRA). Он сохраняет основные веса модели неизменными и дообучает ее с помощью адаптеров — небольших дополнительных модулей, встроенных в слои модели. При этом всем адаптерам выделяется одинаковое число обучаемых параметров, хотя слои модели вносят неодинаковый вклад в решение конкретной задачи.
Исследователи предложили SimplexLoRA — метод, который учитывает эти различия. На предварительном этапе он определяет, какие слои наиболее важны для задачи, и перераспределяет между ними общий объем обучаемых параметров: значимым слоям выделяется больше ресурсов, остальным — меньше. Затем распределение фиксируется, и модель дообучается по стандартной схеме LoRA. Благодаря этому качество дообучения повышается без увеличения числа обучаемых параметров и вычислительных затрат.
Исследователи протестировали SimplexLoRA на 12 задачах с использованием четырех моделей. Эксперименты включали задачи на понимание текстов, подготовку кратких изложений, ответы на вопросы и рассуждение.
В большинстве тестов новый метод достигал качества стандартного LoRA или даже превосходил его при том же числе обучаемых параметров и той же стоимости результата. Метод особенно хорошо работает при небольшом количестве обучаемых параметров, более оптимально распределяя ограниченный ранг между слоями модели и достигая при этом более высокого качества по сравнению со стандартным LoRA.
Отмечается, что SimplexLoRA будет полезен командам, которые адаптируют готовые языковые модели к собственным задачам. Среди проверенных в исследовании сценариев — ответы на вопросы, выделение ключевых моментов в документах, анализ эмоциональной окраски текстов, математические рассуждения. Он особенно полезен в ситуациях, когда разработчикам необходимо обучать модели в условиях ограниченных вычислительных мощностей.
Исходный код SimplexLoRA опубликован в открытом доступе.
"При адаптации языковой модели к новой задаче важно понимать, где дополнительные обучаемые параметры принесут наибольшую пользу. SimplexLoRA позволяет подобрать их распределение между слоями в начале дообучения. В наших экспериментах это помогло улучшить результаты при том же количестве обучаемых параметров, особенно когда размер адаптеров был небольшим.
Для разработчиков ценность такого подхода — в возможности повысить качество адаптации модели к задаче, сохранив привычную основу LoRA", — отметил руководитель Центра исследований и разработок "Т-Технологий" Станислав Моисеев, его слова приводит компания.