LoRA (низкоранговая адаптация) — метод дообучения, при котором к существующим весам добавляются малые матрицы-поправки, позволяющие настраивать модель без изменения её основных параметров.
Определение
LoRA — это метод дообучения больших моделей, построенный на идее разложения изменений весов на компактные низкоранговые матрицы. Вместо того чтобы обучать всю модель целиком, LoRA добавляет небольшие адаптационные слои, которые корректируют поведение базовой архитектуры.
Основные веса модели остаются неизменными, что снижает риск деградации качества и обеспечивает воспроизводимость. Все изменения локализованы в малых матрицах, что делает процесс дообучения лёгким, быстрым и экономичным.
Как работает
Ключевая идея LoRA — представление корректировок больших матриц весов как произведения двух небольших матриц. Это снижает количество параметров, которые нужно обучать, и уменьшает объем памяти.
Механизм включает:
- заморозку основных весов — исходная модель остаётся неизменной;
- вставку низкоранговых матриц — адаптационные слои добавляются к выбранным слоям модели;
- обучение только этих матриц — корректируется поведение нужных блоков;
- суммирование результатов — базовые веса и поправки работают вместе на этапе применения.
Так как ранг добавляемых матриц сильно меньше исходной размерности, число новых параметров остаётся небольшим. Это делает LoRA отличным решением для тонкой настройки крупных систем.
Где применяется
- Дообучение моделей под конкретные домены: медицина, финансы, право.
- Адаптация под корпоративные данные: инструкции, внутренние документы.
- Разработка ассистентов: обучение модельного поведения под стиль компании.
- Настройка моделей для генерации текста, кода или анализа документов.
- Создание специальных версий моделей для отдельных языков или диалектов.
- Локальная адаптация небольших систем, где полный пересчёт весов невозможен.
Практические примеры использования
В корпоративных системах LoRA применяется для адаптации базовой модели под внутренние процессы: форматы документов, словари, структуру отчётов. Дообучение занимает мало времени и не требует мощных серверов.
В проектах, ориентированных на документооборот, LoRA помогает обучить модель на стиле компании: как оформлять письма, какие формулировки использовать, какие правила учитывать. Малые матрицы меняют поведение модели без риска разрушить её общее качество.
В системах разработки программного обеспечения LoRA используют для адаптации под технический стек команды. Модель быстрее понимает специфичный синтаксис, названия модулей и особенности проекта.
В мультиязычных проектах метод помогает обучить модель под конкретный язык или региональные особенности без необходимости изменения всей архитектуры.
Преимущества и ограничения
- Плюс: малая вычислительная стоимость по сравнению с полным дообучением.
- Плюс: сохранение исходных весов без рисков ухудшения качества.
- Плюс: удобство версионирования адаптаций — можно хранить множество LoRA-модулей.
- Плюс: гибкость — адаптируются только нужные части модели.
- Минус: ограниченная сила воздействия — сложные изменения могут выйти за рамки низкоранговой матрицы.
- Минус: необходимость тонкой настройки ранга и слоёв, которые нужно адаптировать.
- Минус: возможные конфликты при одновременном использовании нескольких адаптаций.
- Минус: качество адаптации зависит от выбранного набора данных.
Связанные термины
- Fine-tuning
- Adapters
- Prompt tuning
- Weight freezing
- Parameter-efficient training
- Domain adaptation
- Low-rank decomposition