Энциклопедия · Искусственный интеллект · MLOps
QLoRA
QLoRA (Quantized Low-Rank Adaptation) — метод эффективного дообучения больших языковых моделей, при котором замороженная базовая модель хранится в 4-битном…
- 3 минЧтение:
- 11Разделов:
- 1Примеров кода:
Что вы узнаете
- Суть метода
- Компоненты QLoRA
- NF4: 4-битный NormalFloat
- Double Quantization
- Paged Optimizers
Отрывок
Подход позволяет дообучать модели масштаба 65B на одной GPU с 48 ГБ VRAM при качестве, сопоставимом с 16-битным full fine-tuning.
Полный текст статьи открывается по подписке.
- Интерактивные уровни с проверкой ответов
- Прогресс и повторение терминов сохраняются
- Тренажёры Linux, SQL, Git и Docker в браузере