Энциклопедия · Искусственный интеллект · MLOps

QLoRA

QLoRA (Quantized Low-Rank Adaptation) — метод эффективного дообучения больших языковых моделей, при котором замороженная базовая модель хранится в 4-битном…

  • 3 минЧтение
  • 11Разделов
  • 1Примеров кода

Что вы узнаете

  • Суть метода
  • Компоненты QLoRA
  • NF4: 4-битный NormalFloat
  • Double Quantization
  • Paged Optimizers

Отрывок

Подход позволяет дообучать модели масштаба 65B на одной GPU с 48 ГБ VRAM при качестве, сопоставимом с 16-битным full fine-tuning.

Полный текст статьи открывается по подписке.

  • Интерактивные уровни с проверкой ответов
  • Прогресс и повторение терминов сохраняются
  • Тренажёры Linux, SQL, Git и Docker в браузере

Войти и открытьТарифы

Вселенная ИТ — практика IT на русском

Уроки с проверкой, энциклопедия, тренажёры и квизы на одной платформе. Всё работает в браузере, без установки.