ФОРМА GPU / 24 ОКТЯБРЯ 2026
Аренда GPU для LoRA и QLoRA: как подобрать конфигурацию
Что учитывать при дообучении адаптеров: базовая модель, квантизация, контекст, batch size и контрольные точки. Практический порядок выбора GPU.
Чем отличаются LoRA и QLoRA
LoRA добавляет обучаемые матрицы небольшого ранга, сохраняя базовые веса замороженными. QLoRA сочетает обучение адаптеров с квантизованной базовой моделью, обычно в четырёхбитном представлении. Эти подходы уменьшают требования по сравнению с полным дообучением во многих сценариях, но объём памяти зависит от конкретного запуска. Название метода не является гарантией, что любая модель поместится на выбранной карте.
Из чего складывается память
Кроме базовых весов учитывайте адаптеры, их градиенты и состояния оптимизатора, промежуточные активации и рабочие буферы. Условная модель с 7 миллиардами параметров при четырёх битах на параметр дала бы 3,5 миллиарда байт только под представление весов. Это нижняя арифметическая оценка, которая не учитывает служебные данные квантизации и остальные расходы. Использовать её как требование к полной видеопамяти нельзя.
Что проверить в программном окружении
Зафиксируйте версии модели, PyTorch, CUDA, Transformers, PEFT и используемой библиотеки квантизации. Проверьте поддержку архитектуры GPU и выбранного формата вычислений. В руководстве PEFT описана подготовка квантизованной модели перед обучением адаптеров. Рабочий контейнер и точный конфигурационный файл полезнее общего требования «нужна QLoRA»: они позволяют воспроизвести запуск и сравнить результаты.
Контекст и batch size меняют требования
Оценивать память нужно на целевой длине последовательности и фактическом micro-batch. Накопление градиентов позволяет менять эффективный размер batch, но не заменяет измерение памяти одного шага. Методы экономии памяти, включая пересчёт активаций, могут менять время выполнения. Выберите сначала приемлемые настройки обучения, затем проведите контрольный запуск; не подбирайте GPU только по числу параметров модели.
Как выбирать между H100 и H200
Если подготовленный запуск помещается на H100, измерьте его время шага и полный бюджет эксперимента. Если память ограничивает нужный контекст или batch size, сравните вариант с более ёмкой GPU, например H200, при тех же условиях. Для B200 и B300 отдельно подтвердите совместимость окружения. Ни одна из этих рекомендаций не означает гарантированной производительности: итоговый выбор опирается на проверяемый запуск.
Не забудьте датасет и сохранение результата
Укажите объём исходных и подготовленных данных, число контрольных точек и место, куда нужно перенести адаптеры. После теста проверьте, что сохранённый результат загружается вместе с правильной версией базовой модели. Оцените качество на отдельной выборке, которая не использовалась для обучения. Дешёвый эксперимент, который нельзя воспроизвести или применить, не помогает выбрать инфраструктуру.
Что написать в заявке
Передайте название и версию модели, LoRA или QLoRA, длину контекста, micro-batch, ранг адаптеров, целевые модули, размер датасета и срок аренды. Если измерения уже есть, добавьте пиковое потребление памяти и время шага. Не прикладывайте закрытые данные и пароли. В форме можно выбрать обучение / fine-tuning, а конфигурацию уточнить при обсуждении предложения.
Перейти к конфигурации
Отправить конфигурацию на согласованиеИсточники и методика
Числовые примеры — иллюстрации методики, а не тарифы API или результаты испытаний. Конфигурацию, условия и доступность подтверждаем при согласовании.