ФОРМА GPU / 24 ОКТЯБРЯ 2026
GPU-сервер для инференса LLM: память, скорость и стоимость
Как выбрать аренду GPU для чат-бота или API модели и проверить производительность на реальной нагрузке.
Опишите нагрузку пользователей
Для чат-бота важно время ожидания ответа, а для пакетной обработки — объём выполненной работы за час. Укажите модель, среднюю и максимальную длину входа, длину ответа и число параллельных запросов. Один короткий запрос не отражает поведение системы при длинном контексте и очереди пользователей. Сначала согласуйте целевые показатели, затем выбирайте GPU.
Учтите память помимо весов
К весам добавляются KV-кэш, рабочие буферы и служебные данные движка. Увеличение контекста и параллельности меняет потребление памяти. Формат хранения весов влияет на их размер, но квантизацию нужно проверять на качестве и совместимости. Сравнивайте конфигурации на одинаковых настройках; запуск модели без ошибок ещё не подтверждает требуемую пропускную способность.
Как использовать несколько GPU
Если модель помещается на одну GPU, стоит сначала измерить такую конфигурацию. Для крупных моделей движки, включая vLLM, поддерживают распределённый инференс, но выбранная схема зависит от модели и оборудования. Обмен между GPU добавляет требования к связности. Несколько независимых копий и одна распределённая копия решают разные задачи: первая увеличивает число обслуживаемых запросов, вторая помогает разместить модель на нескольких устройствах.
Что измерять на тесте
Фиксируйте время до первого токена, скорость дальнейшей генерации, общую задержку и долю ошибок. Помимо среднего значения смотрите на медленные запросы, например 95-й процентиль. Повторите тест для ожидаемой параллельности и пикового сценария. Сохраните версии модели, движка и параметры запуска, чтобы повторный тест был сопоставимым.
Как оценить экономику сервера
Разделите стоимость аренды за период на число успешно обработанных запросов или объём выходных токенов. Сравнение имеет смысл при одинаковом качестве и ограничении задержки. Учитывайте ночной простой, если сервер оплачивается непрерывно, а пользователи активны только днём. Для отдельной небольшой задачи также полезно сравнить полный бюджет собственного сервера с оплатой готового API — при допустимых условиях обработки данных.
Что передать для согласования
Укажите модель и её версию, формат весов, движок, контекст, параллельность, требования к задержке и срок аренды. Приложите результаты существующего теста, если они есть. На сайте можно сравнить H100, H200, B200 и B300 и отправить конфигурацию; окончательные условия и доступность подтверждаются при согласовании.
Источники и методика
Характеристики оборудования: NVIDIA H100 и NVIDIA HGX. Программные методы: распределённый инференс vLLM, LoRA в Hugging Face PEFT. Расчёты бюджета — иллюстративные примеры; результат нагрузки подтверждается тестом.