ФОРМА GPU / 24 ОКТЯБРЯ 2026

Одна GPU или сервер на 8 GPU: когда нужен кластер

Разбираем объём памяти, параллелизм и связность. Как понять, нужны ли восемь GPU в одном сервере или несколько вычислительных узлов.

Восемь GPU не обязательно означают кластер

Сервер с восемью ускорителями может быть одним вычислительным узлом. Кластер из нескольких серверов добавляет отдельную задачу обмена между узлами. Это различие влияет на выбор сети, программного стека и стоимость. В запросе лучше написать «один сервер, восемь GPU» или указать число серверов и GPU на каждом, чем ограничиваться словом «кластер».

Сначала определите причину масштабирования

Увеличение числа карт может потребоваться потому, что модель не помещается в память, потому, что обучение занимает слишком долго, или потому, что сервису нужно обслуживать больше запросов. Эти ограничения требуют разных решений. Например, несколько независимых задач можно распределять по отдельным GPU без разделения одной модели. Для одной крупной модели необходимо, чтобы движок поддерживал распределение её вычислений и данных.

Память не складывается автоматически

Восемь GPU по 80 ГБ физически содержат суммарно 640 ГБ памяти, но приложение не получает единый прозрачный массив такого размера. Важно, какие данные дублируются и какие разделяются между устройствами. При обучении учитываются веса, градиенты, состояния оптимизатора и активации; при инференсе — также кэш и рабочие буферы. До выбора количества карт проверьте конкретную схему запуска и запас памяти на наиболее тяжёлой нагрузке.

Как различаются схемы инференса

Несколько независимых экземпляров модели помогают распределять запросы, если каждый экземпляр помещается на доступном устройстве или группе устройств. Для крупной модели можно использовать поддерживаемое движком разделение вычислений между GPU. В vLLM описаны tensor и pipeline parallelism; выбор зависит от модели и топологии. Наличие нескольких карт само по себе не определяет подходящий режим и не гарантирует линейный рост скорости.

Связность важнее одного числа GPU

Уточните точное исполнение ускорителей, топологию внутри сервера и характеристики сети между узлами. Названия NVLink, NVSwitch или Ethernet нужно рассматривать вместе с конкретной платформой. Попросите описание доступных соединений и ограничения на совместное использование ресурсов. Для распределённой нагрузки полезно измерять не только вычисления, но и время ожидания обмена и загрузки данных.

Как проверить, окупаются ли восемь карт

Сравните одну и несколько GPU на одном объёме работы с одинаковым критерием качества. Допустим, задача занимает 20 часов на одной карте и 4 часа на восьми. Вы ускорили завершение в пять раз, но использовали 32 GPU-часа вместо 20. При одинаковой ставке за GPU-час вычислительная стоимость выросла на 60%. Это условная арифметика: реальные тарифы и масштабирование измеряются отдельно. Более быстрое выполнение всё равно может быть выгодным, если время имеет ценность для бизнеса.

Как оформить запрос на конфигурацию

Укажите, что ограничивает текущий запуск, какие модель и ПО используются, сколько нужно одновременных задач и к какому сроку требуется результат. Для одного узла на восемь GPU можно выбрать восемь устройств в конфигураторе. Для нескольких узлов используйте «8+» и напишите точное распределение в комментарии. Состав сервера, связность, стоимость и доступность согласуются до запуска.

Перейти к конфигурации

Отправить конфигурацию на согласование

Источники и методика

Числовые примеры — иллюстрации методики, а не тарифы API или результаты испытаний. Конфигурацию, условия и доступность подтверждаем при согласовании.