Запуск нейросетей на CMP 170HX: память, пресеты и несколько GPU
Раздел: NVIDIA CMP 170HX.
CMP 170HX используется в наших сценариях локального ИИ как вычислительный ускоритель. Для подбора модели важен не только индекс карты, но и реально доступная память, состояние драйвера и конкретная сборка движка. Конфигурацию с доступными 64 ГБ нельзя считать характеристикой любого CMP 170HX без проверки конкретного сервера.
Почему начинать нужно с диагностики
Посмотрите, сколько памяти предоставляет GPU после загрузки системы, нет ли ошибок драйвера и совпадает ли информация на хосте и в контейнере. Если используется модифицированная конфигурация, доступность заявленного объёма должна подтверждаться реальной нагрузкой. Наличие числа в nvidia-smi ещё не заменяет проверку стабильности.
Запишите версию драйвера, ядра и образа панели. Эти данные пригодятся после обновления, особенно если на сервере есть собственные настройки активации карты. Не переносите низкоуровневые параметры с другого сервера без проверки.
Что даёт большой объём VRAM
Он позволяет рассматривать более крупные веса, длиннее контекст или дополнительные компоненты pipeline. Однако все эти возможности конкурируют за один ресурс. Большая модель, длинный диалог и несколько одновременных пользователей могут потребовать существенно больше памяти, чем короткий одиночный запрос.
Для генерации изображений и видео считайте полный комплект: трансформер, текстовый энкодер, VAE, промежуточные данные и, если используются, дополнительные модули. Размер одного файла трансформера не описывает пиковое потребление всей генерации.
Как выбрать пресет в AI Server Manager
- В каталоге выберите модель с подходящим форматом и поддерживаемым движком.
- Убедитесь, что скачались все необходимые компоненты.
- В окне запуска выберите группу CMP 170HX и вариант для конкретной модели.
- Сверьте выбранные GPU, контекст, точность и параметры распределения.
- Запустите короткую задачу и проверьте консоль и мониторинг.
Пресет — стартовая конфигурация, а не автоматическая гарантия результата для любой ревизии модели. Если вручную поменять квант или дополнительные веса, параметры потребуется проверить заново.
Attention и точность вычислений
На Ampere доступны возможности, которых нет в той же форме на Turing, но полезность конкретного backend определяется реализацией движка. Не выбирайте одновременно несовместимые оптимизации. Сравнивая SDPA и ускоренное внимание, сохраняйте одинаковыми модель, размер входа, seed там, где он применим, и остальные настройки.
Для поиска численных ошибок иногда требуется более высокая точность отдельных компонентов, даже если основная часть pipeline работает в FP16 или с квантованными весами. Название GPU не отменяет требований конкретной архитектуры.
Одна карта или несколько
Если задача помещается на одной карте с приемлемой скоростью, это удобная базовая конфигурация. Добавление GPU может помочь вместимости, но создаёт расходы на пересылки. Для нескольких независимых пользователей или задач иногда полезнее отдельные модели на разных устройствах.
Для видео начинайте с короткого теста небольшого разрешения, затем меняйте длительность и размер кадра по одному. Сохраняйте настройки вместе с результатом, чтобы сравнение было воспроизводимым.
Пошаговые действия доступны в разделах «GPU», «Изображения» и «Видео». Для разграничения возможностей разных карт смотрите также материал о CMP 50HX 20 ГБ: пресеты этих двух семейств не следует считать взаимозаменяемыми.
О материале
Материал подготовлен с помощью ИИ с проверкой по пользовательскому руководству панели и указанным справочным источникам. Параметры и доступные функции зависят от версии установленной сборки; приведённые примеры не являются результатами отдельного бенчмарка.