Локальные нейросети на CMP 50HX 20 ГБ: настройка и ограничения
Раздел: NVIDIA CMP 50HX.
В этом руководстве рассматривается используемая в нашей конфигурации модифицированная NVIDIA CMP 50HX с 20 ГБ видеопамяти. Это важно: название CMP 50HX само по себе не означает 20 ГБ. Например, в спецификации серийной MSI CMP 50HX указано 10 ГБ GDDR6. Поэтому пресеты для нашей конфигурации нельзя автоматически переносить на любой экземпляр этой карты.
С чего начать проверку сервера
Перед запуском убедитесь, что драйвер действительно предоставляет полный объём памяти вашей модификации, контейнер видит GPU, а карта стабильно проходит рабочую нагрузку. Проверяйте не только красивое число в карточке, но и отсутствие ошибок при фактическом выделении и использовании памяти. После обновления ядра или драйвера эту проверку стоит повторить.
Для вычислительного сервера также важны охлаждение, питание и работа PCIe. Программные параметры модели не исправляют перегрев или аппаратную нестабильность. Эта статья не является инструкцией по переделке памяти или прошивке карты.
Какую модель выбрать на 20 ГБ
Начинайте с совместимого квантованного варианта и небольшого контекста. Даже если веса занимают заметно меньше 20 ГБ, оставьте память для кеша и рабочих буферов. У vision-моделей учитывайте дополнительный проектор, у моделей изображений — энкодер и VAE.
В каталоге AI Server Manager ориентируйтесь на карточки и пресеты для CMP 50HX/Turing, но перед запуском проверяйте фактический формат. Наличие подходящего семейства в каталоге не гарантирует поддержку каждого кванта каждой версией движка.
Точность и attention backend
Для обычных шестнадцатибитных вычислений на Turing безопасной отправной точкой служит FP16, а не перенос настроек BF16 с Ampere. Выбор зависит от компонента: квантованные веса LLM, кеш внимания, текстовый энкодер и VAE могут иметь разные требования к точности.
Не выбирайте FlashAttention 2 только по аналогии с CMP 170HX. Для Turing нужна совместимая реализация attention. В наших сборках могут присутствовать специальные пути для SM75, но их применимость зависит от движка и модели. SDPA можно использовать как базовый вариант сравнения там, где он поддерживается; доступность xFormers также проверяйте для конкретного pipeline.
Несколько CMP 50HX и offload
Две карты по 20 ГБ не становятся одной картой на 40 ГБ. Для общей модели нужен поддерживаемый многокарточный режим. Если он недоступен или невыгоден, разумнее распределить разные задачи по отдельным GPU.
CPU offload помогает только в поддерживаемом runtime и при достаточном объёме RAM. При его включении часть данных перемещается между CPU и GPU, что может увеличить задержку. Начинайте с короткого запроса или небольшого изображения, прежде чем переходить к длительному видео.
Проверка первого запуска
Сохраните версию образа, движок, выбранный файл весов, контекст и номера GPU. В консоли проверьте корректное устройство и дождитесь готовности модели. Затем выполните одинаковый короткий тест дважды: первый запуск может включать подготовку и прогрев. Замеры разных форматов и настроек не следует выдавать за сравнение одной только видеокарты.
Продолжение: оценка VRAM, распределение по картам и настройки запуска.
Для различения штатной и модифицированной конфигурации: спецификация MSI CMP 50HX.
О материале
Материал подготовлен с помощью ИИ с проверкой по пользовательскому руководству панели и указанным справочным источникам. Параметры и доступные функции зависят от версии установленной сборки; приведённые примеры не являются результатами отдельного бенчмарка.