GPU и распределение памяти — руководство AI Server Manager
Все разделы руководства · Запуск и остановка моделей
Как выбрать карты, избежать конфликтов и использовать оперативную память.
Руководство для ветки 1.0.36. Доступность функций зависит от установленной сборки, оборудования, лицензии и прав пользователя.
Автоматический выбор
В автоматическом режиме панель выбирает карты для запуска с учётом назначений других управляемых моделей и доступной памяти. Пустой ручной список в этом режиме не означает запрет на использование GPU.
Модель, которая ещё загружается, уже может занимать назначенную карту. Не запускайте несколько тяжёлых моделей подряд в расчёте на то, что память ещё не успела заполниться.
Ручной выбор
- Откройте настройки запуска и включите ручной режим выбора GPU.
- Отметьте нужные карты. Проверьте их номера и объём памяти.
- Выберите поддерживаемое размещение для этого количества карт.
- Сохраните настройки и запустите модель.
- Сверьте назначенные GPU на карточке и фактическую память в мониторинге.
Для одной модели можно выбрать первые две карты, а для другой — отдельную свободную карту. Не назначайте разные тяжёлые модели на одну карту, если выбранный сценарий не рассчитан на совместную работу.
Разделение между картами
Выбор нескольких GPU и распределение весов — разные настройки. Используйте подходящий пресет: не каждый движок и не каждая модель поддерживают любое число устройств.
В llama.cpp пропорции 1,1 означают примерно равное разделение, 30,70 — относительное соотношение между выбранными картами. Общие буферы и контекст могут расходовать память не в этих пропорциях. У vLLM для нескольких GPU используется свой режим распределения, а не это поле.
Суммарная память карт не всегда доступна как один непрерывный объём. Отдельный компонент модели всё равно должен помещаться там, где его выполняет движок.
CPU offload: GPU плюс оперативная память
Offload позволяет хранить часть данных в оперативной памяти сервера. Это снижает потребность в видеопамяти, но может замедлить работу и требует достаточного объёма свободной RAM.
Даже с offload на GPU должны помещаться текущие вычисления. Если панель сообщает нехватку RAM, сравните требуемый и доступный объём: освободите оперативную память или используйте подходящий сервер. Уменьшение разрешения помогает расходу видеопамяти, но не всегда уменьшает объём хранимых весов.
Как читать индикаторы
Мини-индикаторы карточки относятся к фактически назначенным картам. Занятая память, загрузка вычислителей и скорость ответа — разные показатели. Для полной картины сравнивайте назначение, графики и время выполнения задания.
Подключение дополнительных серверов не объединяет их оперативную память автоматически. Для одной модели на нескольких устройствах нужна поддерживаемая схема конкретного движка.
---
Назад: Запуск и остановка моделей · Далее: Чат с моделью