Сколько видеопамяти нужно для локальной нейросети
Раздел: Память и оборудование.
Размер файла модели — только отправная точка для оценки видеопамяти. Даже если веса занимают меньше VRAM, запуск может завершиться ошибкой: движку нужна память для вычислений, контекста и служебных структур. Для надёжной настройки полезно разделять эти расходы.
Четыре основных потребителя памяти
- Веса — параметры модели. Их объём зависит от числа параметров и представления чисел.
- Кеш контекста — данные, которые движок сохраняет при обработке диалога. В обычных attention-моделях существенную часть составляет KV-кеш; у гибридных архитектур добавляются другие состояния.
- Рабочие буферы — временные тензоры, активации, память выбранных ядер и мультимодальных компонентов.
- Служебный запас — контекст GPU, библиотеки, фрагментация аллокатора и особенности выполнения движка.
Поэтому нельзя считать свободную память по формуле «объём видеокарты минус размер скачанного файла» и ожидать точного результата.
Как приблизительно оценить веса
Для условной плотной модели с 27 миллиардами параметров теоретический объём одних параметров составляет около 54 GB при двух байтах на параметр, 27 GB при одном байте и 13,5 GB при четырёх битах. Это десятичные гигабайты и учебная арифметика, а не требование конкретной модели. Метаданные квантования, неквантованные слои и служебные данные меняют фактический размер. Отображение в GiB также даёт другое числовое значение.
Для MoE нельзя оценивать размер хранения только по числу активных параметров. Эксперты, не участвующие в конкретном токене, всё равно должны где-то храниться — на GPU, в RAM или в иной поддерживаемой схеме размещения.
Почему длинный контекст требует больше памяти
Контекст включает не только последнее сообщение. В него входят системная инструкция, история разговора, документы и другие входные данные. Увеличение предельной длины контекста и числа одновременно обслуживаемых запросов может увеличить резервирование памяти ещё до первого сообщения.
Если небольшой запрос проходит, а большой документ вызывает OOM, проверьте настройки контекста и очереди. Точный расход зависит от архитектуры, типа кеша и движка: универсальной нормы «столько-то мегабайт на тысячу токенов» для всех моделей нет.
Практическая настройка в панели
- Посмотрите фактическую память выбранной GPU в мониторинге.
- Остановите ненужные модели через их карточки. Проверьте также внешние процессы, которые панель не запускала.
- Выберите подходящие веса и небольшой стартовый контекст.
- Запустите один запрос и зафиксируйте потребление памяти, время первого ответа и итоговый результат.
- Увеличивайте контекст или параллельность по одному параметру. После каждого изменения повторяйте одинаковый тест.
Несколько видеокарт не образуют автоматически единый непрерывный блок VRAM. Часть данных и буферов может дублироваться, а некоторые операции должны помещаться на отдельной карте.
Когда поможет оперативная память
Только когда движок и конкретный режим действительно поддерживают размещение части данных вне GPU. Переключатель offload не отменяет минимальный расход VRAM и не делает скорость RAM равной скорости памяти видеокарты. Подробности — в статье о CPU offload.
Настройки карты и размещения описаны в руководстве по GPU. Главный критерий достаточности памяти — успешный повторяемый тест вашей модели с вашим контекстом, а не только размер весов на диске.
О материале
Материал подготовлен с помощью ИИ с проверкой по пользовательскому руководству панели и указанным справочным источникам. Параметры и доступные функции зависят от версии установленной сборки; приведённые примеры не являются результатами отдельного бенчмарка.