Квантование моделей простыми словами: GGUF, INT8 и 4-битные веса
Раздел: Форматы моделей.
Квантование уменьшает точность представления некоторых параметров модели, чтобы сократить объём хранения и расход памяти. Это не просто архивирование: движок должен понимать выбранный формат и выполнять необходимые операции. Поэтому надпись «4 bit» ещё не означает, что веса запустятся на любой видеокарте.
Формат файла и квантование — разные вещи
GGUF — контейнер, в котором могут находиться параметры и метаданные модели. Он не является синонимом четырёхбитного квантования: внутри встречаются разные типы данных. Safetensors также описывает способ хранения тензоров, а не единственный способ вычислений.
INT8 указывает на восьмибитное целочисленное представление в определённой части схемы. В обозначении W4A16 обычно подразумеваются четырёхбитные веса и шестнадцатибитные активации. При этом отдельные слои и служебные операции могут иметь другую точность. Различайте то, как параметры записаны на диске, и то, как ядро считает результат.
Что меняется после квантования
Обычно уменьшается размер весов. Но итоговый расход памяти включает контекст, буферы и неквантованные компоненты. У модели изображений или видео рядом с трансформером могут оставаться текстовый энкодер и VAE, поэтому сокращение одного компонента не означает такое же сокращение всего комплекта.
Качество и скорость необходимо проверять отдельно. Более компактные веса не обязаны быть быстрее: на конкретной карте может отсутствовать подходящее ускоренное ядро, а распаковка и преобразование данных создадут дополнительные расходы.
Как выбрать совместимую загрузку
- Определите движок, через который будете запускать модель.
- Проверьте, поддерживает ли установленная версия движка архитектуру модели и схему квантования.
- Убедитесь, что формат поддерживается на вашей архитектуре GPU, а не только в общем списке возможностей проекта.
- Скачайте полный комплект: основной файл, конфигурацию и необходимые дополнительные компоненты.
- Выполните короткий тест и сравните результат на своих задачах.
В панели не следует выбирать Hipfire для произвольного GGUF или llama.cpp для специфического MQ-пакета только потому, что оба варианта содержат квантованные веса. Аналогично SDNQ относится к своему пути обработки поддерживаемых моделей изображений и видео, а не заменяет любой LLM-движок.
Как оценивать потерю качества
Подготовьте одинаковые запросы для исходного и квантованного варианта. Полезны пересказ с проверкой фактов, извлечение структурированных данных и задача с известным правильным ответом. Оценивайте не только плавность текста: важны пропущенные детали, соблюдение формата и устойчивость на нескольких повторениях.
Не меняйте одновременно квант, шаблон чата, температуру и движок — иначе будет непонятно, что именно повлияло на результат. Не рассчитывайте, что повторное квантование уже сильно сжатых весов восстановит качество оригинала.
Что смотреть в AI Server Manager
Проверьте описание карточки каталога, поддерживаемый движок, требуемые файлы и пресет. После скачивания сверьте выбранный файл в окне запуска, особенно если в одной папке лежит несколько вариантов. Для первой настройки подойдут руководство по каталогу и статья об оценке видеопамяти.
Официальный проект llama.cpp описывает поддерживаемые способы запуска. Доступность конкретных форматов нужно сверять с версией, установленной у вас, а не только с текущей документацией проекта.
О материале
Материал подготовлен с помощью ИИ с проверкой по пользовательскому руководству панели и указанным справочным источникам. Параметры и доступные функции зависят от версии установленной сборки; приведённые примеры не являются результатами отдельного бенчмарка.