llama.cpp, vLLM и Hipfire: какой движок выбрать для локальной модели
Раздел: Движки запуска.
Движок запуска, или inference runtime, загружает модель, выполняет вычисления и обслуживает запросы. Панель управления помогает настроить этот процесс, но не делает форматы всех движков взаимозаменяемыми. Выбор runtime начинается с совместимости и только затем переходит к сравнению производительности.
llama.cpp: удобный путь для совместимых GGUF
Если модель представлена в поддерживаемом GGUF, llama.cpp часто становится понятной отправной точкой для локального чата. В панели выбираются файл, backend, устройства и параметры контекста. Возможность частичного размещения вне GPU полезна, когда модель не полностью помещается в VRAM, но скорость такого режима следует измерять.
Для vision-сценария может потребоваться отдельный проектор. Подходящий формат основного файла не подтверждает автоматически поддержку изображений и дополнительных компонентов.
vLLM: проверяйте архитектуру и установленную версию
vLLM используют для обслуживания поддерживаемых моделей через API и сценариев с параллельными запросами. Важно совпадение архитектуры, схемы квантования, оборудования и версии runtime. Настройки, работающие в одном образе, могут отсутствовать в другом.
Длинный контекст, speculative decoding и многокарточный режим требуют отдельной проверки. Подключение draft-модели — это не универсальный ускоритель любой LLM: нужен совместимый комплект, а дополнительная модель тоже потребляет ресурсы. Для Turing нельзя переносить конфигурацию с нового Ampere-образа без проверки.
Hipfire: отдельный путь для подходящих AMD-сценариев
В AI Server Manager Hipfire представлен самостоятельным движком. Выбирайте для него поддерживаемые MQ-файлы из соответствующего каталога. Скачанный GGUF не становится моделью Hipfire после изменения расширения, а MQ-пакет не обязан распознаваться другими движками.
Для gfx906 важна поддержка конкретных вычислительных операций. Успешная загрузка весов проверяет только часть пути: реальный текстовый запрос дополнительно проверяет prefill и decode. Экспериментальные оптимизации включайте отдельно от базового теста.
Практическое дерево выбора
- Есть модель, которую требуется использовать? Сначала проверьте, какой движок понимает её архитектуру и формат.
- Есть ограничения по GPU? Исключите несовместимые сборки и ядра.
- Не хватает памяти? Проверьте доступные кванты, длину контекста и поддержку offload.
- Нужно несколько пользователей? Тестируйте очередь, параллельность и время ожидания, а не только скорость одного короткого ответа.
- Нужны картинки, инструменты или структурированный вывод? Проверьте каждую функцию отдельным запросом.
Как сравнить скорость честно
Зафиксируйте модель, файл весов, контекст, длину входа и длину ответа. Отделяйте первый прогрев от последующих запросов, а скорость обработки промпта — от генерации токенов. При разных квантах сравнивается уже не только движок, но и представление модели.
Оценивайте также качество результата и стабильность. Более быстрый ответ с неправильным шаблоном чата или сломанным вызовом инструментов не решает исходную задачу. Сначала получите работающую базовую конфигурацию, затем меняйте по одному параметру.
Начать можно с окна настройки запуска. Официальные справочные материалы: llama.cpp, масштабирование vLLM и служба Hipfire. Возможности актуальной документации могут отличаться от установленной версии.
О материале
Материал подготовлен с помощью ИИ с проверкой по пользовательскому руководству панели и указанным справочным источникам. Параметры и доступные функции зависят от версии установленной сборки; приведённые примеры не являются результатами отдельного бенчмарка.