Запуск и остановка моделей — руководство AI Server Manager
Все разделы руководства · GPU и распределение памяти
Настройки карточки, выбор движка, готовые пресеты и проверка запуска.
Руководство для ветки 1.0.36. Доступность функций зависит от установленной сборки, оборудования, лицензии и прав пользователя.
Откройте настройки карточки
В разделе «Запуск» найдите скачанную модель и откройте её настройки. Перед изменением уже работающей конфигурации сначала остановите модель. Запишите или сохраните рабочие параметры, если собираетесь экспериментировать.
- Проверьте название модели и выбранный файл весов.
- Выберите совместимый движок.
- В списках пресетов выберите семейство своей видеокарты и рецепт для модели.
- Проверьте контекст, точность, выбор GPU и режим размещения.
- Сохраните настройки или нажмите «Сохранить и запустить».
Как выбрать движок
- **vLLM** — поддерживаемые LLM в подходящем формате весов.
- **llama.cpp** — совместимые GGUF-модели; доступные варианты зависят от сборки.
- **Hipfire** — дополнительные совместимые модели для AMD и собственных форматов весов.
- **Strata** — отдельный движок для поддерживаемых комплектов.
- **1Cat-vLLM** — отдельный экспериментальный вариант в соответствующей NVIDIA-сборке.
- Для изображений, видео, аудио и 3D используйте движок из карточки нужного семейства.
Если движка нет в списке, он может отсутствовать в установленной сборке или не поддерживать выбранные веса. Не переименовывайте файлы, чтобы заставить карточку показать другой движок.
Контекст и дополнительные настройки
Контекст — объём текста, который модель может учитывать за один запрос. Большое значение расходует больше памяти. Для первого теста используйте рекомендованное значение; длинный контекст имеет смысл увеличивать после проверки обычного чата.
Разрешение доверять удалённому коду включает выполнение кода автора модели. Включайте его только для доверенного источника, если этого требует рецепт. Это не универсальное исправление ошибок запуска.
Изображения в LLM
Для Vision нужна совместимая модель. Если используется GGUF с дополнительным проектором, выберите подходящий mmproj-файл в настройках. Наличие кнопки загрузки изображения само по себе не делает текстовую модель мультимодальной.
Когда модель действительно готова
Откройте консоль и дождитесь подтверждённой готовности карточки. Сообщение о создании процесса ещё не означает, что все веса загрузились. После готовности проведите короткий тест в соответствующем разделе.
Если сохранение не подтверждено или настройки изменены в другой вкладке, закройте и заново откройте окно. Сверьте текущие параметры и статус, прежде чем повторять действие.
Остановка и освобождение памяти
Нажмите «Остановить» на нужной карточке и дождитесь изменения статуса. Не удаляйте модель для обычной остановки. Для применения новых параметров остановите модель и запустите её заново.
---
Назад: Каталог и скачивание моделей · Далее: GPU и распределение памяти