Возможности AI Server Manager — модели, GPU, изображения и видео

AI Server Manager — веб-панель для запуска локальных ИИ-моделей, управления GPU и подключения приложений через API. В одном интерфейсе собраны чат, кодер-агент, изображения, видео, распознавание и синтез речи, документы и 3D.

Обзор возможностей ветки 1.0.36, актуализирован 17 октября 2026 года. Набор движков зависит от варианта Docker-образа, видеокарты, лицензии и установленных весов. Экспериментальные функции отмечены отдельно; наличие пресета не означает проверенную работу на любом оборудовании.

1. Каталог моделей и быстрый запуск

Модели разделены по задачам: LLM, аудио, изображения, видео и 3D. Встроены поиск и скачивание с Hugging Face и ModelScope, просмотр описания и файлов, выбор нужного кванта и управление загрузками.

• Рекомендуемые карточки и пресеты учитывают обнаруженное семейство GPU: например, CMP170, CMP50 или AMD Instinct MI50.
• Можно скачать подготовленный комплект из каталога и открыть настройки его запуска. Для составных моделей учитываются обязательные компоненты и шарды.
• Загрузки имеют общий прогресс выбранного набора файлов, журнал, отмену и проверку результата. После завершения карточка обновляет имя и метаданные.
• В каталоге SDNQ доступны источники OzzyGT, Disty0 и ai-server-mgr. Условия доступа и лицензии каждого репозитория сохраняются.

Весами пользователь управляет отдельно от панели. Приватные и gated-репозитории могут требовать токен Hugging Face и принятие условий владельца модели.

2. LLM, чат и мультимодальные модели

Основные LLM-движки — vLLM и llama.cpp. Первый предназначен для серверного инференса совместимых моделей, второй поддерживает GGUF, CPU и гибридное размещение CPU/GPU. Доступность CUDA, Vulkan или ROCm определяется сборкой и устройствами.

• Пресеты запуска, контекст, точность, квантование, лимиты памяти и параметры параллелизма.
• Чат с потоковыми ответами, история диалогов и управление контекстом.
• Работа с изображениями у совместимых Vision-моделей. Для multimodal GGUF предусмотрен выбор подходящего проектора mmproj.
• Выбор GPU и нескольких одновременно работающих моделей при достаточных ресурсах.
• MTP и DFlash доступны только для поддерживаемых сочетаний модели, draft-весов, движка и профиля запуска.

Hipfire — дополнительный LLM-движок для AMD

Hipfire работает через AMD HIP и использует собственные форматы весов, включая поддерживаемые варианты MQ3. В панели есть отдельный выбор движка, каталог моделей для AMD Instinct MI50/gfx906, назначение GPU и настройки запуска. Для gfx906 подготовлены патчи совместимости и экспериментальные переключатели prefill/decode. Не каждый MQ3-квант совместим с этой картой; производительность, Vision и конкретную версию ROCm нужно проверять отдельно.

1Cat-vLLM — отдельная реализация vLLM для Turing

В NVIDIA-варианте с vLLM 0.21 предусмотрен отдельный выбор 1Cat-vLLM. Он не заменяет штатный движок: использует изолированные Python-зависимости и сборку расширений под базовые CUDA/PyTorch, включая FlashAttention 2 для SM75. Для тестов подготовлены карточки Qwen3.8 NVFP4 с DFlash2 и многокарточные пресеты CMP50. Нативная и GPU-приёмка этой интеграции ещё не завершены; она не заявляется штатной частью всех AMD- и NVIDIA-образов.

Максимальный контекст, скорость и объём VRAM зависят от модели. Универсального лимита в миллион токенов или гарантии одинаковой производительности для всех устройств нет.

3. Кодер-агент и предпросмотр проектов

В чате можно включить агентский режим работы с кодом. Каждый диалог имеет отдельный рабочий проект: файлы, историю изменений и состояние предпросмотра.

• Публичный план перед рабочими действиями агента.
• Чтение и поиск файлов, создание и точечные исправления, применение или отклонение patch.
• Code Preview с деревом файлов, редактором и предпросмотром результата.
• Сохранение проекта и возврат к нему без повторной генерации.
• Изолированный запуск проекта через совместимый плагин StackShark с разрешённым образом среды исполнения.

Работа инструментов требует подходящей чат-модели и корректных настроек её запуска. Внешняя среда исполнения настраивается отдельно; доступ к приватному Registry также требует учётных данных.

4. Генерация и редактирование изображений

Движок SDNQ объединяет поддержку совместимых Diffusers-моделей, включая семейства FLUX, Qwen Image и Ideogram. Для конкретной модели доступны текстовый запрос, исходное изображение и дополнительные режимы, которые реализованы её адаптером.

• Размер изображения, шаги, seed и параметры guidance подбираются для выбранного семейства, а не по одной общей таблице.
• Готовые примеры промптов и тестовые настройки для поддерживаемых моделей.
• Настройки VAE slicing/tiling и выгрузки компонентов в RAM там, где это поддерживает загрузчик.
• SDPA и дополнительные attention-backend: FlashAttention, SageAttention или xFormers — в зависимости от модели и GPU.
• Необязательное улучшение промпта выбранной локальной LLM; по умолчанию выключено.

Квантование может уменьшить размер весов, но само по себе не гарантирует ускорение. Предельное разрешение и время генерации зависят от модели, памяти и настроек; фиксированное обещание результата за 10–60 секунд не применяется.

5. Генерация видео и видео со звуком

Видеогенерация поддерживает адаптеры Wan2.2, MiniMax H3 и новые интеграции LTX. Доступные входы определяет конкретный профиль: текст, изображение, первый/последний кадр или дополнительные референсы.

• Разрешение, количество кадров, FPS, шаги и seed, с учётом допустимой сетки размеров модели.
• Ручные тестовые пресеты длительности и качества для совместимых запусков.
• Асинхронные задания, прогресс, журнал, получение готового результата и история генераций.
• Скачивание полученного видео; звуковая дорожка — у моделей и сценариев, которые её генерируют.

MiniMax H3 — генерация видео с аудио

MiniMax H3 интегрирован в SDNQ через Modular Diffusers. Предусмотрены сценарии текста в видео со звуком, первого/последнего кадра и совместимых визуальных или аудиореференсов. Веса для референсных сценариев отличаются от базового комплекта: нужный профиль выбирают до скачивания и запуска.

Для CMP170 подготовлены варианты одной GPU, нескольких GPU и выгрузки в RAM. Для CMP50 добавлены экспериментальные схемы одной или двух карт с CPU offload и четырёх карт с распределением компонентов. Доступны тестовые пресеты генерации, параметры разрешения и длительности. Не все схемы прошли аппаратную проверку; память, скорость и качество оценивают для выбранных весов и режима.

LTX-2.5 — видео и звук в двух режимах запуска

Для LTX-2.5 предусмотрены оригинальные веса в режиме PyTorch/Diffusers и квантованные веса в SDNQ. Панель различает форматы и не должна автоматически квантовать оригинальный checkpoint при запуске.

Полный базовый комплект LTX-2.5 Distilled SDNQ INT8 опубликован в аккаунте ai-server-mgr на Hugging Face. Веса занимают около 51,60 ГБ: трансформер — около 19,52 ГБ в 20 шардах, остальные энкодер, VAE и аудиокомпоненты оригинальные. Это не 19,52 ГБ на весь запуск: дополнительные компоненты и рабочая память тоже требуют места.

Подготовлены экспериментальные профили CMP50 и CMP170 на одной, двух или четырёх GPU, а также GPU + RAM и CPU offload. Полная GPU-генерация LTX-2.5 в нашей интеграции ещё требует проверки. Доступ к весам регулируется лицензией модели и правилами Hugging Face; INT4-комплект не объявляется готовым.

Профили нескольких GPU и CPU offload помогают выбрать способ размещения весов, но не объединяют видеопамять автоматически. Для Wan2.2 на Turing, MiniMax H3 на CMP50 и LTX предусмотрены экспериментальные схемы: перед использованием нужна проверка конкретного сочетания весов и устройств.

6. Распознавание и синтез речи

Для распознавания речи доступны Whisper.cpp, FunASR и ONNX ASR с совместимыми моделями. Языки, потоковый режим, разделение по спикерам и использование GPU зависят от выбранной реализации.

Для синтеза речи предусмотрены семейства CosyVoice, PocketTTS, Qwen3 TTS и OmniVoice. Поддержка голосов, референсного аудио, клонирования и потокового ответа определяется моделью. Веса скачиваются отдельно, а ограничения лицензий моделей сохраняются.

Voice Agent связывает распознавание речи, LLM и синтез в голосовой диалог. Для совместимых конфигураций доступны VAD и перебивание. Телефонные сценарии используют отдельный плагин LiveKit/SIP и требуют настройки связи.

7. Документы, транскрибация и анализ видео

AiSharkOCR обрабатывает PDF, изображения и поддерживаемые офисные документы. Режимы Lite, Vision и Hybrid позволяют выбрать способ разбора; мультимодальные сценарии используют совместимую модель через vLLM или llama.cpp.

Результат может содержать страницы, текстовые блоки, таблицы, формулы и Markdown. Для интеграций предусмотрены очередь заданий, статусы, прогресс, отдельные API-ключи и ограничения обработки.

Transcriber Agent принимает записи разговоров, использует подключённый ASR, поддерживает диаризацию совместимым стеком и может передать расшифровку в LLM для сводки, задач и решений.

Анализ видео через Marlin Video — отдельная задача, не генерация нового ролика: обработка помогает описывать события и получать временные отметки. Для каждого плагина требуется соответствующий доступ и настроенный движок.

8. 3D-модели и сцены

Раздел TRELLIS.2 предназначен для создания текстурированных 3D-моделей по изображению, интерактивного просмотра и экспорта GLB. В настройках доступны параметры геометрии, текстур и обработки там, где они поддерживаются выбранной сборкой.

Mira-Scene развивает создание сцены из изображения и вариант с приближённой оболочкой комнаты. Это экспериментальная интеграция: она не обещает точный обмер помещения, восстановление всех скрытых поверхностей или готовую игровую физику.

Поддержка AMD/MI50 для TRELLIS.2 также остаётся экспериментальной. Наличие профиля устройства и успешная сборка не заменяют сквозной тест генерации на GPU.

9. Распределение GPU и мониторинг

Автоматический режим назначения учитывает модели, которые уже запущены или запускаются, и резервирование ресурсов фоновыми задачами. В ручном режиме можно указать конкретные карты и поддерживаемые движком пропорции размещения.

• Для llama.cpp доступны распределение по GPU и гибридная работа с CPU; для vLLM — параметры tensor и pipeline parallel.
• Для AMD автоматический режим llama.cpp предпочитает Vulkan; ROCm доступен при совместимой сборке и ручной настройке.
• Панель отображает доступные метрики GPU: загрузку, VRAM, температуру, энергопотребление и другие показатели, которые отдаёт драйвер.
• Отслеживаются CPU, RAM и диск; события и статусы обновляются без ручной перезагрузки страницы.
• Раздел Workers позволяет подключать удалённые узлы и просматривать их состояние. Это не автоматическое объединение памяти разных серверов в один пул для любой модели.

Проверки RAM/VRAM уменьшают риск неудачного запуска, но не гарантируют отсутствие OOM: пик памяти зависит также от контекста, батча, разрешения и фактической работы движка.

10. API и интеграции

Приложения могут обращаться к OpenAI-совместимым маршрутам чата, распознавания и синтеза речи. Для изображений, видео и 3D предусмотрены дополнительные маршруты панели, в том числе асинхронные задания и получение результатов.

В разделе «Как подключиться к API» есть адрес панели, ID запущенной модели, тип авторизации и готовые примеры запросов. Схемы для видео, 3D, OCR и плагинов зависят от их API: не каждый метод является частью стандарта OpenAI.

MCP Server предоставляет инструменты управления моделями и доступными функциями панели. Ключи панели, MCP и отдельных плагинов имеют разные назначения; их не следует считать взаимозаменяемыми.

11. Пользователи, плагины и безопасность

Предусмотрены учётные записи, роли, права доступа и API-ключи. Настройки общих плагинов и административные действия ограничены правами пользователя; чаты, агентские задания и приватные данные привязаны к владельцу.

Плагины работают отдельными процессами и могут управляться независимо. Среди интеграций — Telegram, планировщик задач, Server Messenger, голосовые сервисы, OCR, транскрибация, детектор объектов и Pearl Mining. Возможности майнинга и настройки GPU зависят от установленного бинарника, драйвера и разрешений контейнера.

Локальные модели позволяют выполнять инференс на своём сервере. При этом скачивание весов, внешние API, мессенджеры и другие сетевые интеграции могут использовать интернет, если пользователь их подключил.

12. Обновление и восстановление панели

Отдельный AI Server Manager Updater управляет обновлением контейнера. Для совместимых установок предусмотрены проверка обновления, прогресс, отдельный перезапуск и откат при неудачном запуске новой версии.

Обновлятор сохраняет аппаратную линию образа: варианты AMD и NVIDIA, а также разные профили vLLM не должны подменяться случайным тегом. Его локальная аварийная веб-панель на порту 8098 показывает состояние контейнера и позволяет редактировать Compose и окружение с резервной копией.

Новая лицензия проверяется защищённым бинарником, сохраняется через обновлятор и применяется отдельным перезапуском. Для этих функций нужны совместимые версии панели и updater. Аварийную панель следует защищать паролем и не публиковать в интернете.

13. Что доступно на тарифе Старт

На тарифе Старт доступны LLM, Whisper и Silero VAD, каталог SDNQ, генерация изображений и видео. Другие аудиодвижки, 3D и дополнительные плагины могут требовать иной тариф или отдельное разрешение лицензии.

Текущие условия смотрите в разделе тарифов и в своей лицензии. Доступ к функции панели не отменяет требований к оборудованию и условий использования конкретных весов.

14. Экспериментальные режимы версии 1.0.36

• Hipfire для AMD/gfx906: собственные форматы весов, адаптации ядер и тестовые переключатели prefill/decode.
• Strata для совместимых GGUF-комплектов и экспериментальные многокарточные профили.
• Отдельный 1Cat-vLLM в NVIDIA-сборке 0.21 с поддержкой SM75; штатный vLLM сохранён. Нативная и GPU-приёмка ещё не завершены.
• LTX-2.3 и LTX-2.5, новые схемы размещения Wan2.2 и MiniMax H3 на CMP50, а также отдельные варианты генерации 3D на AMD.

Для LTX-2.5 опубликован полный базовый комплект SDNQ INT8. Квантован трансформер, остальные компоненты сохранены оригинальными; полная GPU-генерация требует проверки. Для оригинальных весов предусмотрен отдельный режим PyTorch/Diffusers.

Эти функции нельзя считать гарантированно рабочими на любой карте. Успешное скачивание, компиляция или наличие пресета не подтверждают скорость, качество результата и достаточность памяти в конкретном сценарии.

15. Как начать

1. Выберите установщик и образ под свои GPU и драйвер.
2. Откройте панель, настройте доступ и проверьте обнаруженные устройства.
3. Скачайте совместимую модель из каталога и выберите её пресет.
4. При необходимости измените назначение GPU, контекст и параметры памяти.
5. Дождитесь подтверждённой готовности модели и выполните небольшой тест.

Требования к CPU, RAM, VRAM и диску определяют выбранные веса и сценарий. CPU offload расходует системную RAM и может заметно замедлить работу; несколько GPU не всегда заменяют одну карту с большим объёмом памяти.

История версий и новости · Изменения 1.0.36 · Документация