Возможности AI Server Manager

LLM, изображения, видео, речь, документы и 3D в одной панели. Обзор ветки 1.0.36: доступность зависит от образа, GPU, модели и лицензии.

Задачи для локальных моделей

Выбирайте подходящий движок и веса. Возможности каждого семейства отличаются.

LLM и Vision

vLLM и llama.cpp, GGUF и совместимые квантованные веса, потоковый чат, контекст и мультимодальные проекторы. Размер контекста определяется моделью и ресурсами.

Кодер-агент

Публичный план, отдельный проект для каждого чата, точечные правки и Code Preview. Изолированное выполнение проектов через настраиваемую интеграцию StackShark.

Генерация изображений

SDNQ, семейства FLUX, Qwen Image и Ideogram. Примеры промптов, настройки генерации и attention по GPU; локальный улучшитель промпта включается отдельно.

MiniMax H3 и LTX-2.5

Видео со звуком, текст и совместимые референсы. MiniMax H3 работает через SDNQ; для LTX-2.5 предусмотрены SDNQ INT8 и оригинальные веса PyTorch/Diffusers. Новые схемы требуют GPU-проверки.

Речь и голосовой диалог

Whisper, FunASR, ONNX ASR и совместимые TTS. Voice Agent объединяет распознавание, LLM и озвучивание; телефонные сценарии требуют настройки LiveKit/SIP.

Документы и 3D

AiSharkOCR, анализ разговоров, детектор объектов и TRELLIS.2 с GLB-экспортом. Mira-Scene и отдельные AMD-профили 3D экспериментальны; доступ зависит от лицензии.

Управление сервером и интеграции

Автоматизация запуска с ручным контролем настроек и понятными аппаратными ограничениями.

Каталог по GPU

Разделы по типам моделей, рекомендации для CMP170, CMP50 и MI50, поиск Hugging Face и ModelScope. Общий прогресс загрузки и обновление карточки после скачивания.

Распределение GPU

Автоматический выбор карт с учётом запусков и резервов либо ручное назначение. Поддерживаемые схемы нескольких GPU и CPU offload; проверки памяти не исключают все случаи OOM.

Мониторинг и воркеры

GPU, VRAM, CPU, RAM, диск и доступные метрики драйвера. Подключение удалённых узлов не означает автоматическое объединение памяти всех серверов.

API и плагины

OpenAI-совместимые маршруты, отдельные API видео, 3D и OCR, MCP, Telegram и планировщик. Права и ключи разделены; для интеграций предусмотрены примеры подключения.

Обновление и восстановление

Отдельный updater: прогресс, перезапуск и откат неудачного обновления. Локальная аварийная панель, резервные копии конфигурации и сохранение аппаратной линии образа.

Тарифы и ограничения

На Старт доступны LLM, Whisper/Silero VAD и генерация изображений и видео через SDNQ. Другие функции зависят от лицензии. Экспериментальные пресеты требуют проверки на своём оборудовании.

Дополнительные LLM-движки

Отдельные интеграции со своими форматами, аппаратными профилями и ограничениями.

AMD Hipfire

AMD HIP и собственные форматы весов, включая совместимые варианты MQ3. Каталог для MI50/gfx906, выбор GPU и экспериментальные оптимизации prefill/decode. Совместимость конкретных весов и ROCm нужно проверять.

1Cat-vLLM для Turing

Отдельный выбор в NVIDIA-сборке vLLM 0.21, штатный движок сохраняется. Изолированная интеграция с FA2 SM75 и тестовыми профилями CMP50. Нативная и GPU-приёмка ещё не завершены.

Strata

Отдельный запуск совместимых GGUF-комплектов, каталог и экспериментальные схемы нескольких GPU. Требуется подходящая пара файлов и проверка на конкретных картах.

Все функции и ограничения

Подробное описание движков, тарифов, экспериментальных режимов и требований к оборудованию.

Открыть подробное описание