AI Server Manager 1.0.36 — каталог, обновлятор и генерация: подготовка релиза

Обзор изменений готовящейся версии AI Server Manager 1.0.36. На момент подготовки публикации локальная сборка варианта vLLM 0.21 ещё не завершена. Эта новость не означает, что все аппаратные варианты релиза уже опубликованы или прошли сквозные GPU-тесты.

Каталог и скачивание моделей

Каталог разделяет семейства моделей и предлагает профили по оборудованию. В SDNQ приоритет отдан моделям OzzyGT, сохранены прежние источники и добавлены комплекты ai-server-mgr. Для Strata и Hipfire предусмотрены собственные форматы и карточки.

Общая шкала скачивания учитывает весь выбранный набор, небольшие JSON и уже имеющиеся файлы. Имена компонентов в логах дополнены путями. После завершения карточка сохраняет название и обновляет метаданные без ручной синхронизации. Исправлено взаимное ожидание при отмене загрузки.

Изображения и видео

Обновлён наш форк SDNQ. В FLUX.3 Klein устранены ошибки отключения prompt-upsampler и выбора xFormers в модульном pipeline. Для CMP50 и CMP170 добавлены профили запуска и готовые примеры. Локальный улучшитель промптов использует выбранную запущенную LLM и по умолчанию выключен.

Для Wan2.2 и MiniMax H3 подготовлены дополнительные схемы нескольких CMP50, выгрузки компонентов или блоков в RAM и тестовые пресеты длительности/качества. Проверка CPU offload больше не требует поместить все веса одновременно в VRAM; доступная RAM и память активных компонентов по-прежнему проверяются.

Меню разрешений учитывает сетку конкретного семейства: Wan, MiniMax H3 и LTX. Несовместимые размеры не предлагаются, а при смене модели выбирается совместимый вариант с уведомлением.

LTX-2.3 и LTX-2.5

Добавлены маршруты видео со звуком и экспериментальные пресеты CMP50/CMP170 для 1/2/4 GPU и CPU offload. Оригинальные веса LTX-2.5 запускаются отдельно в PyTorch/Diffusers-режиме, квантованные — в SDNQ; оригинал не квантуется автоматически при запуске.

В Hugging Face опубликован полный базовый LTX-2.5 Distilled SDNQ INT8-комплект: около 51,60 ГБ весов. Квантован только трансформер — 20 шардов, около 19,52 ГБ; энкодер, VAE и аудиокомпоненты сохранены оригинальными. SHA-256 проверены, исходные веса сохранены. Полная GPU-генерация ещё требует проверки; INT4-веса не объявляются готовыми. Для скачивания действуют условия лицензии модели и требования Hugging Face к доступу.

Обновлятор и лицензия

Отдельный updater предоставляет локальную аварийную веб-панель на порту 8098: статус контейнера, запуск/остановка, ручное обновление и редактирование Compose/.env. Предусмотрены авторизация, смена пароля и резервные копии. При неудачном обновлении используется откат; для новых функций необходимо обновить и сам updater.

В настройках панели добавлена проверка новой лицензии защищённым бинарником, сохранение через updater и отдельный перезапуск. Невалидный ключ не сохраняется. При сбое нового запуска восстанавливаются прежние контейнер и окружение.

GPU и движки

Автоматический режим распределяет запуски с учётом занятых и резервируемых карт. Ручной выбор GPU и пропорции llama.cpp сохраняются; для vLLM учитываются tensor и pipeline parallel. AMD в автоматическом режиме llama.cpp использует Vulkan, ROCm можно выбрать вручную.

Для AMD/Hipfire развиваются патчи gfx906, прогресс загрузки и отдельные тестовые переключатели prefill/decode. Для NVIDIA 0.21 добавлен экспериментальный выбор 1Cat-vLLM со сборкой под базовые CUDA/PyTorch и FA2 SM75. Strata, новые схемы offload и профили 1Cat требуют отдельной аппаратной приёмки; завершённая компиляция не равнозначна проверенной генерации.

Чат, плагины и нагрузка на диск

Агент сохраняет публичный план перед рабочими действиями. Дорабатываются Code Preview, отмена устаревших запросов и защита от поздних ответов после смены пользователя. Исправлены подтверждение остановки собственного SIP-сервера, выбор точности OCR и работа с multimodal-проекторами.

Сокращены повторные записи метрик и промежуточной истории, добавлена ротация crash.log и ограничения Docker-логов для новых Compose-конфигураций. Финальные слои интерфейса и backend отделены от тяжёлых компонентов, а готовые wheels сохраняются для повторного использования.

Что доступно на тарифе Старт

LLM, Whisper/Silero VAD, каталог SDNQ и генерация изображений и видео. Ограничения других аудиодвижков, 3D и дополнительных плагинов сохраняются.

Новые экспериментальные режимы не сопровождаются обещанием ускорения или гарантией размещения в памяти. Перед установкой проверяйте наличие именно своего варианта образа и требования выбранной модели.