Локальный ИИ на AMD Instinct MI50: Vulkan, ROCm и Hipfire
Раздел: AMD Instinct MI50.
AMD Instinct MI50 относится к семейству gfx906. Для локальной нейросети недостаточно установить произвольную сборку ROCm: должны совпасть поддержка GPU в драйвере, вычислительных библиотеках, движке и конкретных ядрах модели. Именно поэтому AMD-образ панели следует выбирать отдельно от NVIDIA-образа.
Проверьте конкретную конфигурацию
У MI50 встречаются варианты с разным объёмом HBM2. Ориентируйтесь на фактически доступную память вашей карты и данные диагностики. Запишите версию ядра, ROCm, образа панели и движка. Обозначение «AMD поддерживается» в документации проекта не означает поддержку gfx906 во всех современных сборках.
В контейнере должны быть доступны необходимые устройства AMD и права на них. Если на хосте карта видна, а внутри приложения нет, сначала проверяйте проброс устройств и группы доступа, а не параметры модели.
Три разных пути запуска
- llama.cpp с Vulkan — отдельный backend со своим обнаружением устройств и возможностями.
- llama.cpp или vLLM с ROCm/HIP — требуют совместимой вычислительной сборки; поддержка модели проверяется отдельно.
- Hipfire — отдельный движок со своими форматами и ограничениями. Его MQ-файлы нельзя считать обычными GGUF.
Наличие одного работающего пути не подтверждает работоспособность остальных. Для первого теста выберите небольшой совместимый файл, а не начинайте с самого большого варианта.
Настройка модели в панели
Откройте каталог, посмотрите рекомендации для обнаруженного оборудования и проверьте формат загрузки. После скачивания выберите соответствующий движок в карточке запуска. Если в папке несколько квантов, убедитесь, что выбран нужный файл, а не первый по имени.
Для Hipfire начинайте с текстового режима. Поддержка vision зависит от архитектуры модели, дополнительных компонентов и реализации runtime; название VL или строка text wrapper в журнале сами по себе не подтверждают обработку изображений.
Для шестнадцатибитного пути на MI50 используйте подходящие FP16-настройки. BF16-пресет, перенесённый с другой архитектуры, может оказаться неподходящим. При мультимодальном GGUF отдельно проверяйте файл проектора и доступность его операций в выбранном backend.
Как проверить выбранную карту
При нескольких GPU сопоставляйте номер панели с PCI-адресом в журнале. Изолированный процесс может называть выбранную физическую карту логическим устройством 0. Проверяйте именно соответствие физических устройств, а не совпадение всех порядковых номеров.
Дождитесь готовности модели, отправьте короткий текстовый запрос и убедитесь, что она отвечает. Для новых или экспериментальных ядер успешная загрузка весов ещё не доказывает работоспособность prefill и decode. Их проверяют реальным запросом.
Что измерять при сравнении движков
Разделяйте обработку входного текста и генерацию ответа. Записывайте длину промпта, число выходных токенов, контекст, выбранный квант и версию runtime. Первый запрос может включать компиляцию ядер. Без одинаковых условий нельзя делать вывод, что один движок «во столько-то раз быстрее».
Для AMD-экспериментов сохраняйте рабочую конфигурацию до изменения параметров. Не включайте все оптимизации одновременно и не используйте swap как замену подходящему объёму RAM.
Справка: архитектуры GPU в документации AMD, HTTP-режим Hipfire, настройка GPU в панели. Документация по ссылкам может описывать другую версию runtime — сверяйте её с установленной.
О материале
Материал подготовлен с помощью ИИ с проверкой по пользовательскому руководству панели и указанным справочным источникам. Параметры и доступные функции зависят от версии установленной сборки; приведённые примеры не являются результатами отдельного бенчмарка.