Что это: FP16 и MoE для серверных CPU
Ранее ZenDNN поддерживал в основном INT8 и BF16. Добавление FP16 расширяет возможности для задач, где важна точность, например, в рекомендательных системах и NLP. MoE — это архитектура, при которой активируется только часть нейросети, что снижает вычислительную нагрузку. AMD адаптировала ZenDNN для эффективной работы с такими моделями, что особенно актуально для крупных языковых моделей.
Поддержка vLLM — популярного фреймворка для инференса LLM — означает, что пользователи могут использовать ZenDNN как бэкенд для ускорения. Это упрощает развертывание решений на базе AMD EPYC без необходимости глубокой интеграции. В версии 6.0 также улучшена работа с ONNX Runtime и PyTorch.
Что значит для российского рынка и закупок
Для российских интеграторов и закупщиков ZenDNN 6.0 — это возможность использовать серверы на AMD EPYC 6-го поколения для задач ИИ без обязательного приобретения дорогих GPU. Особенно это актуально в условиях ограничений на поставки ускорителей. Поддержка FP16 и MoE позволяет эффективно обрабатывать модели средней размерности на CPU, что может снизить совокупную стоимость владения.
При выборе оборудования стоит учитывать, что оптимизация ZenDNN работает только на процессорах AMD EPYC 4-го и 6-го поколений. Для российских заказчиков, которые уже используют серверы на EPYC 9004 или планируют переход на EPYC 9005, это обновление может дать прирост производительности без замены платформы. Рекомендуется тестировать конкретные модели ИИ на совместимость с ZenDNN 6.0, так как не все сценарии выигрывают от FP16.
По материалам AMD (www.amd.com), Sat, 11 Ju. Источник.
Смотрите в каталоге
Уточните наличие, цены и сроки поставки: нажмите «Отправить запрос» в шапке сайта или напишите на info@qbs.ru.
