NVIDIA H200: память для больших моделей
При работе с крупными моделями и длинным контекстом важен запас видеопамяти. Для H200 подбирают совместимое исполнение ускорителя и серверную платформу с учётом нагрузки и условий размещения.
HBM3e на один GPU H200.
Выберите исполнение до выбора сервера.
Обмен между GPU согласуется с платформой.
Сравнение исполнений и критерии выбора
| Исполнение / параметр | Характеристика | Что проверить |
|---|---|---|
| H200 SXM | 141 ГБ HBM3e | Специализированная GPU-платформа. |
| H200 NVL | 141 ГБ HBM3e | PCIe-исполнение для поддерживаемых серверов. |
Поддержка H200 серверной платформой не означает, что ускорители включены в любую её комплектацию.
Артикулы из каталога QBS
| Товар | Партномер | Условия предложения |
|---|---|---|
| H200 NVL 141 ГБ PCIe | 900-21010-0040-000 | Точный комплект, состояние, гарантия и наличие — по запросу. |
Хватит ли 141 ГБ для моей модели?
Это зависит от числа параметров, точности весов, контекста, размера пакета и режима работы. Кроме весов в памяти размещаются KV-кэш и временные буферы; для обучения добавляются другие состояния. Оценку делают по всей нагрузке, а не только по размеру файла с весами.
Подобрать сервер для этой серии
Пример платформы из каталога: Supermicro SYS-821GE-TNHR — конфигурация с кодом 8×H200. Перед заказом проверяем поддержку конкретного исполнения GPU и полный состав поставки.
Когда рассматривать H200 для инференса
Большой объём памяти позволяет рассматривать более крупную модель, длинный контекст или больше одновременных запросов. Эти варианты расходуют память по-разному. Если модель уже помещается и ограничение находится в обработке данных или очереди запросов, увеличение видеопамяти само по себе не устраняет проблему.
В предварительном расчёте разделите память на веса, KV-кэш и рабочие буферы. Для сравнения с другой серией используйте одинаковую точность и настройку сервиса. Уточняйте, измерена ли скорость на одном GPU или на системе из нескольких ускорителей.
H200 NVL и HGX H200 нельзя смешивать в спецификации
Проверенный артикул 900-21010-0040-000 относится к H200 NVL PCIe. Сервер SYS-821GE-TNHR с кодом 8×H200 относится к варианту HGX с SXM-модулями. Ссылка на него показывает альтернативную архитектуру системы, а не совместимость с этой PCIe-картой. Число GPU и комплект соединений фиксируют в спецификации поставки.
Подобрать оборудование под вашу задачу
Укажите модель нейросети, сценарий работы, число пользователей, требования к размещению и бюджет. Если нужен конкретный товар — приложите артикул или спецификацию.
Обсудить конфигурациюОтправить техническое заданиеТехнические сведения: NVIDIA H200. Исполнение и совместимость проверяются по конкретному артикулу.
