NVIDIA L40S: AI и графические нагрузки
L40S подходит для проектов, где сочетаются нейросетевые и графические задачи. При подборе сервера важно проверить PCIe-слоты, мощность и охлаждение, а также требования программного обеспечения.
GDDR6 с ECC.
Серверная карта расширения.
Обмен между GPU нужно учитывать в архитектуре.
Сравнение исполнений и критерии выбора
| Исполнение / параметр | Характеристика | Что проверить |
|---|---|---|
| Память | 48 ГБ GDDR6 ECC | Оценить размер модели, контекст и рабочие буферы. |
| Соединение | PCIe 4.0 x16; NVLink не поддерживается | Проверить топологию сервера и способ распределения задачи. |
| MIG | Не поддерживается | Для изоляции нагрузок оценивать другие средства и их лицензирование. |
L40 и L40S — разные модели. Не подменяйте их при сравнении предложений по сокращённому названию.
Артикулы из каталога QBS
| Товар | Партномер | Условия предложения |
|---|---|---|
| L40S 48 ГБ PCIe | 900-2G133-0080-000 | Точный комплект, состояние, гарантия и наличие — по запросу. |
Можно ли использовать L40S для локальной LLM?
Выбор зависит от требований модели к памяти, поддерживаемых вычислений и числа параллельных запросов. Для размещения модели на нескольких GPU необходимо оценить влияние обмена через PCIe. Возможность запуска не означает, что будет достигнута требуемая скорость ответа.
Подобрать сервер для этой серии
Пример платформы из каталога: Supermicro SYS-521GE-TNRT — платформа PCIe. Перед заказом проверяем поддержку конкретного исполнения GPU и полный состав поставки.
L40S: независимые запросы и совместная работа GPU
Если несколько GPU обслуживают независимые экземпляры модели, можно распределять запросы между ними. Если одна модель разделена между GPU, возникает обмен в процессе выполнения. У L40S нет NVLink, поэтому влияние межсоединения PCIe нужно оценивать на выбранном программном стеке. Сумма памяти нескольких карт не становится автоматически памятью одной карты.
Для проекта с генерацией изображений, визуализацией и языковой моделью перечислите приложения и график их одновременной работы. Общий запас памяти рассчитывают с учётом совместно запущенных задач. Поддержка графической нагрузки не означает, что любой сценарий виртуализации доступен без дополнительной лицензии.
Что проверить в сервере для L40S
Сверьте поддержку точного OEM-артикула, доступные слоты и подключение к CPU, блоки питания и воздушный поток шасси. Для закупки нескольких карт полезно согласовать весь комплект сразу: число GPU, кабели питания и другие необходимые компоненты. Для оценки скорости ответа используйте выбранную модель и реальные размеры запросов, а не только объём 48 ГБ.
Два партномера L40S
900-2G133-0080-000 и 900-2G133-0180-030 представлены отдельными карточками. Различия комплектации не подтверждены: при сравнении сохраняйте полный код и уточняйте состояние, принадлежности, гарантию и поддержку в сервере.
Для ограничений по месту и мощности также рассмотрите NVIDIA L4 с проверкой требований вашей нагрузки.
Подобрать оборудование под вашу задачу
Укажите модель нейросети, сценарий работы, число пользователей, требования к размещению и бюджет. Если нужен конкретный товар — приложите артикул или спецификацию.
Обсудить конфигурациюОтправить техническое заданиеТехнические сведения: NVIDIA L40S. Исполнение и совместимость проверяются по конкретному артикулу.
