Выбор коммутатора InfiniBand для кластера ИИ — это не столько погоня за наибольшим числом в технической документации, сколько соответствие скорости канала связи, плотности портов, топологии и планам роста. Коммутационная матрица 200G HDR может подойти для кластера определенного размера, но она не является автоматически достаточной для каждой обучающей платформы. Ключевой вопрос заключается в том, сможет ли она обеспечить бесперебойную передачу трафика ускорителя по мере расширения кластера.
Что означает 200G HDR для сетей искусственного интеллекта?
Пропускная способность — это только первое испытание.
200G HDR описывает скорость каждого соединения InfiniBand, а не производительность всего кластера. Реальные результаты зависят от количества активных каналов, балансировки трафика, перегрузки сети и возможности серверов и адаптеров использовать доступную полосу пропускания. Для распределенного обучения коммутатор должен обрабатывать многократные обмены данными между вычислительными узлами, а не только эпизодический трафик хранения или управления.
Таким образом, канала HDR может быть достаточно, если кластер спроектирован с учетом этого поколения адаптеров, и приложение не требует более высокой скорости коммутационной матрицы. Он может оказаться неподходящим вариантом, если план уже предполагает использование восходящих каналов класса 400G, очень больших задач по сокращению нагрузки или быстрый переход к более плотному кластеру ускорителей. Пропускную способность следует оценивать на уровне коммутационной матрицы: скорость на порт, суммарная коммутационная способность, топология кабеля и количество доступных конечных точек — все это имеет значение.
Плотность портов меняет уравнение.
NVIDIA MQM8790-HS2F — это коммутатор InfiniBand HDR 200 Гбит/с в форм-факторе 1U из семейства Quantum. Его документированная конфигурация обеспечивает 40 портов QSFP56 для InfiniBand HDR 200 Гбит/с, а совместимые разветвительные кабели могут преобразовать эти соединения в 80 портов HDR100 100 Гбит/с. Такая гибкость позволяет команде сегодня подключать меньшее количество высокоскоростных узлов, сохраняя при этом возможность подключения большего количества 100G-терминалов там, где это необходимо.
В описании того же продукта указана суммарная коммутационная способность 16 Тбит/с и задержка переключения между портами менее 130 нс. 40 соединений QSFP56 являются двунаправленными. В описании продукта также указано отображение VL2VL для приоритезации QoS для чувствительного к задержке сетевого трафика. Эти возможности являются полезными исходными данными для проектирования, но они не отменяют необходимости тестирования производительности готовой коммутационной матрицы.
В документе также описывается SHARP как механизм, переносящий коллективные операции на аппаратное обеспечение коммутатора, что приводит к снижению нагрузки на ЦП до 30% для поддерживаемых рабочих нагрузок. Указывается адаптивная маршрутизация для топологий SlimFly и Dragonfly+. Эти функции наиболее важны, когда множество узлов обмениваются данными одновременно.
Опция разделения портов изменяет способ подключения конечных точек и может повлиять на перегрузку сети, организацию кабелей и зоны отказоустойчивости. Перед тем как учитывать порты в качестве доступной пропускной способности, необходимо составить схему предполагаемой компоновки коммутаторов (leaf, spine или rail).
Когда MQM8790-HS2F достаточно
Идеально подходит для капсул с четко выраженным HDR-эффектом.
Коммутатор MQM8790-HS2F разработан для гипермасштабных вычислений и рабочих нагрузок, управляемых искусственным интеллектом. Он является разумным кандидатом для модулей ИИ или высокопроизводительных вычислений, стандартизированных по протоколу 200G HDR. Он также актуален, когда существующая инфраструктура использует 100G EDR, 56G FDR или 40G QDR, поскольку описанный коммутатор поддерживает обратно совместимые соединения с этими стандартами InfiniBand. Совместимость адаптера, кабеля и программного обеспечения еще требует тестирования.
Для развертывания фиксированного размера рассчитайте количество портов, используемых вычислительными узлами, каналами связи, средствами управления и резервной мощностью. Форм-фактор 1U и компоновка на 40 портов обеспечивают четкую основу для планирования. Коммутатор, технически достаточно быстрый, но заполненный с первого дня, все равно может оказаться неправильным выбором для эксплуатации.
Там, где этого уже недостаточно
Технология 200G HDR становится менее привлекательной, когда в планах развития кластера используются каналы 400G с более высоким разрешением, частое масштабирование между несколькими модулями или единая коммутационная сеть следующего поколения. В таких случаях следует сравнивать коммутатор с требуемым поколением адаптеров, конструкцией направляющих, схемой коллективной связи и периодом обновления.
Практический тест заключается в моделировании наиболее загруженной задачи, а не задачи средней сложности. Включите в модель градиентную синхронизацию и трафик контрольных точек. Если эти потоки конкурируют за одни и те же каналы связи, номинальная скорость линии 200 Гбит/с не будет точно описывать пользовательский опыт.
Вопросы проектирования и прокладки кабелей.
Место InfiniBand в архитектуре
Создание инфраструктуры искусственного интеллекта следует планировать как систему коммутаторов, адаптеров, кабелей, микропрограммного обеспечения и оркестрации. Сетевые устройства InfiniBand Категория является полезной отправной точкой для проверки смежных компонентов и доступных форм-факторов. Следует отделять предположения, специфичные для модели, от общей информации о категории: приведенные выше данные о MQM8790-HS2F взяты из описания продукта, тогда как окончательный проект должен быть проверен на соответствие фактической спецификации материалов.
Длину кабеля и выбор разветвителя следует тщательно продумать на раннем этапе. Порты QSFP56 поддерживают соединения высокой плотности, но схема разветвителя может создавать иную схему обслуживания по сравнению с прямым соединением 200G. Необходимо маркировать оба конца, предусмотреть радиус изгиба и указать, какие логические порты принадлежат каждой группе серверов. Четкие схемы портов значительно ускоряют замену и поиск неисправностей во время обучения.
Проверьте электропитание, охлаждение и пространство.
Коммутатор имеет форм-фактор 1U, позволяющий устанавливать его в стойку, поэтому высота установки не представляет сложности. Более сложные проверки включают наличие питания, направление воздушного потока, температуру трансивера и расстояние до подключенных серверов.
Перед заказом подтвердите компоновку стойки, тип розетки, оптический или медный кабель, а также поддерживаемую комбинацию микропрограммного обеспечения. Мы можем помочь преобразовать план размещения портов в практический контрольный список закупок, включая запасные кабели и план замены устаревших конечных устройств. Этот этап обслуживания важен, поскольку даже правильно настроенный коммутатор с неполным комплектом оборудования все равно создает риски, связанные с соблюдением сроков.
В описании продукта указан корпус высотой 43,6 мм, шириной 433,2 мм и глубиной 590,6 мм, предназначенный для установки в стойку 1U. Также указаны резервные блоки питания с возможностью горячей замены (1+1), резервные вентиляторы с возможностью горячей замены (N+1) и типичное энергопотребление 122 Вт. Указанные блоки питания имеют сертификаты 80+ Gold/Energy Star.
План развития после первой полки
Учитывайте порты расширения, а не только вычислительные порты.
Первая стойка часто выглядит простой: подключите серверы, зарезервируйте несколько портов и начинайте тестирование. Расширение меняет ситуацию. Каналы связи, резервные пути, сервисные узлы и будущие стойки могут потреблять больше портов, чем ожидалось. Используйте... портфолио сетевых устройств сравнить доступные варианты коммутации, но при этом решение о развертывании должно быть привязано к требуемой топологии InfiniBand и подтвержденной совместимости.
Если на следующем этапе может использоваться другое поколение скоростей, решите, останется ли текущий коммутатор периферийным устройством, оконечным устройством или временным мостом. Поэтапный план экономически целесообразен только в том случае, если кабельная система и модель адресации допускают такой переход.
Выберите HDR с четкими границами для улучшения.
HDR достаточно, если он соответствует требованиям к рабочей нагрузке, конечным точкам и темпам роста, задокументированным для текущего этапа. Его недостаточно, если он выбран только потому, что 200 Гбит/с кажется большим объемом. Установите контрольную точку на основе количества узлов, размера задания, использования каналов связи или следующего обновления ускорителя. На этом этапе следует переоценить структуру сети, а не предполагать, что простая замена портов решит проблему перегрузки.
Контрольный список закупок и проверки
Проверьте всю систему развертывания.
Компания Huaying Hengtong может оказать поддержку в проведении анализа, связывающего спецификацию коммутатора с стойкой, адаптером, кабелем и планом расширения. Наша команда может проверить, оставляет ли предложенная схема расположения портов полезный резерв мощности. Для более широкого обсуждения планирования ознакомьтесь с информацией по ссылке. инфраструктурные решения на основе ИИ Доступно для развертывания в центрах обработки данных.
Документирование приемочных испытаний
Перед утверждением необходимо зафиксировать точную модель, режим работы порта, требования к подключению, базовую версию прошивки, схему питания и результаты приемочных испытаний. Затем протестируйте наиболее эффективную схему связи с предполагаемыми узлами. Это позволит получить обоснованный ответ: 200G HDR достаточно, если он поддерживает запланированную нагрузку и обеспечивает надежный путь обновления.
Часто задаваемые вопросы
В: Подходит ли видеокарта NVIDIA MQM8790-HS2F для современного кластера искусственного интеллекта?
A: Он может подойти для современного кластера ИИ, построенного на основе 200G HDR, имеющего совместимый стек InfiniBand и соответствующего ограничениям коммутатора по количеству портов и топологии. При принятии решения следует учитывать возможности дальнейшего расширения, а не только скорость.
В: Сколько портов предоставляет NVIDIA MQM8790-HS2F?
A: В описанной конфигурации предусмотрено 40 портов QSFP56 для InfiniBand с поддержкой HDR 200 Гбит/с. При использовании совместимых разветвительных кабелей эти соединения можно использовать как 80 портов HDR100 100 Гбит/с.
В: Может ли NVIDIA MQM8790-HS2F подключаться к более старому оборудованию InfiniBand?
A: В описании продукта указана поддержка 40G QDR, 56G FDR и 100G EDR как устаревших стандартов InfiniBand. Фактическая совместимость по-прежнему зависит от адаптеров, кабелей, прошивки и выбранного режима порта.
В: Когда 200G HDR недостаточно для кластера ИИ?
А: Этого может быть недостаточно, если план развития сети предусматривает восходящие каналы связи класса 400G, очень большие коллективные нагрузки для нескольких групп пользователей или единую унифицированную сеть следующего поколения. В этом случае следует оценить всю топологию и путь модернизации.
В: Что следует проверить покупателям перед заказом NVIDIA MQM8790-HS2F?
A: Подтвердите точную схему расположения портов, потребности в разветвителях, совместимость адаптеров, длину кабелей, прошивку, питание и охлаждение, место в стойке, свободную мощность, а также проведите приемочные испытания с использованием предполагаемой рабочей нагрузки.
