Серверные стойки высокой плотности часто нуждаются в жидкостном охлаждении. Это происходит, когда стабильная нагрузка превышает возможности воздушного потока, скорости вращения вентиляторов и охлаждения помещения. Как правило, воздушное охлаждение становится затруднительным при мощности около 15-20 кВт на стойку. Любую стойку мощностью более 20 кВт следует рассматривать как потенциальный вариант для жидкостного охлаждения.
Почему серверные стойки высокой плотности создают проблемы для традиционных систем воздушного охлаждения?
Тепловые пределы стандартных систем воздушного охлаждения
Традиционное воздушное охлаждение предполагает обдув горячих компонентов холодным воздухом. Затем нагретый воздух подается в контролируемый проход или помещение. Этот метод остается полезным для многих корпоративных задач. Однако воздух обладает меньшей теплоемкостью, чем жидкости на водной основе. Процессоры, память, NVMe-накопители, карты PCIe и резервные источники питания часто размещаются в одной стойке. В таких случаях гораздо больше воздуха должно проходить по более узким каналам.
Компания Huaying Hengtong работает с продукцией таких брендов, как Dell, HP, Super Fusion, IBM, Lenovo, Huawei, Inspur и других. Наша деятельность охватывает персональные компьютеры, серверы, коммутаторы, аксессуары, рабочие станции, системы хранения данных, а также другое программное и аппаратное оборудование.
Ограничения воздушного потока в плотно упакованных серверных стойках
Воздушное охлаждение зависит от чистого воздушного потока спереди назад. Пучки кабелей, заблокированные перфорированные дверцы, глубокие корпуса 2U и плотно расположенные системы 1U создают сопротивление. 42U сетевой серверный шкаф Может предлагать стандартную конструкцию стойки, планирование размещения блоков распределения питания и варианты вентиляторов. Но результат все равно зависит от тепловыделения сервера и наличия свободного пространства.
Энергопотребление высокоскоростных вентиляторов
Когда температура на входе повышается или образуется горячая точка, внутренние вентиляторы увеличивают скорость вращения. Это защищает компоненты. Но при этом возрастает уровень шума и энергопотребление. Стойка, которая остается в рабочем состоянии, может работать неэффективно. Это происходит, если блоки CRAC, защитные кожухи и вентиляторы работают на пределе своих возможностей.
Как современные рабочие нагрузки приводят к экстремально высокой плотности размещения серверов в стойках
Вычисления с использованием ИИ, аналитика, высокопроизводительные вычисления, виртуализация и платформы для работы с большими базами данных меняют представление о стоечных решениях. Платформа HPE ProLiant DL385 Gen11 поддерживает два процессора AMD EPYC 9004 серии. Она позволяет использовать до 96 ядер на процессор. Поддерживается максимальная мощность процессора до 400 Вт. Имеется до 24 модулей памяти DDR5. Включает расширение PCIe 5.0. Предлагаются опциональные резервные блоки питания 1+1 с возможностью горячей замены мощностью до 2200 Вт. Также имеются резервные вентиляторы с возможностью горячей замены. Такие платформы, как HPE ProLiant DL385 Gen11, позволяют создавать высокопроизводительные системы. Сервер FusionServer 1288H V7 1U для установки в стойку. показать, почему высокопроизводительные вычисления и виртуализация высокой плотности могут вывести решения по охлаждению за рамки простого изучения технических характеристик.
Что такое жидкостное охлаждение и чем оно отличается от воздушного охлаждения?
Объяснение технологии жидкостного охлаждения непосредственно на чипе (D2C).
Жидкостное охлаждение непосредственно на чипе (D2C) предполагает размещение охлаждающей пластины на процессорах, графических процессорах или ускорителях. Контур охлаждающей жидкости передает тепло в распределительный блок или контур системы охлаждения. D2C ориентировано на наиболее горячие компоненты. Оно сохраняет большую часть существующего стоечного формата. Во многих системах по-прежнему используется воздушное охлаждение для памяти, накопителей, блоков питания и остаточного тепла.
Иммерсионное охлаждение: погружение серверной стойки в воду.
Иммерсионное охлаждение предполагает погружение ИТ-оборудования в ванну с диэлектрической жидкостью. Оно позволяет отводить значительные тепловые нагрузки при очень низком уровне шума вентилятора. Жидкость непосредственно контактирует со многими поверхностями. Компромисс заключается в воздействии на инфраструктуру. Необходимо учитывать резервуары, обращение с жидкостью, нагрузку на пол, совместимость оборудования и обучение персонала по техническому обслуживанию.
Теплообменники задних дверей: повышение эффективности воздушного охлаждения с помощью жидкости.
Теплообменник на задней дверце часто называют RDHx. Он устанавливает охлаждаемый жидкостью змеевик на пути отвода воздуха из стойки. Серверы по-прежнему используют внутренние вентиляторы. Но горячий отработанный воздух проходит через змеевик, прежде чем попасть в помещение. RDHx позволяет повысить плотность размещения оборудования. Это достигается без внутренней замены каждого сервера.
Когда именно серверной стойке высокой плотности требуется жидкостное охлаждение?
Показатель удельной мощности (кВт) как определяющий фактор
Наиболее полезным критерием для принятия решения является удельная мощность серверной стойки в кВт. При мощности ниже 10-15 кВт на стойку хорошо спроектированная система воздушного охлаждения обычно остается практичной. Это справедливо при условии эффективного управления воздушным потоком. При мощности около 15-20 кВт традиционные системы воздушного охлаждения нуждаются в проверке. Небольшие ошибки компоновки могут привести к образованию зон перегрева. При мощности выше 20 кВт на стойку жидкостное охлаждение должно стать обязательным требованием при проектировании.
Не следует принимать решение, основываясь только на номинальной мощности. Измерьте реальную мощность на блоке распределения питания (PDU) в стойке. Проанализируйте поведение рабочей нагрузки. Проверьте температуру на входе сверху, посередине и снизу. Убедитесь, что скорость вращения вентиляторов уже повышена. Если стойке требуется больший воздушный поток, более громкие вентиляторы или большее расстояние между ними, то обычно лучше использовать жидкостное охлаждение.
Жидкостное охлаждение против воздушного охлаждения: первоначальные инвестиции и окупаемость инвестиций в энергию.
Жидкостное охлаждение имеет более высокую первоначальную стоимость. Оно включает в себя охлаждающие пластины или змеевики, распределение охлаждающей жидкости, обнаружение утечек, клапаны, шланги, мониторинг и процедуры технического обслуживания. Воздушное охлаждение проще в приобретении и обслуживании. Сравнение может измениться при более высокой плотности размещения оборудования. В этом случае жидкостные системы снижают скорость вращения вентиляторов, нагрузку на системы кондиционирования воздуха и занимают больше места в стойках.
Ограничения по площади, уровню шума и особенностям размещения серверных стоек.
Пространство и уровень шума часто превращают технические предпочтения в бизнес-решение. Если площадь площадки ограничена количеством стоек или пространством на периферии помещения, жидкостное охлаждение может сохранить плотность вычислительных ресурсов. Вблизи офисов или лабораторий также важно снизить уровень шума от высокоскоростных вентиляторов.
Можно ли объединить жидкостное и воздушное охлаждение в одном центре обработки данных?
Преимущества гибридной стратегии охлаждения серверных стоек
Да. Стандартные коммутаторы, стеллажи, резервные блоки и компьютерное оборудование средней плотности могут по-прежнему работать с воздушным охлаждением. Однако кластеры ИИ, узлы баз данных, работающие с более высокой производительностью, или компьютерное оборудование с большим количеством ускорителей могут размещаться в стойках с жидкостным охлаждением.
Оптимизация компоновки центра обработки данных для смешанных зон охлаждения
Гибридное охлаждение по-прежнему требует физического планирования. Необходимо поддерживать порядок в горячих и холодных проходах. Следует избегать помех для соседних стоек с воздушным охлаждением. Трубопроводы следует прокладывать таким образом, чтобы сервисные бригады могли добраться до клапанов и датчиков. Платформа HPE ProLiant DL380 Gen10 имеет процессор с TDP до 205 Вт, 24 слота DDR4 DIMM, поддержку объединительной платы NVMe, возможности расширения PCIe, а также опциональные блоки питания с возможностью горячей замены (1+1). Кроме того, предусмотрены вентиляторы с возможностью горячей замены. Эти примеры показывают, почему необходимо комплексно подходить к вопросам воздушного потока, питания, хранения данных и расширения.
Подготовка вашей инфраструктуры к переходу на жидкостное охлаждение
Оценка текущих возможностей систем воздушного охлаждения и выявление узких мест.
Начните с аудита оборудования и теплового режима. Определите стойки с наибольшей устойчивой потребляемой мощностью в кВт. Обратите внимание на самые высокие скорости вращения вентиляторов. Отметьте наибольшее повышение температуры. Проверьте наличие повторяющихся предупреждений о перегреве. Составьте карту типа рабочей нагрузки, емкости блока распределения питания (PDU), воздушного потока в шкафах, загроможденности кабелей и мощности системы охлаждения помещения. Засорение кабелей может не потребовать жидкостного охлаждения. Однако вычислительная нагрузка, превышающая возможности помещения, скорее всего, потребует его.
Выбор совместимых корпоративных серверов для интеграции системы жидкостного охлаждения
Вопросы охлаждения должны учитываться при выборе сервера. При модернизации ИТ-инфраструктуры командам следует проверить модель сервера. Необходимо проверить поколение процессора, тип памяти, схему размещения оборудования, возможности расширения PCIe, варианты питания, расположение вентиляторов и систем охлаждения, уровень BIOS, руководство по настройке от производителя, список совместимых компонентов (QVL/HCL), утвержденную спецификацию материалов (BOM) и протоколы предварительных испытаний. Компания Huaying Hengtong обладает опытом работы в отрасли в области анализа требований, технической проверки, выбора оборудования, внедрения сетей, обеспечения качества, эксплуатации и технического обслуживания, а также сервисной поддержки. Эти возможности позволяют проводить анализ закупок с учетом требований к охлаждению.
При покупке новых высокопроизводительных вычислительных систем многие команды задаются вопросом, сможет ли архитектура серверов форм-фактора 2U или 4U в будущем обеспечить прямое жидкостное охлаждение. Они рассматривают варианты с замкнутым контуром или теплообменником с задней дверцей. HPE ProLiant DL360 Gen10 Plus 1U стоечный сервер Это один из примеров компактных стоечных серверов, который следует оценить с учетом ограничений по мощности, воздушному потоку, возможностям расширения и охлаждению помещения. Для окончательного выбора по-прежнему необходимы точные номера деталей, подтверждение от производителя и проверенная спецификация материалов.
Часто задаваемые вопросы
В: Какова максимальная мощность в кВт, которую может выдержать система воздушного охлаждения для серверной стойки высокой плотности?
А: Во многих корпоративных помещениях 15-20 кВт на стойку — это практический верхний предел планируемой мощности для традиционного воздушного охлаждения. На некоторых специализированных площадках можно использовать и более высокую мощность. Но при мощности выше 20 кВт следует активно рассматривать возможность применения жидкостного охлаждения.
В: Насколько дороже жидкостное охлаждение по сравнению с воздушным при модернизации серверной стойки?
А: Жидкостное охлаждение обычно обходится дороже на начальном этапе. Оно включает в себя контуры циркуляции жидкости, охлаждающие пластины или змеевики, мониторинг, обнаружение утечек и процедуры обслуживания. В долгосрочной перспективе затраты могут снизиться, если удастся избежать дополнительного охлаждения помещения. Оно снижает энергопотребление вентиляторов. Оно позволяет разместить больше вычислительных ресурсов на той же площади.
В: Возможно ли модернизировать существующую серверную стойку высокой плотности, чтобы использовать жидкостное охлаждение вместо воздушного?
А: Да. Но путь модернизации зависит от совместимости серверов и готовности помещения. Теплообменники с задней дверцей часто проще в установке, чем системы с прямым подключением к чипу или погружные теплообменники. Они улучшают отвод тепла отработанными газами без перепроектирования каждого сервера.
В: Увеличивает ли внедрение жидкостного охлаждения в серверную стойку высокой плотности риск повреждения оборудования из-за протечек?
А: Это создает иной профиль риска. Но грамотное проектирование снижает риск. В современных жидкостных системах используются проверенные соединители, системы обнаружения утечек, контроль давления, запорные клапаны и процедуры технического обслуживания. Управление риском должно осуществляться с помощью инженерных средств контроля, а не путем игнорирования тепловыделения стойки.
