Охлаждение GPU и серверных ускорителей: воздушное или жидкостное

Охлаждение GPU и серверных ускорителей: воздушное или жидкостное

Краткий ответ: воздушное охлаждение по-прежнему выигрывает для ускорителей мощностью примерно до 300–400 Вт на модуль, где радиатор с медным основанием и алюминиевыми ребрами плюс 2–4 вентилятора с высоким статическим давлением поддерживают температуру перехода в допустимых пределах при наименьшей стоимости и минимальном риске. Выше примерно 400–500 Вт на корпус или выше 15–20 кВт на стойку жидкостное охлаждение становится практичным выбором, поскольку воздух просто не может отвести достаточно тепла через доступную фронтальную площадь. Большинство реальных развертываний являются гибридными: воздушное для NIC, блоков питания и карт меньшей мощности, прямое жидкостное охлаждение чипа для самых горячих GPU. BQUQ производит оба варианта на одной фабрике ISO9001 в Дунгуане — медные срезанные ребра, испарительные камеры, склеенные сборки и корпуса холодных пластин — с допусками CNC ±0,005 мм и коммерческими предложениями за 12 рабочих часов.

Почему охлаждение ускорителей перестало быть проблемой «вентилятора побольше»

Десять лет назад GPU центра обработки данных рассеивал 150–250 Вт, и двухслотовый кожух с вентилятором справлялся с этим. Сегодня тренировочные ускорители находятся в диапазоне 350–1000 Вт, и один 8-GPU серверный узел может потреблять 6–10 кВт через корпус 1U или 2U. У воздуха есть жесткий физический предел: объемная теплоемкость воздуха составляет примерно 1,2 кДж/м³·К на уровне моря, тогда как водный теплоноситель несет около 4,0 кДж/кг·К при плотности примерно 1000 кг/м³ — порядка 3000 раз больше тепла на единицу объема при одинаковом повышении температуры.

Это соотношение — вся суть. Воздушное охлаждение не «плохое»; оно просто ограничено тем, сколько воздуха вы можете пропустить через фиксированное отверстие стойки без неприемлемого акустического шума и мощности вентиляторов. Каждое проектное решение ниже — геометрия ребер, материал основания, ТИМ, кривая вентилятора, компоновка стойки — это попытка работать в этих пределах или выйти за них.

Какую тепловую нагрузку действительно может выдержать воздушное охлаждение?

Честный ответ — диапазон, а не число, потому что он зависит от окружающей среды, высоты над уровнем моря, акустического бюджета, резервирования и температуры на входе. Таблица ниже является ориентировочной для хорошо спроектированного 2U сервера с температурой воздуха на входе 25–35 °C.

Важны две оговорки. Во-первых, «на модуль» — это не то же самое, что «на стойку» — стойка, полная карт по 400 Вт, представляет собой проблему воздушного потока масштаба стойки, а не карты. Во-вторых, эти цифры предполагают, что радиатор не является узким местом. На практике при 300 Вт+ узким местом часто является термоинтерфейсный материал, сокет или плоскостность основания, а не ребра.

Три сопротивления, которые определяют результат

Любую конструкцию с воздушным охлаждением можно свести к последовательности тепловых сопротивлений:

1. Переход-корпус (Rjc) — фиксируется кремниевым корпусом. Вы не можете его изменить.

2. Корпус-основание радиатора (Rcs) — определяется ТИМ, давлением монтажа и плоскостностью основания. Именно здесь кроется большинство «загадочных» перепадов в 10 °C.

3. Радиатор-воздух (Rsa) — определяется площадью ребер, эффективностью ребер, потоком воздуха и воздуховодами.

Жидкостное охлаждение не устраняет их; оно заменяет третий член гораздо меньшим и переносит проблему отвода тепла на теплообменник уровня объекта. Если ваш Rcs плох, жидкостное охлаждение просто выявит это более наглядно.

Воздушное охлаждение: что на самом деле определяет производительность

Плотность ребер против перепада давления

Классическая ошибка в радиаторах для ускорителей — погоня за количеством ребер. Добавление ребер увеличивает площадь поверхности, но также увеличивает перепад давления, и если вентилятор не может обеспечить статическое давление в этой рабочей точке, поток воздуха падает, и радиатор работает хуже, чем более грубая конструкция. Для серверов 1U и 2U зазоры между ребрами примерно 0,8–1,5 мм при толщине ребра 0,3–0,5 мм являются обычным рабочим диапазоном; точный оптимум зависит от кривой вентилятора.

Это тот же компромисс, который мы рассматриваем в проектировании радиаторов с принудительным воздушным потоком, и его стоит прочитать, прежде чем указывать количество ребер.

Материал основания и интерфейс

Медь проводит тепло примерно в 1,7 раза лучше алюминия (примерно 400 против 200 Вт/м·К), но она примерно в три раза плотнее и значительно дороже. Обычный компромисс — медное основание или медные тепловые трубки, соединенные с алюминиевым ребристым блоком — архитектура «медное основание, алюминиевые ребра». Для очень высоких плотностей теплового потока испарительная камера распределяет тепло по основанию гораздо лучше, чем твердая медь, потому что ее эффективная теплопроводность во много раз выше.

Плоскостность основания — тихий убийца. Основание, вогнутое на 0,05 мм на площади 40 мм, теряет контактное давление в центре — именно там, где кристалл самый горячий. BQUQ обрабатывает основания радиаторов с точностью ±0,005 мм на оборудовании CNC и проверяет плоскостность, что является предметом спецификации плоскостности радиатора.

Воздуховоды и воздушный поток на уровне стойки

Идеальный радиатор в негерметичном корпусе — посредственный радиатор. Воздух идет по пути наименьшего сопротивления, который обычно проходит вокруг карты, а не через нее. Воздуховоды, заглушки, монтажные кронштейны и правильное размещение вентиляторной стенки обычно возвращают 5–15 °C при той же мощности вентиляторов. См. воздуховоды для серверных радиаторов, чтобы узнать, как это обычно реализуется.

Жидкостное охлаждение: когда экономика меняется

Жидкостное охлаждение становится рациональным, когда верно любое из следующего:

• Длительная нагрузка на модуль превышает примерно 400–500 Вт, и воздушное охлаждение потребовало бы неприемлемой мощности вентиляторов или шума.
• Плотность стойки превышает примерно 15–20 кВт, и изоляция горячего коридора больше не может поддерживать температуру на входе в допустимых пределах.
• Объект все равно строится или модернизируется, поэтому затраты на трубопроводы амортизируются.
• Акустические ограничения (рядом с офисом или колокейшн) исключают вентиляторные стенки с высокими оборотами.

Холодные пластины с прямым охлаждением чипа

Холодная пластина с прямым охлаждением чипа — это обработанный металлический блок с внутренними микроканалами, уплотнительной поверхностью и входными/выходными патрубками. Наиболее важные производственные допуски:

Холодные пластины — это детали, обработанные на CNC, и их успех или провал зависит от плоскостности, чистоты поверхности и герметичности — а не от экзотического дизайна. Та же возможность CNC ±0,005 мм, используемая для радиаторов, обработанных на CNC, применима и здесь.

Иммерсионное и двухфазное охлаждение

Иммерсионное охлаждение полностью устраняет вентиляторы и может обрабатывать очень высокие плотности, но оно меняет правила совместимости материалов: эластомеры набухают, некоторые припои и покрытия подвергаются воздействию, а обслуживание становится «мокрой» операцией. Это решение уровня объекта, а не уровня компонента.

Воздушное против жидкостного: практическое сравнение

Закономерность последовательна: воздушное охлаждение дешевле и проще при низкой плотности; жидкостное дешевле на ватт при высокой плотности. Точка перехода обычно находится где-то около 15–20 кВт на стойку и смещается в зависимости от цен на энергию и местного климата.

Где место фабрики радиаторов

Выбираете ли вы воздушное или жидкостное охлаждение, тепловой путь все равно заканчивается обработанной металлической деталью. BQUQ производит полный спектр на одной фабрике в Дунгуане на четырех производственных линиях:

• Радиаторы со срезанными ребрами — ребра срезаются непосредственно с медного или алюминиевого блока, обеспечивая монолитное соединение основания и ребер без интерфейсного сопротивления.
• Экструзионные и склеенные ребристые сборки — экономически эффективны для умеренной плотности; см. экструзионные радиаторы.
• Испарительные камеры и сборки с тепловыми трубками — для распределения и дистанционного отвода тепла.
• Холодные пластины, обработанные на CNC — корпуса с микроканалами, обработка патрубков, канавки под O-кольца, испытания под давлением.
• Штампованные кронштейны, пружины и монтажная арматура — включая пружинные монтажные винты, задающие давление ТИМ.

Поскольку все это работает в рамках одной системы качества ISO9001, плоскостность основания, чистота поверхности холодной пластины и усилие монтажной пружины могут быть заданы и проверены вместе, а не у трех поставщиков.

Правила проектирования, применимые к обоим путям

1. Указывайте плоскостность, а не просто «гладкость». Дайте число и область измерения.

2. Указывайте ТИМ по толщине слоя, а не по бренду. Выдавливание и высыхание — реальные режимы отказа.

3. Согласуйте плотность ребер с фактической кривой вентилятора. Запрашивайте кривую P-Q, а не число CFM.

4. Проектируйте воздуховод до радиатора. Воздушный поток, обходящий ребра, тратится впустую.

5. Учитывайте высоту над уровнем моря и пыль. Снижайте номинал воздушного охлаждения выше 1000 м и в нефильтрованных средах.

6. Прототипируйте в реальном корпусе. Стендовые испытания без корпуса дают оптимистичные результаты.

Часто задаваемые вопросы

В: При какой мощности мне следует перейти с воздушного на жидкостное охлаждение для GPU?

О: Универсального числа нет, но для одного модуля ускорителя практическая точка перехода составляет примерно 400–500 Вт длительной нагрузки. Ниже этого радиатор с медным основанием и алюминиевыми ребрами с вентиляторами высокого статического давления обычно обеспечивает целевые температуры перехода при меньших затратах. Выше этого мощность вентиляторов, шум и требуемая фронтальная площадь резко возрастают, и холодная пластина с прямым охлаждением чипа становится более эффективным решением. Плотность стойки имеет такое же значение, как и мощность на карту.

В: Стоит ли использовать испарительную камеру для ускорителя мощностью 350 Вт?

О: Часто да, если кристалл маленький и тепловой поток сконцентрирован. Испарительная камера распределяет тепло по основанию гораздо эффективнее, чем твердая медь, что снижает температуру самой горячей точки и позволяет ребристому блоку работать более равномерно. Для большого, хорошо распределенного кристалла при 350 Вт может быть достаточно твердого медного основания, и это дешевле. Решение должно приниматься на основе теплового моделирования, а не эмпирического правила.

В: Могут ли серверы с жидкостным охлаждением по-прежнему использовать воздушное охлаждение компонентов внутри?

О: Да, и большинство так и делает. Системы с прямым охлаждением чипа обычно охлаждают только CPU, GPU и иногда память, в то время как NIC, блоки питания, накопители и регуляторы напряжения остаются с воздушным охлаждением от внутренних вентиляторов. Такая гибридная компоновка нормальна. Это означает, что проектирование воздушного потока в корпусе не исчезает при переходе на жидкостное охлаждение — оно просто обслуживает меньшее количество более холодных компонентов.

В: Какую плоскостность и чистоту поверхности следует указывать для холодной пластины?

О: Для холодных пластин с прямым охлаждением чипа плоскостность примерно 0,02–0,05 мм по площади контакта с кристаллом и чистота поверхности около Ra 0,4–0,8 мкм являются типичными отправными точками. Более жесткие значения достижимы с помощью CNC-обработки, но увеличивают стоимость. Всегда указывайте область измерения вместе со значением плоскостности, потому что плоскостность на пластине 100 мм — это другое требование, чем плоскостность на площади кристалла 40 мм.

В: Как быстро получить коммерческое предложение на радиатор или холодную пластину?

О: Отправьте 3D-модель или чертеж с критическими размерами, тепловой нагрузкой, доступным воздушным потоком или расходом, температурой окружающей среды или теплоносителя на входе и целевой температурой компонента. BQUQ рассматривает пакет и возвращает коммерческое предложение в течение 12 рабочих часов, с гибким минимальным заказом для прототипов и пилотных сборок. Раннее участие обычно экономит цикл перепроектирования, особенно в отношении плоскостности основания и монтажной арматуры.

Связанные ресурсы

• О BQUQ и наших производственных мощностях в Дунгуане: /about/
• Семейства радиаторов и возможности: /heat-sinks/
• Профили экструзионных алюминиевых радиаторов: /extruded-heat-sinks/
• Радиаторы и холодные пластины, обработанные на CNC: /cnc-machined-heat-sinks/
• Отраслевые тенденции в терморегулировании центров обработки данных: /industry-dynamics/
• Технические статьи и инженерные руководства: /bquq-blog/
• Часто задаваемые вопросы: /faq/
• Примеры из практики: /case/
• Свяжитесь с инженерной командой: /contact/

Автор: инженерная команда BQUQ. BQUQ (Дунгуань) выполняет обработку на CNC (±0,005 мм), штамповку металла, изготовление пружин на заказ и производство радиаторов на одной фабрике ISO9001. Прямые поставки из Дунгуаня, Китай — предложение за 12 часов: sc@bquq.com | WhatsApp +86 13713157787 | www.bquq.com