Жидкостное охлаждение серверов

Тепловыделение современных процессоров достигло критических значений. Чипы AMD EPYC последнего поколения рассеивают до 400 Вт, а ускорители NVIDIA H100 — свыше 700 Вт на модуль. Традиционные воздушные системы справляются с такими нагрузками на пределе возможностей: требуют избыточного воздушного потока, создают акустический дискомфорт и занимают полезное пространство в стойках. Жидкостное охлаждение решает эти проблемы принципиально иначе — за счёт физических свойств теплоносителя, который отводит тепло в 25–30 раз эффективнее воздуха. Подробнее – в этой статье.

Что представляет собой жидкостное охлаждение

Под жидкостным охлаждением в контексте серверных систем понимают комплекс инженерных решений, где отвод тепла от компонентов осуществляется через циркулирующую жидкость. В отличие от бытовых систем охлаждения ПК, серверные реализации работают в масштабах стоек, рядов или целых машинных залов.

Теплоноситель — обычно деионизированная вода с присадками или специализированные диэлектрические жидкости — принимает тепловую энергию от процессоров, памяти и силовых элементов, после чего переносит её к внешним теплообменникам.

Принципиальное отличие от воздушного охлаждения заключается в плотности передачи энергии. Вода обладает удельной теплоёмкостью 4,18 кДж/(кг·°C) против 1,0 кДж/(кг·°C) у воздуха.

На практике это означает, что литр воды при нагреве на 10 градусов отводит столько же тепла, сколько 4000 литров воздуха.

Серверное помещение перестаёт быть «аэродинамической трубой» с постоянным гулом вентиляторов — тепло уходит по трубам малого диаметра непосредственно к чиллерам или градирням.

Существует разделение на прямое и косвенное жидкостное охлаждение. При прямом контакте компоненты погружаются в диэлектрическую жидкость целиком.
Косвенные схемы используют водоблоки и теплообменники, где жидкость не касается электроники напрямую.

Разновидности систем жидкостного охлаждения

Контурное охлаждение с водоблоками работает по принципу, знакомому энтузиастам разгона: медный или алюминиевый блок с микроканалами прижимается к крышке процессора, через него прокачивается теплоноситель. В серверном исполнении такие контуры объединяются в распределительные коллекторы уровня стойки или ряда.

Иммерсионное охлаждение предполагает полное погружение серверов в ванны с диэлектрической жидкостью.

• Однофазные системы используют масла или синтетические жидкости, которые остаются в жидком состоянии при рабочих температурах.
• Двухфазные применяют фторуглероды с низкой температурой кипения — жидкость испаряется на поверхности чипов, пар конденсируется на теплообменнике и стекает обратно.

Двухфазные системы обеспечивают рекордную эффективность, но требуют герметичных ёмкостей и стоят существенно дороже.

Гибридные решения комбинируют жидкостное охлаждение процессоров с воздушным охлаждением остальных компонентов. Такой подход позволяет использовать стандартные серверы с минимальными доработками. Rear-door heat exchangers — теплообменники, монтируемые вместо задней дверцы стойки — представляют собой промежуточный вариант: горячий воздух из серверов проходит через радиатор с циркулирующей водой, охлаждается и возвращается в зал.

Сферы применения

Высокопроизводительные вычисления и ИИ формируют основной спрос. Кластеры для обучения нейросетей концентрируют сотни ускорителей в ограниченном пространстве, и воздушное охлаждение физически не способно отвести генерируемое тепло. Системы вроде NVIDIA DGX SuperPOD поставляются с интегрированным жидкостным охлаждением как единственным вариантом. Исследовательские центры, финансовые организации с алгоритмической торговлей и компании, занимающиеся симуляциями, переходят на жидкость по мере наращивания вычислительных мощностей.

Коммерческие дата-центры высокой плотности

Адаптируют технологию для стандартных нагрузок. При размещении 30–50 кВт в стойке воздушное охлаждение требует нестандартных решений: горячих и холодных коридоров с перекрытием, повышенной производительности CRAC-ов. Жидкостные системы снимают эти ограничения и позволяют размещать больше вычислительных ресурсов на той же площади.

Телекоммуникационные узлы и периферийные вычисления (edge computing) сталкиваются с ограничениями по габаритам и шуму. Базовые станции 5G, контейнерные ЦОД для удалённых локаций и встраиваемые системы выигрывают от компактности жидкостного охлаждения. Отсутствие крупных вентиляторов снижает акустическую нагрузку на окружающую застройку.

Сравнение характеристик воздушного и жидкостного охлаждения

Приведённая таблица обобщает ключевые различия и помогает структурировать процесс принятия решения:

Данные в таблице отражают усреднённые показатели и могут варьироваться в зависимости от конкретного оборудования и условий эксплуатации. При проектировании рекомендуется запрашивать у производителей характеристики для выбранной конфигурации и проводить тепловое моделирование с учётом местного климата.

Преимущества перед воздушным охлаждением

Обоснование перехода строится на измеримых выгодах. Традиционные ЦОД демонстрируют PUE 1,4–1,6: на каждый киловатт нагрузки тратится 400–600 Вт на охлаждение. Жидкостные системы достигают PUE 1,1–1,2 за счёт устранения вентиляторов и расширения окна фрикулинга. Плотность размещения возрастает кратно — стойки на 50–100 кВт вместо 15–20 кВт. Ключевые преимущества технологии:

• снижение энергопотребления инфраструктуры на 20–40%;
• сокращение занимаемой площади при той же вычислительной мощности;
• уменьшение шума с 70–80 дБА до 45–60 дБА;
• равномерный теплоотвод без локальных перегревов;
• снижение статистики отказов процессоров и памяти.

Для оператора это означает экономию на аренде, упрощение кабельной инфраструктуры и возможность размещения оборудования в офисных зданиях. Персонал работает в машинном зале без средств защиты слуха.

Недостатки и ограничения

Технология не универсальна. Капитальные затраты превышают стоимость воздушных систем на 30–100%: CDU, трубопроводы, водоблоки, системы детекции утечек. Срок окупаемости зависит от тарифов на электроэнергию и интенсивности нагрузки. При проектировании учитывайте следующие ограничения:

• Эксплуатационная сложность. Персонал обслуживает гидравлические контуры: контроль теплоносителя, проверка герметичности, замена насосов и фильтров.
• Риск протечек. Бескапельные разъёмы и многоуровневая детекция минимизируют вероятность, но не исключают её полностью.
• Привязка к вендору. Водоблоки проектируются под конкретные платформы, стандартизация в отрасли на ранней стадии.
• Усложнение замены серверов. Требуется отключение и подключение жидкостных разъёмов.

Для площадок с умеренной нагрузкой до 15 кВт на стойку традиционное воздушное охлаждение остаётся рациональным выбором. Формирование команды с компетенциями в гидравлике требует времени и ресурсов.

Практика внедрения

Переход на жидкостное охлаждение представляет собой инженерный проект, затрагивающий несколько подсистем дата-центра. Успешное внедрение требует координации между ИТ-подразделением, службой эксплуатации здания и внешними подрядчиками. Рассмотрим ключевые этапы и типичные сложности, с которыми сталкиваются команды на практике.

Переход на жидкостное охлаждение — инженерный проект, затрагивающий несколько подсистем дата-центра. Успешное внедрение требует координации между ИТ-подразделением, службой эксплуатации и внешними подрядчиками.

Предпроектное обследование

На этом этапе оценивают текущую инфраструктуру и определяют целевые параметры: измеряют фактическое тепловыделение оборудования, анализируют доступные ресурсы (водоснабжение, электрические мощности, пространство для внешних теплообменников), формулируют требования к надёжности. По результатам выбирают тип системы: контурное охлаждение, иммерсия или гибридный вариант.

Проектирование

Проводится гидравлический расчёт контуров, подбор оборудования и разработку системы управления. Критически важно предусмотреть резервирование: дублирование насосов, изоляцию отдельных сегментов без остановки всей системы, автоматическое переключение на резервные теплообменники. Система мониторинга интегрируется с DCIM-платформой для отслеживания температур, давлений и расходов.

Монтаж и пусконаладка

Работы требуют соблюдения строгих процедур по чистоте. Трубопроводы промывают перед заполнением теплоносителем, соединения проверяют на герметичность под давлением, систему опрессовывают. После запуска балансируют расходы по веткам и настраивают автоматику. Выход на штатный режим занимает от нескольких дней до нескольких недель.

Перспективы развития технологии

Жидкостное охлаждение продолжает эволюционировать под давлением нескольких трендов. Рост энергопотребления чипов не замедляется: дорожные карты производителей предполагают появление процессоров с TDP свыше 500 Вт и ускорителей на 1000 Вт в ближайшие годы. Воздушное охлаждение достигает физических пределов, и жидкость становится безальтернативным решением для передовых конфигураций.

Стандартизация интерфейсов упростит совместимость оборудования разных производителей. Консорциумы вроде Open Compute Project работают над спецификациями разъёмов, протоколов мониторинга и форм-факторов. По мере принятия стандартов снизятся барьеры для внедрения и уменьшится зависимость от конкретных вендоров.

Утилизация тепла превращается из побочной возможности в значимый экономический фактор. Температура теплоносителя на выходе из серверов достигает 50–60 °C, что достаточно для отопления зданий или технологических процессов. Проекты интеграции ЦОД с системами централизованного теплоснабжения реализуются в Скандинавии и постепенно распространяются на другие регионы.

Критерии выбора системы охлаждения для конкретной площадки

Решение о внедрении жидкостного охлаждения принимается на основании анализа множества факторов. Универсальных рекомендаций не существует: оптимальный выбор зависит от текущего состояния инфраструктуры, планов развития и доступных ресурсов. Перечислим параметры, которые следует оценить при планировании:

1. Текущая и прогнозируемая тепловая нагрузка. Если мощность стоек не превышает 15 кВт и рост не планируется, воздушное охлаждение остаётся рациональным выбором.
2. Доступность инженерных ресурсов. Наличие источников охлаждающей воды, возможность размещения драйкулеров или градирен на прилегающей территории, резерв электрической мощности для чиллеров.
3. Стоимость электроэнергии. В регионах с высокими тарифами экономия на PUE окупает капитальные затраты быстрее.
4. Климатические условия. Холодный климат расширяет возможности фрикулинга и повышает привлекательность жидкостных систем.
5. Квалификация персонала. Готовность команды к обучению и работе с гидравлическими системами.
6. Планы по обновлению серверного парка. Целесообразно совмещать переход на жидкостное охлаждение с заменой оборудования на совместимые модели.

Взвешенная оценка перечисленных факторов позволяет сформировать обоснованное техническое решение. В сложных случаях рекомендуется привлекать специализированные инжиниринговые компании для проведения предпроектного исследования и экономического моделирования. Пилотное внедрение на ограниченном участке даёт возможность оценить технологию в реальных условиях до масштабирования.

Заключение

Жидкостное охлаждение серверов перестало быть нишевой технологией для суперкомпьютерных центров. Оно превратилось в практический инструмент, который решает реальные проблемы: позволяет размещать мощное оборудование на ограниченной площади, сокращает расходы на электроэнергию и продлевает срок службы компонентов. Технология требует инвестиций и новых компетенций, но для площадок с высокой плотностью нагрузки альтернативы ей фактически нет. Системным администраторам стоит изучать жидкостное охлаждение не как футуристическую концепцию, а как навык, который понадобится в ближайшей перспективе.