Проектирование современных решений охлаждения ЦОД. Михаил Балкаров Системный Инженер APC by Schneider Electric

Программа Обзор текущего положения дел с энергопотреблением. Case study параметров запускаемого в настоящего время в МГУ им. М.В.Ломоносова суперкомпьютера Т-500: расчетная производительность 500 ТФлоп/с, около 3МВт потребляемой мощности, отвод тепла от стоек с блейд-серверами с пиковым тепловыделением до 75 кВт на стойку. Сравнение эффективности построения схем охлаждения с контейнеризацией холодного и горячего коридоров. Сравнение применимости чиллерных систем охлаждения и фреоновых (DX) для современных приложений. Обзор классических систем охлаждения Заключение: выводы и рекомендации

Динамика роста тепловой плотности ИТ-продуктах (прогноз 1999г.)

Динамика роста тепловой плотности в ИТ- продуктах (прогноз 2005г.)

Реалии сегодняшнего дня кВт для 1-2 RU серверов (pizza) 15…20 кВт для blade-серверов

HPC (High Performance Computing) Полигон «Formula 1» для многих технологий Наиболее «горячие» серверы

Энергопотребление 1 PFlop/s компьютера Энергопотребление компьютера с производительностью 1 Pflop/s = 2.5 … 15 MВт Энергопотребление 19 стойки с серверами – CRAY XT5 (#2): 32…43 кВт – SGI Pleiades (#4): 21 кВт – T60 (#82): 33 кВт

Программа Обзор текущего положения дел с энергопотреблением. Case study параметров запускаемого в настоящего время в МГУ им. М.В.Ломоносова суперкомпьютера Т-500: расчетная производительность 500 ТФлоп/с, около 3МВт потребляемой мощности, отвод тепла от стоек с блейд- серверами с пиковым тепловыделением до 70 кВт на стойку. Сравнение эффективности построения схем охлаждения с контейнеризацией холодного и горячего коридоров. Сравнение применимости чиллерных систем охлаждения и фреоновых (DX) для современных приложений. Обзор классических систем охлаждения Выводы и рекомендации

Проект Т-500 Заказчик: МГУ им. М.В.Ломоносова Генеральный контрактор: Т-Платформы Расчетная производительность 500 ТФлоп/с Энергопотребление вычислителя: до 2.4 МВт, общее потребление площадки около 4 МВт Горячие серверные стойки кВт (!!), конфигурация рассчитана на теплосъем до 75 кВт со стойки

(фото с площадки)

T-500: энергетика 60 стоек с нагрузкой, 40 внутрирядных кондиционеров Средняя нагрузка ~40 кВт/стойку с активным оборудованием В каждом «островке» 8 горячих стоек, по кВт тепловыделения

T-500 APC InRow RC, 600mm, Chilled Water, V, 50Hz Штатная производительность по холоду 37 кВт 37кВт х 10 = 370кВт Тепловыделение одного «островка» = кВт В чем же фокус?...

Программа Обзор текущего положения дел с энергопотреблением. Сравнение применимости чиллерных систем охлаждения и фреоновых (DX) для суперкомпьютерных приложений. Сравнение эффективности построения схем охлаждения с контейнеризацией холодного и горячего коридоров. Case study параметров запускаемого в настоящего время в МГУ им. М.В.Ломоносова суперкомпьютера Т-500: расчетная производительность 500 ТФлоп/с, около 3МВт потребляемой мощности, отвод тепла от стоек с блейд-серверами с пиковым тепловыделением до 75 кВт на стойку. Сравнение применимости чиллерных систем охлаждения и фреоновых (DX) для современных приложений. Обзор классических систем охлаждения Выводы и рекомендации

Контейнеризация горячего коридора

Контейнеризация холодного коридора

Горячий коридор Производительност ь кондиционера ~ ΔT = 35˚C

Холодный коридор Производительность кондиционера ~ ΔT = 20…25˚C

Холодный или горячий? Выигрыш в производительности кондиционера в 1.5 раза (в данном примере; выигрыш может быть существеннее) Пример: APC InRow CW ACRC501: – 44 кВт при ΔT = 22˚C; 11 кондиционеров для 500 кВт тепла – 71 кВт при ΔT = 35˚C; 7 кондиционеров для 500 кВт тепла В 1.5 раза меньше кондиционеров для отвода того же количества тепла Экономия площади, денег, энергопотребления

Программа Обзор текущего положения дел с энергопотреблением. Case study параметров запускаемого в настоящего время в МГУ им. М.В.Ломоносова суперкомпьютера Т-500: расчетная производительность 500 ТФлоп/с, около 3МВт потребляемой мощности, отвод тепла от стоек с блейд-серверами с пиковым тепловыделением до 75 кВт на стойку. Сравнение эффективности построения схем охлаждения с контейнеризацией холодного и горячего коридоров. Сравнение применимости чиллерных систем охлаждения и фреоновых (DX) для современных приложений. Обзор классических систем охлаждения Выводы и рекомендации

Ограничения фреоновых систем охлаждения Ограничение по температуре входного воздуха: не выше 30˚С, со склонностью к «эффекту домино». Требование к избытку воздуха, с ростом потребления вентиляторов Реализация бесперебойного охлаждения В данном проекте дополнительная мощность на выходе ИБП для реализации непрерывного охлаждения составила 120 кВт (кондиционеры, циркуляционные насосы), или 5% от мощности нагрузки Реализация непрерывного охлаждения с фреоновыми кондиционерами потребовала бы ~1.6 МВт дополнительной мощности ИБП для поддержки ВСЕЙ системы кондиционирования

Программа Обзор текущего положения дел с энергопотреблением. Case study параметров запускаемого в настоящего время в МГУ им. М.В.Ломоносова суперкомпьютера Т-500: расчетная производительность 500 ТФлоп/с, около 3МВт потребляемой мощности, отвод тепла от стоек с блейд-серверами с пиковым тепловыделением до 75 кВт на стойку. Сравнение эффективности построения схем охлаждения с контейнеризацией холодного и горячего коридоров. Сравнение применимости чиллерных систем охлаждения и фреоновых (DX) для современных приложений. Обзор классических систем охлаждения Выводы и рекомендации

Фальшпол Большое перемешивание Следовательно вынужденное занижение выходной температуры и завышение объема воздуха Следовательно низкая эффективность кондиционера и высокое потребление вентиляторов Неравномерность подачи

Фальшпол + контейнеризация Высокое сопротивление систем трубопроводов Следовательно вынужденное завышение давления подачи воздуха Следовательно высокое потребление вентиляторов Неравномерность подачи

Серверы с прямым водяным охлаждением 75 кВт на стойку => при ΔТ сервера = 20˚С => скорость воздуха 2.4 м/с на входе стойки IBM, Supermicro, Sun Microsystems,... выводят на рынок серверы с прямым водяным охлаждением

IBM Aquasar (BladeCenter with water cooling) 2009

IBM Bluefire 2008

Скиф-Аврора (Скиф ряд 4) ИПС РАН, 2009

Прямое водяное охлаждение серверов На ближайшие ~10 лет – ТОЛЬКО для HPC (высокопроизводительные вычисления) Почему? Представьте себе установку 1 (одного) нового сервера с водяным охлаждением в существующей серверной... Представьте себе сервер(ы) с водяным охлаждением в hosting/co-lo ЦОДе... Доказано: 40 и даже 60 кВт/стойку снимаются воздухом

Выводы и рекомендации Глобальное потепление продолжается кВт/стойку, далее?.. In-row (внутрирядное) кондиционирование доказало свою применимость для решения широкого круга задач Герметизация горячего коридора, кондиционеры на чиллерной воде – составляющие рецепта Самое важное: использованы ИСКЛЮЧИТЕЛЬНО серийные компоненты без какой-либо доработки

Сервера с прямым водяным охлаждением Применимость в обозримом будущем – лишь HPC-приложения

Текущая отметка 65 кВт/стойку, среднее тепловыделение 40 кВт/стойку Что дальше?