Проектирование холодоснабжения ЦОД — резерв N+1 и 2N, температуры и фрикулинг

Дата-центр на 10 МВт ИТ-нагрузки с PUE 1,4 потребляет около 14 МВт, из них на холод уходит около 2 МВт средней мощности — примерно 14% энергии объекта, 17,5 млн кВт·ч и больше 120 млн ₽ в год при тарифе 7 ₽/кВт·ч. Большую часть этой суммы закладывают ещё в проекте: какую температуру подавать к стойкам, по какой схеме резервировать машины, сколько часов в году работать без компрессора. Мы проектируем, производим, монтируем и обслуживаем холодоснабжение дата-центров.

С каких исходных данных начинается проект холодоснабжения ЦОД?

До выбора оборудования мы собираем ответы на несколько вопросов. Каждый из них отсекает часть схем, иногда половину сразу.

• ИТ-нагрузка сейчас и через три года. Разница между ними часто составляет 2–5 раз. От нагрузки «сегодня» зависит мощность первой очереди, от нагрузки «через три года» — сколько места и подключений оставить под рост.
• Плотность стойки. До 30 кВт на стойку тепло ещё снимает воздух, при 30–100 кВт нужна гибридная схема, выше 100 кВт — только жидкостное охлаждение на уровне чипа.
• Уровень надёжности. По классификации Uptime Institute для Tier III допустимый простой — до 1,6 часа в год, для Tier IV — до 0,4 часа. От этого зависит схема резерва.
• Климат площадки. Расчётные температуры по сухому и мокрому термометру показывают, сколько часов будет работать фрикулинг и есть ли смысл в адиабатике.
• Вода, электричество, газ. Без водопровода отпадают все испарительные схемы. Лимит мощности от сетей и наличие газа решают, нужна ли абсорбционная машина.

Ошибку в исходных данных потом исправляют дорогой переделкой. Поэтому начинаем с инженерной концепции, где сравниваем две-три схемы, а общий порядок работ описали в статье о проектировании системы холодоснабжения.

Какую температуру воды закладывать к стойкам?

Температура подачи определяет, нужен ли ЦОД компрессорный холод вообще. Чем теплее вода, которую принимает ИТ-оборудование, тем больше часов в году её охлаждает уличный воздух.

В наших проектах холодоснабжение залов обычно работает на графиках от +12/18 до +18/24 °C. Для новых залов под вычислительные кластеры с жидкостным охлаждением закладываем 29–30 °C на распределительные блоки стоек: закрытая градирня или драйкулер с адиабатическим орошением дают такую воду даже при +35 °C на улице. Сухой драйкулер без орошения охлаждает воду только до температуры выше уличной, поэтому в жару он такую воду не даст. Чиллер остаётся резервом на 100–500 часов жары в году.

Какое резервирование выбрать: N+1 или 2N?

N+1 значит, что к машинам, которые несут расчётную нагрузку, добавлена одна резервная. 2N — каждая машина продублирована полностью. N+1 считается стандартом для Tier III, 2N применяют на Tier IV и в финансовых ЦОД. Переход к 2N увеличивает стоимость холодоснабжения в два-три раза, зато любую машину можно выводить на обслуживание без риска для залов.

Как мы закладываем резерв в проекте:

• ставим несколько модульных чиллеров NCT на общие коллекторы, чтобы при отказе одного нагрузку плавно подхватывал резервный;
• насосы делаем парами, рабочий плюс резервный, с обратными клапанами;
• предусматриваем буферный объём воды: 30 секунд выбега хватает серверам, чтобы завершить операции, 2 минуты дают спокойный переход на резерв;
• делим внешний контур на модули, чтобы градирни и драйкулеры обслуживать по очереди, а не останавливать весь контур.

Сколько часов в году ЦОД может работать на фрикулинге?

Фрикулинг, или свободное охлаждение, — режим, в котором воду охлаждает уличный воздух, а компрессоры стоят. Для ЦОД мы закладываем включение фрикулинга, когда на улице холоднее +10 °C. В средней полосе России это 4000–5000 часов в год, на юге — 1500–2500 часов. За счёт этих часов годовой коэффициент эффективности чиллера растёт с 3 до 5–7, а дополнительные вложения в фрикулинг (плюс 15–25% к стоимости машины) окупаются за 2–4 года.

Свободное охлаждение мы чаще всего строим на драйкулерах NCT: они работают без расхода воды и закрывают контур от уличной пыли. Для юга подбираем драйкулеры с адиабатическим орошением — в жару они охлаждают воздух на входе на 5–10 °C и расходуют на пике около 0,3 м³/ч воды на 1 МВт. Характеристики и серии сухих охладителей собраны в каталоге драйкулеров NCT. Как работает режим на заводах, мы разбирали в статье о фрикулинге на производстве.

Что делать, если электрической мощности на площадке не хватает?

Лимит мощности от сетей — частая причина, по которой классическую схему приходится менять. Если доступно не больше 1,3 ИТ-нагрузки, схема на фреоновом чиллере с PUE 1,4 в этот лимит не помещается. Тогда остаются два пути: схемы без компрессора с PUE до 1,2 или абсорбционная холодильная машина (АБХМ) на газе или бросовом тепле.

АБХМ Thermax потребляет около 5 кВт электроэнергии на 1000 кВт холода, компрессорный чиллер той же мощности — около 300 кВт. Освободившиеся киловатты уходят на ИТ-нагрузку без расширения подключения. Выход АБХМ на режим занимает около 30 минут, поэтому для ЦОД рядом ставим резервный чиллер на 20% мощности.

Схема уже работает на наших объектах. На заводе «Микран» в Томске две АБХМ Thermax по 1100 кВт делают холод из тепла газопоршневой установки. В здании Центрального таможенного управления в Москве две АБХМ по 500 кВт решили задачу в историческом центре, где электрической мощности не хватало.

Что ещё учесть по воде, площадке и автоматике?

• Вода. Испарительные схемы расходуют от 0,3 до 3 м³/ч на 1 МВт холода, продувка — до 30% от подпитки. В Москве крупную мокрую градирню нередко блокирует именно сброс продувки.
• Кровля. Нагрузка наружных аппаратов — 600–1500 кг/м². Закрытая градирня в 2–3 раза компактнее открытой. Если кровля слабая, открытые и закрытые градирни на ней не ставим.
• Легионелла. Для банков и медицинских объектов открытую градирню не применяем: остаются закрытые контуры и сухие схемы.
• Диспетчеризация. Автоматика хладоцентра должна отдавать данные в систему управления зданием по открытым протоколам — Modbus, BACnet, SNMP. Закрытый протокол на тендере — повод задать вопросы поставщику.

Для одного из дата-центров мы поставили градирню NCT SVA с насосной группой и автоматикой, которая контролирует работу почти без участия человека, с частотным регулированием и подогревом поддона. Для ЦОД в Иркутской области отгрузили щит управления насосной группой.

Как идёт проект и сколько он длится?

1. Обследуем объект, считаем нагрузку и схему резерва, готовим технико-экономическое обоснование.
2. Проектируем хладоцентр: чиллеры, градирни или драйкулеры, АБХМ, насосную обвязку, автоматику.
3. Производим оборудование на своём заводе, заказчик может принять его на заводе.
4. Поставляем, ведём шеф-монтаж и пусконаладку.
5. Обучаем персонал заказчика и обслуживаем систему своей сервисной службой.

Гарантия — до 5 лет с пусконаладки. Среди ЦОД и вычислительных площадок с нашим оборудованием, например, ЦОД «Мобил Телеком» в Ленинградской области, ЦОД в Республике Марий Эл и в Санкт-Петербурге, майнинговые площадки в Самаре, Томской и Московской областях, и многие другие. Все схемы и оборудование для дата-центров собраны на странице «Центры обработки данных и серверные», а сравнение годовых затрат пяти схем на 5000 кВт Максим Краснов разобрал в статье «Охлаждение ЦОД: пять схем и сколько каждая стоит в год».

Частые вопросы