Как эффективно охлаждать серверные помещения

Когда в дата-центре растет мощность и плотность размещения оборудования, не только выгод, но и проблем с его обслуживанием становится больше. Одна из них – необходимость в эффективном охлаждении помещения.

Зачем охлаждать серверные помещения

Одна серверная стойка в процессе работы генерирует 5–7 кВт тепла. В небольшой серверной комнате 7–10 стоек будут выделять более 50 кВт тепла. Много это или мало?

Производители серверного оборудования гарантируют его стабильную работу при температуре от +20 до +24 °C. При 40 °C серверы еще функционируют более-менее нормально, но дальше начнутся неприятные вещи: процессоры замедлят работу (включится механизм защиты «троттлинг»), при дальнейшем повышении температуры и вовсе остановятся. А простои в работе ЦОД – это потери для бизнеса денег, доверия, перспективных клиентов.

До отметки в 40 градусов доводить нежелательно и даже опасно. При +35–40 °C оборудование не будет соответствовать заявленному уровню производительности и сроку работы, которых от него ожидают. Американское общество инженеров по отоплению, охлаждению и кондиционированию воздуха (ASHRAE) рекомендует температуру для серверных +20–25 °C, а предельно разрешенную – +15–32 °C. Этих параметров необходимо придерживаться при проектировании зданий для размещения дата-центров и в процессе их эксплуатации.

Повышение температуры негативно влияет на работу традиционных накопителей HHD. Сама по себе температура опасности не представляет, так как до +50 °C жесткие диски работают в штатном режиме. Но в сочетании с возрастом накопителя ускоряет его старение. У твердотельных накопителей SSD при нагревании в ячейках MLC происходит деградация способности сохранения заряда в оксиде кремния. Соответственно их срок службы тоже уменьшается.

Не только процессоры с накопителями, но и источники бесперебойного питания страдают от повышения температуры окружающей среды. Если в нормальных рабочих условиях производитель заявляет от 3 до 5 лет работы, то при +35 °C он сокращается до полутора лет. Даже если вы размещаете централизованные ИБП за пределами серверных помещений, охлаждать их все равно нужно. При повышении температуры на каждые 10 °C сверх рекомендованных +25 °C срок эксплуатации сокращается на 10 %, так как ускоряются процессы сульфатации свинцовых пластин.

Как характеристики помещения определяют температуру

Говоря о температуре в дата-центре, мы имеем в виду не только конкретное оборудование (оно может быть разной мощности и плотности размещения), но и конкретное помещение с его особенностями.

Если серверная обслуживает небольшую компанию и находится в цокольном или подвальном помещении, с охлаждением справится бытовая сплит-система.

Для охлаждения полноценного дата-центра учитывают близость почвы, особенности прокладки инженерных коммуникаций, площадь помещения, а также стройматериалы и другие факторы.

Больше всего на температуру влияет площадь: чем она меньше, тем быстрее растет температура. И наоборот: чем просторнее серверная комната, тем лучше и быстрее рассеивается тепло.

Материалы разной теплопроводности тоже влияют на процессы теплообмена. Если заменить стены и перегородки из гипсокартона на бетонные стены, а подвесные потолки на железобетонные перекрытия, сохранив толщину, эффективность охлаждения возрастет.

Если стены серверного помещения контактируют с улицей, а не с другим помещением, температура внутри будет зависеть от окружающей среды. Хуже всего в солнечные дни, когда с южной стороны стены дополнительно нагреваются. Летним днем при +38 °C серверы, работающие в небольшой комнате 3×3×3 м, будут перегреваться, так как температура в помещении повысится на 4–7 °C. Цифры приблизительные, потому что все зависит от толщины стен и стройматериалов.

Решения для охлаждения серверных помещений

Не стоит надеяться, что серверное оборудование не остановится из-за перегрева. Решения, которые используются в дата-центре, разнообразны, и только вы можете выбрать нужное вам по сложности и стоимости реализации.

Естественная теплопроводность

Нагретые предметы передают тепло окружающей среде или другим объектам с более низкой температурой. Представьте обычную квартиру, в которой тепло рассеивается по комнатам от нагретых радиаторов. То же происходит в серверном помещении, только здесь уходящее через стены тепло – не зло, как в квартире, а наоборот.

При естественной теплопроводности нагретый воздух из серверной уходит в окружающую среду через стены при условии, что в помещении на несколько градусов теплее. Чем больше разница температур, тем лучше. Это самое неэффективное решение для охлаждения серверных помещений. Его редко используют из-за факторов, влияющих на естественную теплопроводность: климатических особенностей региона, расположения помещения относительно уровня почвы, материалов стен, полов и потолков, площади. Эксперты рекомендуют использовать естественную теплопроводность там, где суммарная мощность потребителей электроэнергии не превышает 1 кВт.

Пассивная вентиляция

Если организовать сообщение между условно более теплыми и холодными смежными помещениями, можно частично решить проблему охлаждения серверов. Делается это через пассивную вентиляцию, когда холодный воздух через воздухозаборники поступает в нагретое помещение. И здесь снова сталкиваемся с ограничением, когда охлаждение работает только для потребителей электроэнергии, суммарная мощность которых не превышает 700 Вт.

Принудительная вентиляция

Чтобы сделать воздухообмен более эффективным, скорость движения воздушных потоков увеличивают с помощью вентиляторов. В таких условиях можно рассчитывать на охлаждение группы потребителей мощностью от 700 Вт до 2 кВт.

В пассивной и в принудительной вентиляции важна не только разность температур в смежных помещениях, но и расположение вентиляционных отверстий по отношению к охлаждаемому оборудованию. И по-прежнему не сбрасываем со счетов материалы стен и перекрытий.

Выделенная система охлаждения

По аналогии с квартирой это будет кондиционер, который охлаждает жилплощадь. Только в дата-центре не получится обойтись одним кондиционером (тем более бытовым) – нужна выделенная система охлаждения с прецизионными кондиционерами. С помощью этих автономных шкафов можно точно регулировать и поддерживать в заданном диапазоне температуру и влажность. Плюс они очищают воздух от пыли, которая вызывает сбои в работе электроники.

Охлаждение кондиционером с вытеснением

Для серверных помещений, где нет фальшпола, используют прецизионные кондиционеры с вытеснением, которые устанавливают на специальную подставку. Это позволяет равномерно распределить воздушные потоки по всему объему комнаты и избежать появления тепловых зон. Подставка кондиционера сконструирована таким образом, чтобы направлять холодный воздух к стойкам. Для этого используют специальную систему экранов и конструкций. Такая конфигурация применяется в небольших серверных, рассчитанных максимум на пять-шесть стоек.

Охлаждение кондиционерами через фальшпол

В серверных с 7 и более стойками устраивают фальшпол, благодаря которому распределяется движение воздуха и соблюдается правило горячего и холодного коридора, в котором не смешиваются потоки с разной температурой, и в серверной не появляются горячие и холодные точки.

Чтобы организовать правильную работу охлаждения, нужно рассчитать высоту фальшпола. Под ним должно поддерживаться постоянное воздушное давление, которое автоматически регулируется в зависимости от колебаний тепловой нагрузки. При наличии фальшпола мощность дата-центра может достигать 200 кВт, а если использовать модульные решения, можно повысить ее до 300 кВт.

Система с вытеснением или фальшполом – не единственная рабочая схема охлаждения ЦОД. Охлаждают и серверные стойки, устанавливая в них специальные кондиционеры, используют системы кондиционирования с модулем прямого или свободного охлаждения. Но у многих прецизионных кондиционеров есть недостатки – они плохо справляются с колебаниями нагрузки и не могут обслужить мощности высокой плотности.

Прецизионные кондиционеры Delta Electronics – решение для современного ЦОД

Повышение плотности мощности и необходимость обслуживать сложные рабочие нагрузки послужило стимулом к разработке прецизионных кондиционеров нового поколения. В компании Delta Electronics они представлены в линейке RowCool. В нее входят воздухоохладители для установки рядом с источником тепла и подачей воздуха вверх/вниз, а также воздухораспределительные блоки.

У Delta Electronics есть внутрирядные кондиционеры RowCool с водяным охлаждением, рассчитанные на потребителей различной суммарной мощности: 29 кВт, 43 кВт, 70 кВт и 90 кВт. Они оснащены одноразовыми фильтрами и вентиляторами с горячей заменой.

Альтернатива для потребителей до 35 кВт – внутрирядные кондиционеры RowCool с наружным конденсаторным блоком и спиральным кондиционером. Отдельно можно приобрести воздухораспределительные блоки InfraSuite ADUВ для монтажа к фальшполу.

Современные ЦОД, обслуживающие ответственные рабочие нагрузки, лучше оснастить решениями серии RoomCool F. Они просты в управлении, техобслуживании и ремонте, для удобного взаимодействия с ними производитель предусмотрел семидюймовый сенсорный экран.

Как эффективно охлаждать серверные помещения

Когда в дата-центре растет мощность и плотность размещения оборудования, не только выгод, но и проблем с его обслуживанием становится больше. Одна из них – необходимость в эффективном охлаждении помещения.

Зачем охлаждать серверные помещения

Одна серверная стойка в процессе работы генерирует 5–7 кВт тепла. В небольшой серверной комнате 7–10 стоек будут выделять более 50 кВт тепла. Много это или мало?

Производители серверного оборудования гарантируют его стабильную работу при температуре от +20 до +24 °C. При 40 °C серверы еще функционируют более-менее нормально, но дальше начнутся неприятные вещи: процессоры замедлят работу (включится механизм защиты «троттлинг»), при дальнейшем повышении температуры и вовсе остановятся. А простои в работе ЦОД – это потери для бизнеса денег, доверия, перспективных клиентов.

До отметки в 40 градусов доводить нежелательно и даже опасно. При +35–40 °C оборудование не будет соответствовать заявленному уровню производительности и сроку работы, которых от него ожидают. Американское общество инженеров по отоплению, охлаждению и кондиционированию воздуха (ASHRAE) рекомендует температуру для серверных +20–25 °C, а предельно разрешенную – +15–32 °C. Этих параметров необходимо придерживаться при проектировании зданий для размещения дата-центров и в процессе их эксплуатации.

Повышение температуры негативно влияет на работу традиционных накопителей HHD. Сама по себе температура опасности не представляет, так как до +50 °C жесткие диски работают в штатном режиме. Но в сочетании с возрастом накопителя ускоряет его старение. У твердотельных накопителей SSD при нагревании в ячейках MLC происходит деградация способности сохранения заряда в оксиде кремния. Соответственно их срок службы тоже уменьшается.

Не только процессоры с накопителями, но и источники бесперебойного питания страдают от повышения температуры окружающей среды. Если в нормальных рабочих условиях производитель заявляет от 3 до 5 лет работы, то при +35 °C он сокращается до полутора лет. Даже если вы размещаете централизованные ИБП за пределами серверных помещений, охлаждать их все равно нужно. При повышении температуры на каждые 10 °C сверх рекомендованных +25 °C срок эксплуатации сокращается на 10 %, так как ускоряются процессы сульфатации свинцовых пластин.

Как характеристики помещения определяют температуру

Говоря о температуре в дата-центре, мы имеем в виду не только конкретное оборудование (оно может быть разной мощности и плотности размещения), но и конкретное помещение с его особенностями.

Если серверная обслуживает небольшую компанию и находится в цокольном или подвальном помещении, с охлаждением справится бытовая сплит-система.

Для охлаждения полноценного дата-центра учитывают близость почвы, особенности прокладки инженерных коммуникаций, площадь помещения, а также стройматериалы и другие факторы.

Больше всего на температуру влияет площадь: чем она меньше, тем быстрее растет температура. И наоборот: чем просторнее серверная комната, тем лучше и быстрее рассеивается тепло.

Материалы разной теплопроводности тоже влияют на процессы теплообмена. Если заменить стены и перегородки из гипсокартона на бетонные стены, а подвесные потолки на железобетонные перекрытия, сохранив толщину, эффективность охлаждения возрастет.

Если стены серверного помещения контактируют с улицей, а не с другим помещением, температура внутри будет зависеть от окружающей среды. Хуже всего в солнечные дни, когда с южной стороны стены дополнительно нагреваются. Летним днем при +38 °C серверы, работающие в небольшой комнате 3×3×3 м, будут перегреваться, так как температура в помещении повысится на 4–7 °C. Цифры приблизительные, потому что все зависит от толщины стен и стройматериалов.

Решения для охлаждения серверных помещений

Не стоит надеяться, что серверное оборудование не остановится из-за перегрева. Решения, которые используются в дата-центре, разнообразны, и только вы можете выбрать нужное вам по сложности и стоимости реализации.

Естественная теплопроводность

Нагретые предметы передают тепло окружающей среде или другим объектам с более низкой температурой. Представьте обычную квартиру, в которой тепло рассеивается по комнатам от нагретых радиаторов. То же происходит в серверном помещении, только здесь уходящее через стены тепло – не зло, как в квартире, а наоборот.

При естественной теплопроводности нагретый воздух из серверной уходит в окружающую среду через стены при условии, что в помещении на несколько градусов теплее. Чем больше разница температур, тем лучше. Это самое неэффективное решение для охлаждения серверных помещений. Его редко используют из-за факторов, влияющих на естественную теплопроводность: климатических особенностей региона, расположения помещения относительно уровня почвы, материалов стен, полов и потолков, площади. Эксперты рекомендуют использовать естественную теплопроводность там, где суммарная мощность потребителей электроэнергии не превышает 1 кВт.

Пассивная вентиляция

Если организовать сообщение между условно более теплыми и холодными смежными помещениями, можно частично решить проблему охлаждения серверов. Делается это через пассивную вентиляцию, когда холодный воздух через воздухозаборники поступает в нагретое помещение. И здесь снова сталкиваемся с ограничением, когда охлаждение работает только для потребителей электроэнергии, суммарная мощность которых не превышает 700 Вт.

Принудительная вентиляция

Чтобы сделать воздухообмен более эффективным, скорость движения воздушных потоков увеличивают с помощью вентиляторов. В таких условиях можно рассчитывать на охлаждение группы потребителей мощностью от 700 Вт до 2 кВт.

В пассивной и в принудительной вентиляции важна не только разность температур в смежных помещениях, но и расположение вентиляционных отверстий по отношению к охлаждаемому оборудованию. И по-прежнему не сбрасываем со счетов материалы стен и перекрытий.

Выделенная система охлаждения

По аналогии с квартирой это будет кондиционер, который охлаждает жилплощадь. Только в дата-центре не получится обойтись одним кондиционером (тем более бытовым) – нужна выделенная система охлаждения с прецизионными кондиционерами. С помощью этих автономных шкафов можно точно регулировать и поддерживать в заданном диапазоне температуру и влажность. Плюс они очищают воздух от пыли, которая вызывает сбои в работе электроники.

Охлаждение кондиционером с вытеснением

Для серверных помещений, где нет фальшпола, используют прецизионные кондиционеры с вытеснением, которые устанавливают на специальную подставку. Это позволяет равномерно распределить воздушные потоки по всему объему комнаты и избежать появления тепловых зон. Подставка кондиционера сконструирована таким образом, чтобы направлять холодный воздух к стойкам. Для этого используют специальную систему экранов и конструкций. Такая конфигурация применяется в небольших серверных, рассчитанных максимум на пять-шесть стоек.

Охлаждение кондиционерами через фальшпол

В серверных с 7 и более стойками устраивают фальшпол, благодаря которому распределяется движение воздуха и соблюдается правило горячего и холодного коридора, в котором не смешиваются потоки с разной температурой, и в серверной не появляются горячие и холодные точки.

Чтобы организовать правильную работу охлаждения, нужно рассчитать высоту фальшпола. Под ним должно поддерживаться постоянное воздушное давление, которое автоматически регулируется в зависимости от колебаний тепловой нагрузки. При наличии фальшпола мощность дата-центра может достигать 200 кВт, а если использовать модульные решения, можно повысить ее до 300 кВт.

Система с вытеснением или фальшполом – не единственная рабочая схема охлаждения ЦОД. Охлаждают и серверные стойки, устанавливая в них специальные кондиционеры, используют системы кондиционирования с модулем прямого или свободного охлаждения. Но у многих прецизионных кондиционеров есть недостатки – они плохо справляются с колебаниями нагрузки и не могут обслужить мощности высокой плотности.

Прецизионные кондиционеры Delta Electronics – решение для современного ЦОД

Повышение плотности мощности и необходимость обслуживать сложные рабочие нагрузки послужило стимулом к разработке прецизионных кондиционеров нового поколения. В компании Delta Electronics они представлены в линейке RowCool. В нее входят воздухоохладители для установки рядом с источником тепла и подачей воздуха вверх/вниз, а также воздухораспределительные блоки.

У Delta Electronics есть внутрирядные кондиционеры RowCool с водяным охлаждением, рассчитанные на потребителей различной суммарной мощности: 29 кВт, 43 кВт, 70 кВт и 90 кВт. Они оснащены одноразовыми фильтрами и вентиляторами с горячей заменой.

Альтернатива для потребителей до 35 кВт – внутрирядные кондиционеры RowCool с наружным конденсаторным блоком и спиральным кондиционером. Отдельно можно приобрести воздухораспределительные блоки InfraSuite ADUВ для монтажа к фальшполу.

Современные ЦОД, обслуживающие ответственные рабочие нагрузки, лучше оснастить решениями серии RoomCool F. Они просты в управлении, техобслуживании и ремонте, для удобного взаимодействия с ними производитель предусмотрел семидюймовый сенсорный экран.