Порше на рынке дата-центров

Можно ли построить высококачественный ЦОД за разумные деньги, в разумные сроки, да еще и так, чтобы на стадии эксплуатации затраты на его обслуживание были минимальны? Обычно на этот вопрос специалисты отвечают, перефразируя известное выражение: выберите только две опции из трех.

Инженеры GreenMDC смогли дать положительный ответ на все три вопроса — после того как проделали огромную предварительную работу по анализу ситуации на рынке стандартных предложений, требований заказчиков, на основе опыта эксплуатации «боевых» дата-центров, с учетом развития ситуации в конкретных условиях коммерческой эксплуатации. В итоге на рынке дата-центров появилось новое решение — стандартная модульная конструкция.

Идея использования модуля как основы для построения ЦОДа не нова. Примеров реализации успешных проектов по развертыванию модульных дата-центров на мировом рынке много. В России наибольшее распространение получили ЦОДы контейнерного типа. И хотя, с точки зрения инженера, «ЦОД-контейнер» — это вырожденный случай модульного дата-центра, российские заказчики уже успели по достоинству оценить удобство стандартных решений при использовании модульного ЦОДа.

Рынок коммерческих дата центров — наверное, один из наиболее конкурентных. Предложений здесь — масса, заказчики хорошо знакомы с проблематикой, так что будущийарендатор, как правило, прекрасно разбирается во всех нюансах и тонкостях инженерной начинки ЦОДа и придирчиво выбирает, где ему разместить свое оборудование. Соответственно, оператор коммерческого дата-центра ставит перед инженерами-проектировщиками очень сложные задачи, требуя сочетать надежность с экономической эффективностью.

Успешному решению таких задач посвящена фотоэкскурсия под названием «МИРАН-2»: от классики к модульному принципу» (материал опубликован в февральском номере журнала «ЦОДы.РФ»). Остановимся более подробно на описании основы конструкции «МИРАН-2» — модуле CompactIndoor 24, разработанном специалистами компании GreenMDC.

По сути, CompactIndor 24 — это компромиссное решение между модульным дата-центром в его классическим понимании и контейнерным ЦОДом. Слово «Indoor» в названии отражает тот факт, что модуль предназначен для размещения внутри помещения (ангара, цеха завода — автозала); число «24» указывает на то, что он рассчитан на 24 стандартные 19-дюймовые стойки (в текущем исполнении модуль укомплектован самыми большими в линейке стойками Rittal 47 U, 600×1200 мм); «Compact» означает, что модуль занимает минимальную площадь в помещении: энергоблок расположен над серверным блоком. В линейке продукции GreenMDC имеются также модули на 12 и 24 стойки для внутреннего и наружного исполнения — Indoor и Outdoor (12 и 24 соответственно) и модуль версии Standard, у которого энергоблок расположен на одном уровне с серверным блоком, что позволяет снизить требования к несущей раме, снимает ограничение по высоте помещения и облегчает эксплуатацию.

При выборе всех инженерных систем для своего модуля разработчики руководствовались простым критерием, которому следуют уже много лет. Заключается он в том, чтобы использовать лишь те технологии, что хорошо зарекомендовали себя в работе не менее пяти лет. Такому же принципу следует, например, один из лидеров отрасли автомобилестроения компания Porsche.

Основой решения является серверный блок площадью 5×8=40 кв. м. Он состоит из шести элементов, габариты которых отвечают требованиям транспортировки по дорогам общего пользования без получения специальных разрешений.

В модуле версии Compact поверх серверного блока размещается энергетический. Такая компоновка позволяет добиться оптимизации пространства, но накладывает определенные требования на конструкцию несущей рамы и на высоту помещения, в которое устанавливается модуль (не менее девяти метров). Стыковка между собой блоков и элементов модуля выполнена с помощью мощных болтовых соединений. Для герметичности конструкции при соединении элементов блока используется уплотнительная противопожарная лента.

Для обеспечения возможности обслуживания и безопасности специалистов, обеспечивающих эксплуатацию внешних блоков кондиционеров, по периметру выполнены быстросъемный пластиковый настил и перила. Конструкция крыши серверного блока герметична, что позволяет очищать внешние блоки кондиционеров с помощью мойки высокого давления.

Микроклимат модуля

В полной комплектации 24 стойки образуют три коридора — два горячих и посередине холодный. Отвод теплоизбытков обеспечивает комбинированная система охлаждения GreenMDC, не имеющая аналогов в мировой практике. В настоящее время на эту разработку оформлен патент.

Система состоит из двух отдельных подсистем. Первая, фрикулинговая, состоит из четырех приточных установок воздуха, поступающего в модуль из помещения автозала, и двенадцати вытяжных установок в горячих коридорах серверного блока. Каждая приточная и вытяжная установка оборудована регуляторами скорости, что позволяет оптимизировать режим работы вентиляторов под конкретную нагрузку.  Вытяжные вентиляторы работают только над стойками с установленным серверным оборудованием. Управляет этой климатической установкой система автоматики, которая получает сигналы с датчиков температуры, влажности и давления, установленных по три в каждом коридоре.

Вторая подсистема — это шесть промышленных фреоновых кондиционеров, по три в каждом горячем коридоре.

На фрикулинге модуль работает в ангаре в температурном диапазоне от +5 до +25 градусов. При температуре в ангаре от +5 до +20 холодный воздух из автозала перемешивается с теплым из горячего коридора: промышленные кондиционеры в модуле работают в режиме рециркуляции. При температуре в ангаре от +20 до +25 воздух подается прямо в холодный коридор модуля без подготовки, с учетом требований ANSI TIA/EIA-942: изменение температуры в холодном коридоре не превышает 5 градусов в час. При температуре в ангаре выше +25 система переходит на кондиционеры.

При необходимости технического обслуживания системы фрикулинга или кондиционеров (замена фильтров, вентиляторов, клапанов или каких-то других элементов систем приточно-вытяжной вентиляции и кондиционеров) систему отвода теплоизбытков можно в ручном режиме перевести либо на фрикулинг, либо на кондиционеры.

Резервирование фреоновой системы выполнено по схеме N+1 по каждому горячему коридору: для отвода теплоизбытков от оборудования достаточно 2 из 3 кондиционеров. По фрикулингу используется схема резервирования N+1 для приточных установок и N+1 — для вытяжных в каждом горячем коридоре. Все оборудование фрукулинга подключено через ИБП.

Основной проблемой размещения ЦОДов с фрикулингом в городах является пыль. В модуле CompactIndoor24 борьба с ней происходит следующим образом. Первоначальную подготовку воздуха при входе в ангар обеспечивают фильтры на приточных решетках. Кроме того, в самом модуле на входных решетках установлены многократно используемые мешочные фильтры грубой очистки, а за вентиляторами — фильтры тонкой очистки класса F5 (класс чистоты для медицинских помещений). Состояние фильтров отслеживается датчиками перепада давления.

Для имитации тепловых нагрузок в режиме тестирования применялись тепловые пушки (6 штук по 20 кВт каждая) и дополнительные осевые вентиляторы — для имитации работы вычислительного оборудования не только по выделяемому теплу, но и по объему прокачиваемого воздуха. По результатам трехмесячного тестирования были отлажены все возможные режимы работы — на максимальную и минимальную нагрузку, режимы работы при резком изменении нагрузки, алгоритм перехода с фрикулинга на кондиционирование и обратно.

Если модуль размещается в климатической зоне Северо-Западного региона, то температура внутри промышленного здания, где может быть установлен модуль, редко превышает 25 градусов. По ежегодным наблюдениям, температура наружного воздуха поднимается выше отметки +25 не более 73 часов в год. При таких условиях среднегодовая расчетная PUE модуля CompactIndoor24 равна 1,24. По расчетам специалистов GreenMDC, в зависимости от загрузки ЦОДа и климатической зоны его размещения окупаемость системы фрикулинга составит от полугода до года.

Инженерные системы серверного блока

Вся распределительная электрика выполнена по классической схеме 2N. Для подключения нагрузки в серверном блоке по обеим его сторонам установлены два распределительных щита. Их функционал позволяет вести мониторинг мгновенного значения мощности, а также учет электроэнергии, потребленной каждой стойкой за определенный период времени. Информация передается в диспетчерскую дата-центра, которая располагается в автозале за пределами модуля. Каждый автомат оборудован дополнительным контактом для мониторинга его состояния (включен/выключен). Вся электрическая разводка выполнена под фальшполом.

Монтаж оптических и медных кабелей СКС выполняется по мере заполнения модуля оборудованием заказчиков, что позволяет оптимизировать капитальные затраты. Для организации узла связи на первом этаже модуля используется компактный шкаф собственной разработки, в котором установлены медные и оптические панели (производства Commscope SYSTIMAX), а также предусмотрено место для установки коммутаторов.

И серверный, и энергетический блоки модуля защищены системами пожарной сигнализации, оповещения о пожаре и газового пожаротушения: отдельная система для каждого блока. Газ (огнетушащее вещество — хладон-125) подается через рукав высокого давления и систему трубопроводов. К системе пожарной сигнализации подключены дымовые датчики, установленные по всему модулю. В каждом коридоре и тамбуре серверного блока смонтированы IP-камеры видеонаблюдения.

Инженерные системы энергоблока

В энергоблоке, расположенном на втором этаже модуля Compact Indoor 24, установлен главный распределительный щит электропитания модуля (ГРЩМ), к которому подключены два кабеля от ГРЩ автозала. Конструкция ГРЩМ выполнена таким образом, что к нему можно третьим вводом подключить кабель от автономного ДГУ: для этого достаточно только установить необходимый автоматический выключатель на предназначенное для него место в ГРЩМ. Вся необходимая автоматика для работы с ДГУ уже предусмотрена.

Бесперебойное электропитание модуля обеспечивается двумя независимыми ИБП производства Grand Motors, подключенными по схеме 2N и обеспеченными простой системой мониторинга и управления. Мощность каждого ИБП — 120 кВА. Батарейные шкафы c аккумуляторными батареями Haze рассчитаны на поддержание 6 минут автономной работы вычислительного оборудования на полную мощность. Для отвода теплоизбытков от ИБП и щитов энергоблока, а также для создания подпора воздуха выполнена приточно-вытяжная вентиляционная установка и смонтированы 2 кондиционера Mitsubishi, мощности каждого из которого хватит для охлаждения оборудования (схема 2N).

В энергоблоке установлен также щит системы автоматики отвода теплоизбытков, задача которого — управление всей климатической установкой. Собран он на базе трех (с учетом резерва) промышленных контроллеров Carel, что является проверенным решением систем общеобменной вентиляции на объектах производственного назначения.

В энергоблоке также установлены щиты систем диспетчеризации и видеонаблюдения. Аппаратный уровень системы диспетчеризации выполнен на контроллерах WAGO, а верхний уровень реализует SCADA-система Trace Mode.

Во всем модуле используется светодиодное освещение. При одинаковой светоотдаче светильники на диодах потребляют в два раза меньше по сравнению с люминесцентными лампами.

Требования к площадке для размещения модуля

Модуль неприхотлив к помещению, предназначенному для его установки. Обеспыливание при этом требуется минимальное: достаточно грубых фильтров для поступающего в ангар воздуха. Немаловажно и то, что конструкция модуля нетребовательна к кривизне пола: модуль устанавливается на бетонные блоки, кривизна пола при этом компенсируется наборными металлическими площадками.

По сути, все, что нужно CompactIndoor24, — это крыша над головой. Если помещение автозала не позволяет устанавливать энергоблок наверху (например, из-за ограничения высоты потолка), его помещают на одном уровне с серверным блоком, сбоку: версия StandartIndoor. Версия Outdoor предназначена для установки на улице.

«Главным при проектировании модуля Compact Indoor 24 был принцип удобства для специалистов, которые занимаются установкой серверного оборудования и обслуживанием инженерных систем, — говорит Игорь Ситников, гендиректор компании «МИРАН». — И хотя все системы модуля собраны очень компактно, штатное обслуживание выполнять довольно удобно: оно не затрагивает интересов тех клиентов, чье оборудование расположено в модуле. Каждый узел модуля имеет возможность планового вывода в ремонт или регламентного обслуживания без нарушения работоспособности всех систем. Помимо всего прочего, нет особых требований к квалификации обслуживающего персонала».

Срок изготовления одного модуля — три месяца. Его посекционная разборка в транспортное состояние не превышает двух недель, еще столько же уходит на сборку и тестирование на новой площадке. В настоящее время специалисты GreenMDC работают над тем, чтобы инсталляция на площадке заказчика занимала не более недели.

Модуль может быть расположен как в собственном помещении заказчика, так и на арендованной площадке, — как, например, это сделано на площадке «МИРАН-2» в Санкт-Петербурге. Если когда-либо возникнет необходимость в миграции ЦОДа, то, во-первых, в отличие от традиционного дата-центра, это довольно просто, а во-вторых, расходы на перемещение модуля составят не более 10% от суммы общих затрат на проект. Причины для переезда могут быть разные. Например, арендодатель может менять свою бизнес-стратегию, диктовать иные условия, оказывая давление на арендатора, который мог уже вложить в здание много денег. При выборе модульной стратегии дата-центра эти риски сведены к минимуму. Правда, при переезде что-то все же придется оставить: часть сервисных помещений, а также часть кабелей, затраты на демонтаж которых могут превысить их собственную стоимость.

Первым покупателем CompactIndoor 24 стала компания «МИРАН»: в конце 2012 года ей была представлена концепция решения, и специалисты убедились, что такая схема для их площадки оптимальна. Все работы — R&D, дизайн, производство, монтаж и тестовый запуск — были выполнены в течение полугода. К 20 декабря 2013 года модуль был запущен в коммерческую эксплуатацию.

Источник: «ЦОДы.РФ», выпуск №7
Версия в формате PDF