Полгода эксплуатации «МИРАН-2»: «Разбор полёта»

В декабре 2013 года компания МИРАН запустила в коммерческую эксплуатацию свою новую площадку, выбрав в качестве решения для размещения стоек модульный дата-центр GreenMDC CompactIndoor24 (подробная информация – в журнале «ЦОДы.РФ №6»). О полугодовом опыте эксплуатации этого объекта рассказываетВиталий Николаев, главный инженер компании «МИРАН».

Какие достоинства и недостатки были выявлены за полгода эксплуатации МЦОД?

Виталий Николаев: Начну, пожалуй, с недостатков. Их пока удалось выявить совсем немного, несмотря на то, что продукт у GreenMDC достаточно новый. Да и то, это больше не недостатки, а нюансы эксплуатации. Не очень удобной в условиях colocation оказалась схема резервирования электрики 2N. Дело в том, что несмотря на тенденции, достаточно много клиентского оборудования имеет один блок питания.

И для обеспечения его бесперебойной работы приходится устанавливать в клиентские шкафы локальные быстродействующие АВР (ATS – automatic transfer switch). Несмотря на то, что ИБП имеют встроенный байпас, на который они переключаются без разрыва цепи питания, а также имеют внешний байпас, мы не можем позволить себе допустить ситуацию, когда нам необходимо вывести полностью ИБП из эксплуатации, — при этом на 0,5-1 секунду пропадет питание на одном из вводов. Для оборудования с одним блоком это критично. ATS эту проблему решает, но он занимает место в шкафу, стоит немало и сам по себе является дополнительной точкой возможного отказа.

То есть, получается, что классическая схема резервирования электрики 2N неудобна для colocation?

В. Н.: Получается, да. В корпоративных дата-центрах, где все устанавливаемое оборудования подбирается исходя из жесткого требования наличия двух блоков питания, — схема 2N, безусловно, хороша. А для colocation — неудобна. На первой площадке у нас используется схема N+1 – у нее есть «узкие» места, но с ней гораздо проще.  

А еще мы столкнулись с неудобством подключения электрики к высоконагруженным стойкам. Дело в том, что в модуле сделана однофазная разводка абонентской электрики – к каждой стойке идет две однофазных линии 32А, заканчивающиеся соответствующими промышленными разъемами. А у высоконагруженных стоек (к примеру — 14 кВт на стойку), зачастую применяются блоки распределения питания (PDU) с разъемами для включения в трехфазную сеть, несмотря на то, что характер нагрузки не меняется. По сути, данные PDU совмещает в себе три обычных в одном корпусе. Для этого пришлось менять в распределительном щите автоматы и прокладывать новые кабели. Хотя, это было не сложно – конструкция щитов удобная, благодаря использованию передовых разработок в области модульных систем распределения электроэнергии, да и все трассы электрики доступны – они идут под фальш-полом. Справедливости ради, хочу отметить, что на первой площадке эта операция была бы куда более трудозатратной – там у нас стоят модульные системы распределения электроэнергии более ранних поколений, которые не имеют такого широкого  функционала.

Больше никаких недостатков за время эксплуатации выявлено не было.

Тогда расскажите про достоинства

В. Н.: Их гораздо больше, чем недостатков.

Во-первых, это удобство такелажа. При создании второй площадки мы выдвигали весьма непростые, с точки зрения реализации, требования — обеспечить возможность полностью механизированного такелажа серверного шкафа в сборе, причем исключая возможность наклона. И, надо отметить, что данная задача была успешно реализована.

Во-вторых, это энергоэффективность решения и работа климатической установки. На первой площадке у нас была следующая ситуация: когда были установлены первые клиентские шкафы, алгоритм работы климатики был совсем не оптимальный. Когда в автозале 10-15 кВт теплоизбытков, а работают два кондиционера по 80 кВт холодоснабжения каждый, температурный режим очень нестабильный — воздух нагревается медленно, а остужается очень быстро. Кондиционеры работают в режиме пуск-стоп, для компрессора этот режим работы, мягко говоря, не самый благоприятный. Не говоря о том, что сам по себе фреоновый кондиционер – это далеко не энергоэффективное решение.

В итоге в начале работы первой площадки приходилось идти на всякие ухищрения – использовать систему подпора воздуха как по прямому назначению, так и для дополнительного нагрева помещения серверного зала, а иногда для полноценного охлаждения. А также запускать дымоудаление (чтобы удалить теплый воздух из помещения); управлять кондиционерами исключительно в ручном режиме и выводить их в пограничные состояния, балансируя между работоспособностью оборудования и требуемым результатом…

А в модульном ЦОДе  все сделано гораздо практичнее. Система управления климатом изначально проектировалась под особенность эксплуатации colocation-серверных; другими словами, система готова к корректному отводу как 6 кВт тепла, так и к 120 кВт. Причем без серьезных изменения PUE модуля, чего нельзя сказать о классической компоновке дата-центров, где показатель PUE на этапах начала эксплуатации может превышать полный ожидаемый в несколько раз.  

Принципиально важно, что большую часть времени модуль работает на фрикулинге: на минимальной скорости работают два приточных вентилятора и вытяжные вентиляторы только над теми стойками, где стоит оборудование. И все. Т.е. даже в таком режиме,  когда модуль заполнен на 10%, — КПД работы системы, а следовательно и PUE, получается весьма впечатляющим. На кондиционерах режим работы тоже хороший – работают два кондиционера на минимальной производительности компрессора, это 14 кВт холода. Опять же, работают они только в той зоне, где установлено оборудование. Хотя в этом году, с таким прохладным летом, модуль на кондиционерах работал всего несколько дней, все остальное время с момента запуска – на фрикулинге.

Инженеры из GreenMDC заявляют об уникальности своей системы отвода теплоизбытков. Не влияет ли этот факт негативно на ее эксплуатацию и надежность?

В. Н.: Удивительно, но нет (смеется). Я не люблю термин «уникальный», особенно применительно к какой-либо инженерной системе. Как и любой специалист, который занимается эксплуатацией, я хорошо понимаю, что если система или машина уникальна – значит она либо не ремонтопригодна (и в случае выхода из строя подлежит замене целиком), либо ремонт связан с очень большими затратами, что тоже не приемлемо. Давайте оставим этот термин для специалистов по продажам и маркетингу. Все инженерные системы, коими в обилии оснащен модуль компании GreenMDC, имеют один общий признак – все системы состоят из простых, надежных узлов и агрегатов, которые не первый год служат на благо промышленности в различных областях, где часто требования по надежности не в пример выше, чем в области дата-центров.

Уникальным здесь можно назвать только то, что команде инженеров GreenMDC удалось абстрагироваться от того, что они проектируют дата-центр, «забыть», что на рынке огромное количество готовых решений от различных вендоров и сосредоточиться на решении конкретной инженерной задачи. Результат вы видите у меня за спиной. Полностью индивидуально спроектированный модульный дата-центр, в котором все системы спроектированы под него, а не вписаны в проект из каталога. Каждый узел надежен самостоятельно, а, следовательно, и все системы так же надежны. Причем как исполнительные элементы, так и система контроля и управления всей инженеркой.

К слову, вся система управления построена на базе АСУТП. При этом, все заложенные в систему алгоритмы работают очень четко. Нам еще ни разу не пришлось переводить систему охлаждения в ручной режим – в этом просто не было необходимости. Да и фильтры на приточных вентиляторах за полгода эксплуатации мы не чистили и не меняли – в этом просто не было нужды. Так что у GreenMDC действительно получилась уникальная система – она простая, при этом работает эффективно при любой тепловой нагрузке в серверном блоке – от 1-й стойки до 24х. А в остальном модуль – это обычный хороший, надежный ЦОД. Столь же удобный в эксплуатации, как и капитально построенный, а местами и лучше. Быстро строить, удобно пользоваться, просто обслуживать… Изящное инженерное решение конкретной задачи. Реальных альтернатив ему я сейчас не вижу. В этом году мы заказали у GreenMDC второй модуль CompactIndoor24; и в конце года планируем заказать еще один.

Виталий, спасибо Вам за содержательный рассказ. Надеемся, модульный ЦОД GreenMDC и следующие полгода будет работать так же хорошо, как и сейчас.

В. Н.: Спасибо. Тогда жду Вас через полгода!

Виталий, спасибо Вам за содержательный рассказ. Надеемся, модульный ЦОД GreenMDC и следующие полгода будет работать так же хорошо, как и сейчас.

В. Н.: Спасибо. Тогда жду Вас через полгода!

КОММЕНТАРИЙ ЭКСПЕРТА:

Михаил Филиппов, 

Технический директор GreenMDC

Система 2N, действительно, показала себя в colocation не самой удобной. Но, при этом, это все-таки 2N, а не N+1. В новой версии модуля у Заказчика будет возможность выбрать тот вариант, который подходит лучше для его задач. Что же касается подключения высоконагруженных стоек – мы сейчас прорабатываем варианты, как выполнить это более удобно. Есть несколько вариантов – шинопроводы, электрощиты с общей шиной, позволяющие устанавливать автоматы и подключать кабели без отключения шины и так далее. В новой версии модуля этот вопрос будет тщательно проработан. Наших заказчиков ждет еще несколько приятных мелочей, которые сделают работу с нашим модулем еще более удобной. Виталий – опытный инженер-эксплуатационщик, его мнение очень важно для меня и для моей команды разработчиков.