Полгода эксплуатации «МИРАН-2»: «Разбор полёта»

В декабре 2013 года компания МИРАН запустила в коммерческую эксплуатацию свою новую площадку, выбрав в качестве решения для размещения стоек модульный дата-центр GreenMDC CompactIndoor24 (подробная информация – в журнале «ЦОДы.РФ №6»). О полугодовом опыте эксплуатации этого объекта рассказываетВиталий Николаев, главный инженер компании «МИРАН».

Какие достоинства и недостатки были выявлены за полгода эксплуатации МЦОД?

Виталий Николаев: Начну, пожалуй, с недостатков. Их пока удалось выявить совсем немного, несмотря на то, что продукт у GreenMDC достаточно новый. Да и то, это больше не недостатки, а нюансы эксплуатации. Не очень удобной в условиях colocation оказалась схема резервирования электрики 2N. Дело в том, что несмотря на тенденции, достаточно много клиентского оборудования имеет один блок питания.

И для обеспечения его бесперебойной работы приходится устанавливать в клиентские шкафы локальные быстродействующие АВР (ATS – automatic transfer switch). Несмотря на то, что ИБП имеют встроенный байпас, на который они переключаются без разрыва цепи питания, а также имеют внешний байпас, мы не можем позволить себе допустить ситуацию, когда нам необходимо вывести полностью ИБП из эксплуатации, — при этом на 0,5-1 секунду пропадет питание на одном из вводов. Для оборудования с одним блоком это критично. ATS эту проблему решает, но он занимает место в шкафу, стоит немало и сам по себе является дополнительной точкой возможного отказа.

Модульный ЦОД, Модульный дата-центр, Модульный дата центр, Модульный Центр обработки данных, Модульный Центр обработки данных, Зеленый ЦОД, Зеленый дата-центр, Зеленый дата центр, Зеленый Центр обработки данных, Коммерческий ЦОД, Коммерческий дата центр, Коммерческий дата центр, Коммерческий Центр обработки данных, Контейнерный ЦОД, Контейнерный дата-центр, Контейнерный дата центр, Контейнерный Центр обработки данных, Эффективный ЦОД, Эффективный дата-центр, Эффективный дата центр, Эффективный Центр обработки данных, Российский ЦОД, Российский дата-центр, Российский дата центр, Российский Центр обработки данных, Лучшее PUE ЦОД, Лучшее PUE дата-центр, Лучшее PUE Центр обработки данных, грин мдс, грин эмдиси, greenmdc, green mdc

То есть, получается, что классическая схема резервирования электрики 2N неудобна для colocation?

В. Н.: Получается, да. В корпоративных дата-центрах, где все устанавливаемое оборудования подбирается исходя из жесткого требования наличия двух блоков питания, — схема 2N, безусловно, хороша. А для colocation — неудобна. На первой площадке у нас используется схема N+1 – у нее есть «узкие» места, но с ней гораздо проще.  

А еще мы столкнулись с неудобством подключения электрики к высоконагруженным стойкам. Дело в том, что в модуле сделана однофазная разводка абонентской электрики – к каждой стойке идет две однофазных линии 32А, заканчивающиеся соответствующими промышленными разъемами. А у высоконагруженных стоек (к примеру — 14 кВт на стойку), зачастую применяются блоки распределения питания (PDU) с разъемами для включения в трехфазную сеть, несмотря на то, что характер нагрузки не меняется. По сути, данные PDU совмещает в себе три обычных в одном корпусе. Для этого пришлось менять в распределительном щите автоматы и прокладывать новые кабели. Хотя, это было не сложно – конструкция щитов удобная, благодаря использованию передовых разработок в области модульных систем распределения электроэнергии, да и все трассы электрики доступны – они идут под фальш-полом. Справедливости ради, хочу отметить, что на первой площадке эта операция была бы куда более трудозатратной – там у нас стоят модульные системы распределения электроэнергии более ранних поколений, которые не имеют такого широкого  функционала.

Больше никаких недостатков за время эксплуатации выявлено не было.



Модульный ЦОД, Модульный дата-центр, Модульный дата центр, Модульный Центр обработки данных, Модульный Центр обработки данных, Зеленый ЦОД, Зеленый дата-центр, Зеленый дата центр, Зеленый Центр обработки данных, Коммерческий ЦОД, Коммерческий дата центр, Коммерческий дата центр, Коммерческий Центр обработки данных, Контейнерный ЦОД, Контейнерный дата-центр, Контейнерный дата центр, Контейнерный Центр обработки данных, Эффективный ЦОД, Эффективный дата-центр, Эффективный дата центр, Эффективный Центр обработки данных, Российский ЦОД, Российский дата-центр, Российский дата центр, Российский Центр обработки данных, Лучшее PUE ЦОД, Лучшее PUE дата-центр, Лучшее PUE Центр обработки данных, грин мдс, грин эмдиси, greenmdc, green mdc

Тогда расскажите про достоинства

В. Н.: Их гораздо больше, чем недостатков.

Во-первых, это удобство такелажа. При создании второй площадки мы выдвигали весьма непростые, с точки зрения реализации, требования — обеспечить возможность полностью механизированного такелажа серверного шкафа в сборе, причем исключая возможность наклона. И, надо отметить, что данная задача была успешно реализована.

Во-вторых, это энергоэффективность решения и работа климатической установки. На первой площадке у нас была следующая ситуация: когда были установлены первые клиентские шкафы, алгоритм работы климатики был совсем не оптимальный. Когда в автозале 10-15 кВт теплоизбытков, а работают два кондиционера по 80 кВт холодоснабжения каждый, температурный режим очень нестабильный — воздух нагревается медленно, а остужается очень быстро. Кондиционеры работают в режиме пуск-стоп, для компрессора этот режим работы, мягко говоря, не самый благоприятный. Не говоря о том, что сам по себе фреоновый кондиционер – это далеко не энергоэффективное решение.

В итоге в начале работы первой площадки приходилось идти на всякие ухищрения – использовать систему подпора воздуха как по прямому назначению, так и для дополнительного нагрева помещения серверного зала, а иногда для полноценного охлаждения. А также запускать дымоудаление (чтобы удалить теплый воздух из помещения); управлять кондиционерами исключительно в ручном режиме и выводить их в пограничные состояния, балансируя между работоспособностью оборудования и требуемым результатом…

А в модульном ЦОДе  все сделано гораздо практичнее. Система управления климатом изначально проектировалась под особенность эксплуатации colocation-серверных; другими словами, система готова к корректному отводу как 6 кВт тепла, так и к 120 кВт. Причем без серьезных изменения PUE модуля, чего нельзя сказать о классической компоновке дата-центров, где показатель PUE на этапах начала эксплуатации может превышать полный ожидаемый в несколько раз.  

Принципиально важно, что большую часть времени модуль работает на фрикулинге: на минимальной скорости работают два приточных вентилятора и вытяжные вентиляторы только над теми стойками, где стоит оборудование. И все. Т.е. даже в таком режиме,  когда модуль заполнен на 10%, — КПД работы системы, а следовательно и PUE, получается весьма впечатляющим. На кондиционерах режим работы тоже хороший – работают два кондиционера на минимальной производительности компрессора, это 14 кВт холода. Опять же, работают они только в той зоне, где установлено оборудование. Хотя в этом году, с таким прохладным летом, модуль на кондиционерах работал всего несколько дней, все остальное время с момента запуска – на фрикулинге.



Модульный ЦОД, Модульный дата-центр, Модульный дата центр, Модульный Центр обработки данных, Модульный Центр обработки данных, Зеленый ЦОД, Зеленый дата-центр, Зеленый дата центр, Зеленый Центр обработки данных, Коммерческий ЦОД, Коммерческий дата центр, Коммерческий дата центр, Коммерческий Центр обработки данных, Контейнерный ЦОД, Контейнерный дата-центр, Контейнерный дата центр, Контейнерный Центр обработки данных, Эффективный ЦОД, Эффективный дата-центр, Эффективный дата центр, Эффективный Центр обработки данных, Российский ЦОД, Российский дата-центр, Российский дата центр, Российский Центр обработки данных, Лучшее PUE ЦОД, Лучшее PUE дата-центр, Лучшее PUE Центр обработки данных, грин мдс, грин эмдиси, greenmdc, green mdc

Инженеры из GreenMDC заявляют об уникальности своей системы отвода теплоизбытков. Не влияет ли этот факт негативно на ее эксплуатацию и надежность?

В. Н.: Удивительно, но нет (смеется). Я не люблю термин «уникальный», особенно применительно к какой-либо инженерной системе. Как и любой специалист, который занимается эксплуатацией, я хорошо понимаю, что если система или машина уникальна – значит она либо не ремонтопригодна (и в случае выхода из строя подлежит замене целиком), либо ремонт связан с очень большими затратами, что тоже не приемлемо. Давайте оставим этот термин для специалистов по продажам и маркетингу. Все инженерные системы, коими в обилии оснащен модуль компании GreenMDC, имеют один общий признак – все системы состоят из простых, надежных узлов и агрегатов, которые не первый год служат на благо промышленности в различных областях, где часто требования по надежности не в пример выше, чем в области дата-центров.

Уникальным здесь можно назвать только то, что команде инженеров GreenMDC удалось абстрагироваться от того, что они проектируют дата-центр, «забыть», что на рынке огромное количество готовых решений от различных вендоров и сосредоточиться на решении конкретной инженерной задачи. Результат вы видите у меня за спиной. Полностью индивидуально спроектированный модульный дата-центр, в котором все системы спроектированы под него, а не вписаны в проект из каталога. Каждый узел надежен самостоятельно, а, следовательно, и все системы так же надежны. Причем как исполнительные элементы, так и система контроля и управления всей инженеркой.

К слову, вся система управления построена на базе АСУТП. При этом, все заложенные в систему алгоритмы работают очень четко. Нам еще ни разу не пришлось переводить систему охлаждения в ручной режим – в этом просто не было необходимости. Да и фильтры на приточных вентиляторах за полгода эксплуатации мы не чистили и не меняли – в этом просто не было нужды. Так что у GreenMDC действительно получилась уникальная система – она простая, при этом работает эффективно при любой тепловой нагрузке в серверном блоке – от 1-й стойки до 24х. А в остальном модуль – это обычный хороший, надежный ЦОД. Столь же удобный в эксплуатации, как и капитально построенный, а местами и лучше. Быстро строить, удобно пользоваться, просто обслуживать… Изящное инженерное решение конкретной задачи. Реальных альтернатив ему я сейчас не вижу. В этом году мы заказали у GreenMDC второй модуль CompactIndoor24; и в конце года планируем заказать еще один.



Модульный ЦОД, Модульный дата-центр, Модульный дата центр, Модульный Центр обработки данных, Модульный Центр обработки данных, Зеленый ЦОД, Зеленый дата-центр, Зеленый дата центр, Зеленый Центр обработки данных, Коммерческий ЦОД, Коммерческий дата центр, Коммерческий дата центр, Коммерческий Центр обработки данных, Контейнерный ЦОД, Контейнерный дата-центр, Контейнерный дата центр, Контейнерный Центр обработки данных, Эффективный ЦОД, Эффективный дата-центр, Эффективный дата центр, Эффективный Центр обработки данных, Российский ЦОД, Российский дата-центр, Российский дата центр, Российский Центр обработки данных, Лучшее PUE ЦОД, Лучшее PUE дата-центр, Лучшее PUE Центр обработки данных, грин мдс, грин эмдиси, greenmdc, green mdc

Виталий, спасибо Вам за содержательный рассказ. Надеемся, модульный ЦОД GreenMDC и следующие полгода будет работать так же хорошо, как и сейчас.

В. Н.: Спасибо. Тогда жду Вас через полгода!

 

Виталий, спасибо Вам за содержательный рассказ. Надеемся, модульный ЦОД GreenMDC и следующие полгода будет работать так же хорошо, как и сейчас.

В. Н.: Спасибо. Тогда жду Вас через полгода!



КОММЕНТАРИЙ ЭКСПЕРТА:

Михаил Филиппов, 

Технический директор GreenMDC

Модульный ЦОД, Модульный дата-центр, Модульный дата центр, Модульный Центр обработки данных, Модульный Центр обработки данных, Зеленый ЦОД, Зеленый дата-центр, Зеленый дата центр, Зеленый Центр обработки данных, Коммерческий ЦОД, Коммерческий дата центр, Коммерческий дата центр, Коммерческий Центр обработки данных, Контейнерный ЦОД, Контейнерный дата-центр, Контейнерный дата центр, Контейнерный Центр обработки данных, Эффективный ЦОД, Эффективный дата-центр, Эффективный дата центр, Эффективный Центр обработки данных, Российский ЦОД, Российский дата-центр, Российский дата центр, Российский Центр обработки данных, Лучшее PUE ЦОД, Лучшее PUE дата-центр, Лучшее PUE Центр обработки данных, грин мдс, грин эмдиси, greenmdc, green mdc

Система 2N, действительно, показала себя в colocation не самой удобной. Но, при этом, это все-таки 2N, а не N+1. В новой версии модуля у Заказчика будет возможность выбрать тот вариант, который подходит лучше для его задач. Что же касается подключения высоконагруженных стоек – мы сейчас прорабатываем варианты, как выполнить это более удобно. Есть несколько вариантов – шинопроводы, электрощиты с общей шиной, позволяющие устанавливать автоматы и подключать кабели без отключения шины и так далее. В новой версии модуля этот вопрос будет тщательно проработан. Наших заказчиков ждет еще несколько приятных мелочей, которые сделают работу с нашим модулем еще более удобной. Виталий – опытный инженер-эксплуатационщик, его мнение очень важно для меня и для моей команды разработчиков.