МИРАН-2 - от классики к модульному принципу

В разгар рабочего дня от Биржевой площади до Выборгской стороны, где разместились ЦОДы компании «МИРАН» , на машине можно добраться всего за каких-нибудь десять минут. Удобные подъездные пути со стороны Евпаторийского переулка, соединяющего Большой Сампсониевский проспект с Пироговской набережной, делают транспортную доступность нового ЦОДа «МИРАН-2» компании «МИРАН» одной из лучших среди коммерческих дата-центров Санкт-Петербурга.

 

Название ЦОДа	Общая площадь машзалов	Суммарная площадь	Количество стоек
«МИРАН-2»	450 кв. м	1 115 кв. м	224

 

Дата-центр	«МИРАН-2»
Адрес	Россия, г. Санкт-Петербург, Евпаторийский переулок, д. 7а
Мощность первой очереди «МИРАН-2»	420 кВА
Название модуля	CompactIndoor 24
Мощность модуля	160 кВА
Габариты модуля	10 м x 5 м x 7 м
Общий вес модуля	18 тонн
Количество модулей первой и второй очереди	4+5=9
Средняя/максимальная электрическая мощность потребления одной стойки	5/14 кВт
Уровень резервирования инженерных систем	От N+1 до 2N
ИБП энергоблока CompactIndoor 24	Два ИБП Grand Motors
ДГУ	Два ДГУ Cummins 703 кВт в первой очереди и третий ДГУ во второй очереди
Количество городских вводов	Два независимых фидера
Система охлаждения модуля	Комбинированная система отвода теплоизбытков GreenMDC: шесть промышленных фреоновых кондиционеров Daikin плюс система приточно-вытяжной вентиляции (фрикулинг)
Камеры видеонаблюдения	D-Link, Microdigital
Система контроля доступа «МИРАН-2»	BOLID
Виды предоставляемых услуг	Аренда стойки; подключение к любому оператору телекоммуникационных услуг по принципу Carrier Free (без дополнительных платежей и скрытых ограничений); IP-транзит, IPV6, IaaS, аренда серверного оборудования, консалтинг, продажа модулей GreenMDC, аренда подготовленной площади для размещения модулей; сценарий резервного дата-центра; резервный офис
Система диспетчеризации	Средний уровень: контроллеры WAGO, коммутационное оборудование MOXA Верхний уровень: SCADA-система Trace Mode

 

Новая площадка

В начале февраля 2014 года компания «МИРАН» запустила в техническую эксплуатацию свой второй дата-центр «МИРАН-2». Новый ЦОД разместился в здании, находящемся в непосредственной близости от первого ЦОДа «МИРАН-1». Критерием выбора было отличное состояние здания (выполнен капитальный ремонт кровли, проведена качественная гидроизоляция и заземление), возможность использования существующих мощностей и всех телекоммуникационных возможностей первого дата-центра.

К дата-центру ведут удобные подъездные пути, на прилегающей территории организована парковка. Особое внимание было уделено удобству транспортировки и установки оборудования: собранную стойку любых габаритов и веса можно без наклона переместить из автомобиля на свое место в модуль (рис.1) с использованием дополнительных механизированных средств разгрузки и доставки.

Свою первую площадку «МИРАН-1» оператор выполнил по классической архитектуре, однако на этот раз создатели «МИРАН-2» остановились на модульном принципе. Под модулем понимается полностью автономная конструкция расчетной мощностью 160 кВ·А (рис.2), позволяющая разместить и обслуживать 24 стойки мощностью до 14 кВт. Модуль разработан петербургской компанией GreenMDC, имеет сертификат соответствия «Ростест».

На новой площадке «МИРАН» планирует разместить в общей сложности девять модулей, в два этапа — по четыре и пять модулей соответственно. На финальном этапе общая установленная мощность дата-центра «МИРАН-2» будет достигать 1,5 МВА. В настоящее время введен в эксплуатацию первый модуль ЦОДа «МИРАН-2».

Электропитание

Площадку обслуживает распределительная трансформаторная подстанция второй категории надежности мощностью 1600 кВ·А. Питание обеспечивается двумя кабельными линиями, идущими по независимым маршрутам от подстанций Ленэнерго. Гарантированное автономное электропитание первой очереди дата-центра по проекту обеспечивают два ДГУ Cummins мощностью 703 кВт (установлен первый ДГУ) (рис.3); поставка третьего дизель-генератора будет осуществлена во время реализации второй очереди «МИРАН-2». Обслуживание всей энергетической подсистемы компания «МИРАН» осуществляет собственными силами круглосуточно.

По требованиям PCI DSS

Знакомство клиентов с ЦОДом начинается в офисном модуле: здесь идет регистрация посетителей.

«МИРАН» — единственный на сегодняшний момент дата-центр на Северо-Западе, в котором безопасность процедур обслуживания клиентов сертифицирована по требованиям PCI DSS. Это позволяет оператору предоставлять свои площади банковским структурам, процессинговым и энквайринговым компаниям.

Таким образом, к системам учета и контроля прав доступа в помещение (рис.4) и системам видеонаблюдения (рис.5) предъявляются особые требования. Например, система видеонаблюдения контролирует не только периметр здания, но и каждая точка дата-центра просматривается минимум двумя камерами.

Особое внимание уделено организации видеоархива: по требованиям PCI DSS он хранится не менее 100 дней, запись ведется непрерывно, а хранилище видеоархива распределено между площадками «МИРАН» и независимым архивом.

Появление у компании «МИРАН» второго ЦОДа высокого качества позволяет заказчикам реализовать сценарии развертывания резервной площадки. В помещении нового дата-центра при необходимости можно быстро разместить резервный офис клиента.

Еще одним существенным отличием модульного ЦОДа МИРАН от традиционной модели продаж дата-центров является возможность выкупа модуля в собственность и размещение его как на уже подготовленной площадке «МИРАН», так и на своих площадях.

Содружество проектировщиков и строителей

Разработку всех компонентов инженерной инфраструктуры ЦОДа «МИРАН-2», их интеграцию в единую инженерную инфраструктуру здания и все строительные работы в помещении первой очереди выполнила компания SUNLINE Engineering, генеральный подрядчик этого проекта. Опыт работы с компанией SUNLINE Engineering при строительстве первого ЦОДа «МИРАН-1» в сочетании с качеством выполненных работ оказался настолько хорошим, что когда было принято решение о строительстве ЦОДа «МИРАН-2», вопрос о выборе генерального подрядчика решился сам собой — тендера не потребовалось. Основной критерий отбора вендоров, из компонентов которых собран дата-центр, — долговременная и успешная работа на рынке.

Например, в помещении главного распределительного щита (ГРЩ), который занимает отдельный блок и обслуживает первую очередь «МИРАН-2» (то есть четыре модуля), поставщиком корпусов для автоматов ввода резерва и переключателей является компания Rittal, а производителем внутренней «начинки» (вводные, групповые и абонентские выключатели и проч.) — Schneider Electric (рис. 6, 9).

Входные кабели от трансформаторной подстанции и ДГУ в помещении ГРЩ аккуратно разложены по лоткам с учетом требований по размещению взаиморезервируемых кабелей. Часть лотков пустует до установки всех модулей (рис.7).

Дата-центр

Модули CompactIndoor 24 — это основной компонент ЦОДа «МИРАН-2» (рис.2). Их безотказное функционирование обеспечивают вспомогательные технологические помещения, построенные здесь же, в первом ангаре.

Модуль связи

Отдельный блок ЦОДа представляет собой помещение в три этажа (рис.8). На первом находится комната для самостоятельного обслуживания своего оборудования компаниями-клиентами. Третий этаж предназначен для размещения ЗИПа, в том числе клиентского. Здесь же выполнен вход кабельных линий из холодного ангара. С третьего этажа кабели спускаются на второй этаж кроссовой, где осуществляется их разводка.

На втором этаже в помещение кроссовой входят все внешние кабельные оптические линии связи, которые развариваются в кроссы, откуда осуществляется коммутация до серверных модулей. Для удобной кроссировки и укладки кабелей, в основном оптических, предусмотрены просторные кабельные органайзеры (рис.10). Это позволяет выполнить работы безопасно, не задев соседних кабелей и не прервав обслуживание работающих клиентов.

«МИРАН» придерживается политики Carrier Free — если клиента не устраивает уровень услуги одного оператора, он может подключиться к любому другому без скрытых платежей или дополнительных ограничений. В среднем на осуществление кроссировки уходит не более получаса с момента заказа. В настоящее время на территории дата-центра клиент может получить услуги связи более чем у 30 различных операторов, транспортная сеть которых подведена к дата-центру по пяти различным маршрутам.

Резервирование электропитания в кроссовой обеспечивает модульный ИБП со схемой резервирования модулей N+1, а климатические параметры — элементы системы приточно-вытяжной вентиляции (рис.11) и потолочные промышленные кондиционеры Kentatsu, установленные по схеме 2N.

Модуль управления

Еще один блок представляет собой двухэтажное помещение (рис.12), в нем разместилась контрольно-пропускная часть дата-центра, а на втором этаже — просторная обзорная переговорная комната, оснащенная необходимым презентационным оборудованием, демонстрационными материалами.

На втором этаже этого же блока находится также центр управления, статистики и мониторинга (рис.13). Основным инструментом контроля всех инженерных систем служит современная SCADA-система Trace Mode, элементную базу которой составляют программируемые контроллеры Wago (рис.14) и коммуникационное оборудование MOXA. Здесь же находится рабочее место дежурного инженера. Дежурство осуществляется круглосуточно, в несколько смен работают инженеры и электрики. В этом же помещении расположены видеотерминалы для контроля инженерных систем.

Площадка

За пределы территории здания выведены все трубы водопровода и канализации. В верхней части помещения ЦОДа установлены четыре системы лотков (рис.15) для силовых линий; слаботочных систем (контроля влажности, температуры, освещения, управления инженерными устройствами, видеонаблюдения); СКС; и для системы пожарной сигнализации.

Весь внутренний объем ангара используется как большая камера смешения и подготовки воздуха для работы системы фрикулинга модуля. Воздух из внешней среды проходит через фильтры грубой очистки, и при необходимости производится вытяжка посредством двух резервируемых мощных вентиляторов производительностью 55 тыс. куб. м в час.

Для изменения скорости вытяжных вентиляторов используются частотные регуляторы компании Emerson (рис.16). Это позволяет избежать негативных пусковых токов, дает возможность более плавного регулирования скорости вращения вентиляторов и позволяет существенно экономить на электроэнергии. Щит управления вытяжными вентиляторами располагается в помещении главного распределительного щита (ГРЩ).

Модуль CompactIndoor 24

Модуль предназначен для установки внутри помещения (Indoor), занимает сравнительно небольшую площадь в 50 кв. м (Compact) и рассчитан на размещение 24 стандартных стоек.

При выборе составных элементов модуля разработчики использовали только те компоненты, которые успешно зарекомендовали себя на рынке  течение не менее пяти лет. Подробнее с конструкцией модуля можно познакомиться в статье, которая готовится к публикации в майском номере журнала «ЦОДы.РФ».

На первом этаже модуля размещается серверный блок (рис.17). На втором этаже — энергоблок (рис.18), вес которого составляет 5 тонн. Такая компоновка позволяет добиться минимизации занимаемой площади, но накладывает высокие требования на конструкцию несущей рамы. Стыковка блоков и элементов модуля между собой выполнена с помощью мощных болтовых соединений.

Серверный блок состоит из четырех элементов, каждый из которых укладывается в разрешенные транспортные габариты и может перевозиться по дорогам общего пользования без получения специальных разрешений. Отдельно перевозится энергоблок. Особого внимания заслуживает входная группа (рис.2). Ее задача — обеспечить проведение такелажных работ без наклона оборудования вплоть до места установки в стойку. Отдельно перевозятся две секции входной группы. По сути, это компромиссное решение между модульным дата-центром, в его классическом понимании, и контейнерным ЦОДом.

Все элементы рамы, чтобы обеспечить их необходимую огнестойкость, обработаны сертифицированным противопожарным составом «Пирекс». Огнестойкость рамы — не менее 60 минут. Стены модуля выполнены по принципу многослойного сэндвича и также обладают огнестойкостью 60 минут.

Погода в ЦОДе

Модуль рассчитан на установку в два ряда 24 стандартных серверных стоек высотой 47 юнитов глубиной 1200 мм производства Rittal.

Отвод теплоизбытков обеспечивает уникальная разработка GreenMDC, аналогов которой нет ни в России, ни за рубежом. В настоящее время разработчик оформляет на нее патент. Климатическая установка комбинированная, использует принцип фрикулинга и фреоновой системы. Особенное внимание уделено переходным режимам с фрикулинга на фреон и обратно.

Система фрикулинга состоит из приточных установок в холодном коридоре и вытяжных установок в горячих коридорах (рис.19). В тамбуре модуля установлены фильтры грубой очистки и после вентиляторов — фильтры тонкой очистки класса F5. Такие же фильтры устанавливаются в системы вентиляции чистых помещений на фармацевтических заводах. Состояние фильтров отслеживается датчиками перепада давления. Для оптимизации режима работы вентиляторов при конкретной загрузке каждая приточно-вытяжная установка оборудована регуляторами скорости.

Управляет этой климатической установкой система автоматики, получающая данные с датчиков температуры и влажности (рис.20). Система реализована на элементной базе Carel. На фрикулинге модуль работает при температуре в ангаре от +5 до +23°С. При температуре от +5 до +20 °С холодный воздух из ангара, попадая в модуль, смешивается с воздухом из горячего коридора — промышленные кондиционеры работают в режиме рециркуляции. То есть холодильный контур они фактически не включают и перемещают теплый воздух из горячего коридора в холодный. Пространство над стойками и коридорами выполняет роль камеры смешения (рис.21). По предварительным оценкам, на Северо-Западе РФ 80% времени система будет работать на фрикулинге. В остальное время обеспечение климата внутри модуля берут на себя промышленные кондиционеры Daikin на фреоне (рис.22). Резервирование фреоновой системы выполнено по схеме N+1. По фрикулингу используется схема резервирования N+1, как для приточных, так и для вытяжных вентиляторов. В целом система кондиционирования отвечает требованиям к ЦОДам уровня надежности Tier IV.

Поскольку затраты на электроэнергию в среднем составляют около трети стоимости эксплуатации ЦОДа, в текущем проекте шла упорная борьба за энергоэффективность. Среднегодовое расчетное PUE модуля Compact Indoor 24 равно 1,25.

В связке одной

Под фальшполом (рис.23) проходят кабели электропитания. Вся распределительная электрика выполнена по классической схеме 2N. Для организации узла связи в модуле используется компактный шкаф (рис.24). В него приходят кабели от узла связи всего зала.

На каждом этаже модуля установлена система пожарной сигнализации, оповещения и пожаротушения (рис.24). Выполнена разводка до дымовых датчиков, которые установлены повсюду. Огнетушащее вещество — хладон 125. Столитровые баллоны заправлены, поддерживается необходимое давление. Газ подается через рукав высокого давления и дальше разводится по автозалу.

Энергоблок располагается на втором этаже. В нем установлен распределительный щит электропитания, в который приходит два фидера от ГРЩ ЦОДа (рис.25). При этом в главном распределительном щите модуля есть возможность подключить локальный дизель: это удобно, если заказчик покупает всего один модуль и устанавливает его для нужд своей площадки.

Резервирование электропитания обеспечивают два ИБП производства Grand Motors мощностью 120 кВ·А каждый (рис.26), подключенные по схеме 2N. Батарейные блоки Haze рассчитаны на поддержание 6 минут полной мощности (рис.27).

Главный принцип, который использовался при проектировании инженерных систем ЦОДа, — их совместимость и взаимозаменяемость при проведении регламентных и эксплуатационных работ. Для проведения ремонтных работ не требуются подъемные механизмы или приставные лестницы.

Помещение ЦОДа «МИРАН-2» находится в долгосрочной аренде, при необходимости модуль может быть перемещен в другое место: он разбирается посекционно в течение двух недель, перемещается на новую площадку, где примерно столько же времени собирается и тестируется. Сейчас специалисты GreenMDC работают над тем, чтобы инсталляция на площадке заказчика занимала не больше недели.

Источник: «ЦОДы.РФ», выпуск №6
Версия в формате PDF