Как мы строили свой второй Дата центр в г. Киеве (Украина)

        В 2012 году, когда емкости нашего первого Дата центра, построенного еще в 2004г. были загружены более чем на 80%, мы поняли, что нужно расширяться. Расширяться линейно, т.е. просто арендовать дополнительные комнаты и оборудовать их под Дата центр не хотелось по нескольким причинам.  Первая и самая важная причина – желание построить дата центр, соответствующий уровню надежности Tier 3+. И несмотря на то, что наш первый Дата центр «L9» находится в телекоммуникационном сердце Украины (Киев, ул. Леонтовича 9), технологии 2004 года не позволяли нормально расширить текущий Дата центр. Вторая – мощность электровводов и хлипкость перекрытий не позволяла развернуть по-настоящему высокотехнологичный ЦОД.       

        Итак, в 2012 началась реализация проекта под названием Дата центр «United DC». Цели, которые мы перед собой ставили, были более чем амбициозные, не просто расширение текущей емкости, а после 10-ти летней эксплуатации Дата центра хотелось построить новый ЦОД максимально надежный и защищенный, что б и персоналу было легко эксплуатировать и руководству «спать спокойно». Да, и очень хотелось пригласить коллег из Германии и показать, что в Украине можно построить (эксплуатировать) действительно надежный Датацентр.

        Построение Дата центра началось банально. Было понимание, что задуманный ЦОД требует серьезных инвестиций, а на компромиссы нам идти не хотелось, да и прочно засела уже крылатая фраза: «мы не такие богатые, чтобы строить бизнес на дешевом оборудовании». Поиск инвесторов шел тяжело, были размещены объявления на финансовых форумах, идея проекта озвучивалась знакомым «с деньгами». Проводилось много встреч, но их результаты сводились к одному – «раз вы так уверены в своей идее – возьмите деньги в банке». Как выяснилось позже, у потенциальных инвесторов, просто не было средств под такой проект, да и по правде говоря большинство из них не верили в успешный бизнес в Украине. И вот, когда мы уже были готовы идти в банк, наши друзья, познакомили нас с ребятами, которые владеют большим телекоммуникационным холдингом и уже имели опыт построения своего Датацентра. 

        Первые встречи, по согласованию проекта, проходили нелегко, но заканчивались, как правило, продуктивно. Со 2-й или 3-й встречи пришло понимание друг друга, и мы осознали, что это те люди, с которыми нам по пути. Началось осуществление наших совместных планов. Первый бизнес-план (бизнес-расчет) был раскритикован как слишком пессимистичный, мы переделывали его несколько раз учитывая то одни, то другие факторы, и по прошествии месяца мы наконец-то согласовали бизнес-расчет который всех устраивал, правда, тогда я считал его оптимистичным (уже сейчас мы поняли, что ошибались, и он оказался вполне реальным).

        Параллельно осуществлялись поиски помещения под Датацентр с учетом всех наших требований. Требования были не из легких: это должен быть не подвал, достаточная мощность перекрытий, 2-а ввода от разных подстанций мощностью не менее 1Мвт и ЦЕНТР города. Казалось, что требования чересчур завышены, но кто ищет тот всегда найдет. И мы нашли! 

        Это оказалось здание Института Проектирования объектов Связи по адресу ул. Соломенская 3. По счастливой случайности 2-а года тому назад в этом здании размещался ЦОД «Utel» и после переезда оставил нам достаточно емкости на подстанции Киевэнерго. Нам предложили арендовать помещение с отдельным входом на 1-м этаже. Нас это устроило, т.к. 1-й этаж имел усиленное перекрытие (2-е плиты) и как нельзя лучше вписывался в наши критерии поиска. В помещении уже был сделан ремонт, но пришлось все «разломать».

        После осмотра комнат, мы приступили к проектированию. Концептуально, для размещения оборудования было отведено 4 блока (помещения) по 36 шкафов 42U в каждом. В дальнейшем, на этих мощностях предполагалось предоставлять основные услуги - аренда стоек и аренда шкафов 42U в дата центре и поюнитное размещение серверов и оборудования (колокейшн). Еще 2 блока были распланированы под 2 отдельных модуля для индивидуального проектирования «под клиента».

        Сначала, мы разобрали все перегородки, сняли ковролин и начали монтаж рам под тяжелое оборудование. К проектированию были привлечены и наши и зарубежные специалисты, которые разработали несколько версий проекта дата центра. Но, изучив требования стандартов Tier3 и Tier4 и опираясь на свой десятилетний опыт эксплуатации, первые 2-е версии были раскритикованы, также пришлось переделать некоторые подсистемы Дата центра. Когда проект был готов, мы отправились к нашим инвесторам для утверждения. А в Киеве уже начались подготовительные работы.

        Затем, 1-й раз провели обработку пола специальной пылезащитной краской и начали монтаж усиленного фальшпола. Пол мы выбрали немецкий с нагрузочной способностью 1500 кг/кв.м. После окончания монтажа фальшпола, привезли и смонтировали прецизионные кондиционеры фирмы Emerson. Несмотря на то, что мы знали, что кондиционеры этой компании являются лучшими для построения надежного Дата центра, все равно, был проведен тендер с жесткими условиями отбора и Emerson победил не только по кондиционированию, но и по системе гарантированного электропитания. 

        Дальше привезли здоровенную систему фрикулинга, это была 1-я из 2-ух на блок, прозванная интеграторами «стиральная машинка». Как оказалось, впоследствии, очень полезная вещь.  После монтажа фальшпола параллельно с монтажом климатических установок шел монтаж очень сложной системы кабельных лотков. 

        Сперва мы думали обойтись только частичной разборкой фальшпотолка. Но система укладки кабеля (кабельрост) оказалась сложной, плюс осуществлялся монтаж труб газового пожаротушения, поэтому «спасовать» не удалось – пришлось полностью демонтировать и фальш-потолок.

        Пока проводились внутренние работы, электрики подтащили 6 толщиной с руку кабелей с 2-х ТП и начали монтаж и испытание АВР.  Параллельно, осуществлялись все работы по разводке электропитания на шкафы, подключению потребителей к распредшкафам и монтаж контура заземления.

        На улице шла установка и подключение мощного Дизель генератора (ДГУ). Он должен был быть подключен до окончания испытаний АВР т.к. являлся неотъемлемой частью электропитания по 1-й категории. Когда монтаж климат систем и систем электропитания был окончен, мы приступили к монтажу серверных шкафов.

        Параллельно с монтажом шкафов мы проводили испытание и настройку основных систем Дата центра. Т.к. оборудование рассчитано на большие мощности, настройку осуществили сертифицированные специалисты поставщиков.

        Наконец все работы проведены, специализированная клининговая фирма произвела уборку даже в укромных уголках Дата центра. Все рубильники переключили в режим «Автомат». Тут же, автоматика протестировала ДГУ, УПС, климат установки и зажгла зеленые лампочки на пульте у диспетчера.

        Так выглядел Дата центр «United DC» по адресу: ул. Соломенская 3 в момент запуска и так Дата центр выглядит после 6-и месяцев эксплуатации. Благодаря усилиям всех отделов компании «Объединенные сети Украины» и получив высокую оценку качества построения нашими клиентами, нам удалось быстро заполнить 1-й модуль ЦОД, теперь очередь за следующими.

        В этом обзоре мы постарались описать основные системы (далеко не все) нашего Дата центра. В следующих статьях мы постараемся подробно остановиться на проектировании и построении отказоустойчивых инфраструктурных элементов ЦОД, таких как 2N и 2(N+1).