Як ми будували свій другий Дата центр у м. Києві (Україна)

У 2012 році, коли ємності нашого першого Дата центру, збудованого ще у 2004р. було завантажено більш ніж на 80%, ми зрозуміли, що потрібно розширюватися. Розширюватись лінійно, тобто просто орендувати додаткові кімнати та обладнати їх під Дата центр не хотілося з кількох причин.
Перша та найважливіша причина – бажання побудувати дата центр, що відповідає рівню надійності Tier 3+. І незважаючи на те, що наш перший Дата-центр «L9» знаходиться в телекомунікаційному серці України (Київ, вул. Леонтовича 9), технології 2004 року не дозволяли нормально розширити поточний Дата-центр.
Друга – потужність електровводів та хлипкість перекриттів не дозволяла розгорнути по-справжньому високотехнологічний ЦОД.

Отже, у 2012 розпочалася реалізація проекту під назвою Дата центр «United DC». Цілі, які ми перед собою ставили, були більш ніж амбітні, не просто розширення поточної ємності, а після 10-ти літньої експлуатації Дата центру хотілося побудувати новий ЦОД максимально надійний і захищений, щоб і персоналу було легко експлуатувати і керівництву «спати спокійно». Так, і дуже хотілося запросити колег із Німеччини та показати, що в Україні можна побудувати (експлуатувати) справді надійний Дата центр.

Побудова Дата центру розпочалася банально. Було розуміння, що задуманий ЦОД вимагає серйозних інвестицій, а на компроміси нам йти не хотілося, та й міцно засіла вже крилата фраза: «ми не такі багаті, щоб будувати бізнес на дешевому обладнанні».
Пошук інвесторів йшов важко, було розміщено оголошення на фінансових форумах, ідея проекту озвучувалася знайомим «з грошима». Проводилося багато зустрічей, але їх результати зводилися до одного – «якщо ви так впевнені у своїй ідеї – візьміть гроші у банку». Як з'ясувалося пізніше, потенційні інвестори просто не мали коштів під такий проект, та й по правді більшість з них не вірили в успішний бізнес в Україні. І ось, коли ми вже були готові йти до банку, наші друзі познайомили нас з хлопцями, які володіють великим телекомунікаційним холдингом і вже мали досвід побудови свого Дата центру.

Перші зустрічі з узгодженням проекту проходили нелегко, але закінчувалися, як правило, продуктивно. З 2-ї чи 3-ї зустрічі прийшло розуміння один одного, і ми усвідомили, що це ті люди, з якими нам по-дорозі. Почалося здійснення наших спільних планів. Перший бізнес-план (бізнес-розрахунок) був розкритикований як занадто песимістичний, ми переробляли його кілька разів враховуючи то одні, то інші фактори, і через місяць ми нарешті узгодили бізнес-розрахунок який всіх влаштовував. Тоді ми вважали його оптимістичним (вже зараз ми зрозуміли, що помилялися і він виявився цілком реальним).

Паралельно здійснювалися пошуки приміщення під Датацентр з урахуванням усіх вимог. Вимоги були не з легких: це повинен бути не підвал, достатня потужність перекриттів, два введення від різних підстанцій потужністю не менше 1МВт і ЦЕНТР міста. Здавалося, що вимоги надто завищені, але хто шукає, той завжди знайде. І ми знайшли!

Це була будівля Інституту Проектування об'єктів Зв'язку за адресою вул. Солом'янська 3. Завдяки щасливому випадку 2 роки тому в цьому будинку розміщувався ЦОД «Utel» і після переїзду залишив нам достатньо ємності на підстанції Київенерго. Нам запропонували орендувати приміщення з окремим входом на 1-му поверсі. Нас це задовольнило, так як 1-й поверх мав посилене перекриття (дві плити) і якнайкраще вписувався в наші критерії пошуку. У приміщенні вже було зроблено ремонт, але довелося все «розламати».

Після огляду кімнат, ми розпочали проектування. Концептуально, для розміщення обладнання було відведено 4 блоки (приміщення) по 36 шаф 42U у кожному. Надалі, на цих потужностях передбачалося надавати основні послуги – оренду шаф та поюнітне розміщення серверів та обладнання (послуга колокейшн). Ще 2 блоки були розплановані під 2 окремі модулі для індивідуального проектування «під клієнта».

Спочатку ми розібрали всі перегородки, зняли ковролін і розпочали монтаж рам під важке обладнання. До проектування було залучено і наших та зарубіжних фахівців, які розробили кілька версій проекту дата центру. Але, вивчивши вимоги стандартів Tier3 і Tier4 та спираючись на свій десятирічний досвід експлуатації, перші 2-і версії були розкритиковані, також довелося переробити деякі підсистеми Дата центру. Коли проект був готовий, ми попрямували до наших інвесторів для затвердження. А у Києві вже розпочалися підготовчі роботи.

Потім, перший раз провели обробку підлоги спеціальною пилезахисною фарбою і почали монтаж посиленої фальшпідлоги. Підлогу ми вибрали німецьку з здатністю навантаження 1500 кг/кв.м. Після закінчення монтажу фальшполу, привезли та змонтували прецизійні кондиціонери фірми Emerson. Незважаючи на те, що ми знали, що кондиціонери цієї компанії є найкращими для побудови надійного Дата центру, все одно було проведено тендер з жорсткими умовами відбору і Emerson переміг не тільки з кондиціонування, але і за системою гарантованого електроживлення.

Далі привезли здоровенну систему фрикулінгу, це була перша з двох на блок, прозвана інтеграторами «пральна машина». Як виявилося, згодом дуже корисна річ. Після монтажу фальшпідлоги паралельно з монтажем кліматичних установок йшов монтаж дуже складної системи кабельних лотків.

Спершу ми думали обійтися лише частковим розбиранням фальш-стелі. Але система укладання кабелю (кабельрост) виявилася складною, плюс здійснювався монтаж труб газового пожежогасіння, тому «врятувати» не вдалося – довелося повністю демонтувати фальш-стелю.

Поки проводилися внутрішні роботи, електрики підтягли 6 кабелів завтовшки з руку  з 2-х ТП і розпочали монтаж та випробування АВР. Паралельно здійснювалися всі роботи з розведення електроживлення на шафи, підключення споживачів до розподільчих шаф і монтаж контуру заземлення.

На вулиці йшла установка та підключення потужного Дизель генератора (ДГУ). Він був підключений до закінчення випробувань АВР, тому що був невід'ємною частиною електроживлення за першою категорією. Коли монтаж клімат систем та систем електроживлення було закінчено, ми приступили до монтажу серверних шаф.

Паралельно з монтажем шаф ми проводили випробування та налаштування основних систем Дата центру. Так як обладнання розраховане на великі потужності, налаштування здійснили сертифіковані фахівці постачальників.

Нарешті всі роботи проведені, спеціалізована клінінгова фірма прибирала навіть у затишних куточках Дата центру. Усі рубильники переключили на режим «Автомат». Тут же автоматика протестувала ДГУ, УПС, клімат установки та запалила зелені лампочки на пульті у диспетчера.

Так виглядав Дата-центр «United DC» за адресою: вул. Солом'янська 3 в момент запуску і так Дата центр виглядає після 6 місяців експлуатації. Завдяки зусиллям усіх відділів компанії «Об'єднані мережі України» та отримавши високу оцінку якості побудови нашими клієнтами, нам вдалося швидко заповнити 1-й модуль ЦОД, тепер черга за наступними.

У цьому огляді ми постаралися описати основні системи (далеко не всі) нашого Дата центру. У наступних статтях ми намагатимемося докладно зупинитися на проектуванні та побудові відмовостійких інфраструктурних елементів ЦОД, таких як 2N та 2(N+1).