Особенности энергоснабжения центров обработки данных
О КОМПАНИИ «ЭНЭКА»
Одним из видов деятельности компании «ЭНЭКА» является проектирование дата-центров и энергоисточников для их нужд.
Центр обработки данных – это комплексная централизованная система для размещения серверного, сетевого оборудования и подключения абонентов к каналам сети Интернет.
Условно дата-центр состоит из информационной инфраструктуры (включающей в себя серверное оборудование и обеспечивающей обработку и хранение информации), телекоммуникационной инфраструктуры (обеспечивающей взаимосвязь элементов дата-центра и передачу данных) и инженерной инфраструктуры (обеспечивающей нормальное функционирование основных систем дата-центра).
Инженерная инфраструктура состоит из следующих систем:
- электроснабжения – для покрытия потребности ЦОДа в электроэнергии
- резервное электроснабжение – для поддержания работы ЦОДа в аварийных ситуациях
- кондиционирование – для поддержания уровня влажности и температуры в требуемых значениях;
- холодоснабжения и вентиляции, отопления – для поддержания оптимальной температуры;
- бесперебойное электроснабжение для автономной работы дата-центра в случаях отключения основного источника электроэнергии;
- охранно-пожарную сигнализацию и система газового пожаротушения;
- системы удаленного IP контроля, управления питанием и контроля доступа;
- водоснабжения и канализации и др.
Наиболее важной из данных функций является электроснабжение, поскольку от нее зависит работоспособность большинства из остальных систем. Поэтому чтобы повысить надежность дата-центров была разработана система стандартов на базе уровней отказоустойчивости Tier. Классификация Tier учитывает мельчайшие детали: согласно ей уровень надежности ЦОД определяется топологией, мощностью, схемами резервирования инфраструктуры и множеством других факторов.
Источник: ABR Consulting Group
Как видно, в зависимости от класса дата-центра определяется количество энерговводов, поэтому при строительстве крупных ЦОДов класса выше 2, необходимо тщательно выбирать площадку для размещения. Ориентироваться необходимо не только на IT-структуру, но и предусмотреть возможность подключения объекта к энергосистеме. Мировая практика показывает, что большинство дата-центров располагается за чертой города в промышленной зоне, где не возникает проблем с инфраструктурой, а так же не возникает необходимость соблюдать экологические требования для жилых зон.
Отличие Tier 4 от Tier 1заключается в полном резервировании не только входных магистралей от провайдеров но и энерговводов. Данные мероприятия позволяют не только проводить техническое обслуживание без останова, но и позволяет выдержать дата-центру аварийные ситуации без нанесения урона информационным технологиям. ЦОД класса Tier IV способен автоматически нейтрализовать сбой и выполнять свои функции, но стоимость такого дата-центра чрезвычайно высока. Иногда 4-ый класс достигается путем строительства резервного ЦОДа.
Стоит отметить и такой фактор, как отсутствие нормативных документов в странах СНГ по проектированию электроснабжения дата-центров, не смотря на то что развитие ЦОДов в мире началось в 80-ых годах 20 века. Поэтому при проектировании систем электроснабжения проектные организации используют Стандарт TIA-942 и ПУЭ. При изучении данной темы специалистами компании «ЭНЭКА» были выделены следующие особенности проектирования электроснабжения ЦОД:
1. В соответствии с TIA-942 источник питания – ввод от городских электросетей. Количество вводов определяется в соответствии с классификацией дата-центра;
2. Несмотря на питание ЦОД по требованиям 1-й категории надежности в соответствии с классификацией ПУЭ, рекомендуется оснащение резервного электроисточника (ДГУ, дизель-роторный источник бесперебойного питания и т.д);
3. Допускается применение единичных источников бесперебойного питания или группы, работающих параллельно. Не смотря на то, что явные рекомендации структуре ИБП не предоставляются, но даны требования по обеспечению отказоустойчивости, а именно наличие байпаса, применение нескольких батарейных цепочек, не применять схему с общей батареей на несколько модулей, избыточность ИБП (применение схем с резервированием по количеству ИБП);
4. В главном распределительном пункте, в котором расположен центральный кросс кабельной системы ЦОД, маршрутизаторы и коммутаторы локальной сети и сети хранения данных, могут размещаться и кроссы, предназначенные для коммутации горизонтальных кабелей. Для целей резервирования в ЦОД может быть организовано два и более главных распределительных пункта
5. Помещение для ввода кабелей в базовой топологии одно, но может быть и несколько
6. Минимальная нагрузочная способность розеточной группы – 2,5 кВт, минимальное количество розеток на единицу площади – один двойной блок на 4 м2;
7. Одинаковые нормы надежности электроснабжения компьютерной комнаты и комнаты внешних коммуникаций.
8. Система мониторинга электроснабжения должна обеспечивать точное измерение его параметров в каждой выделенной зон
9. Инженерные системы (СОТ, СКУД, СОС, АУГПТ) и автоматизированные рабочие места должны быть подключены через выделенные распределительные электрощиты.
Не смотря на большое количество требований к электроснабжению в TIA-942 наибольшее количество вариантов для строительства предоставляется в системах источников бесперебойного питания для создания системы гарантированного электроснабжения (СГЭ). На данный момент типовыми схемами СГЭ являются централизованная и распределенная. Каждая из этих систем имеет свои плюсы и недостатки, поэтому выбор конкретной схемы зависит от конкретных требований по функциональности и надежности.
Источник с сайта www.uniongr.ru
ПРЕДПРОЕКТНАЯ ПРОРАБОТКА
Данному пункту хочется уделить особое внимание, поскольку детальная проработка основных технологических схем и выбор основного оборудования позволяет в существенной степени сократить затраты на строительство ЦОДа. Например, на рынке дата-центров в России наблюдается большая конкуренция среди поставщиков услуг, поэтому снижение затрат на строительство, а как следствие уменьшение стоимости предоставляемых услуг, может стать дополнительным конкурентным преимуществом.
Предпроектная стадия также позволяет Заказчику проанализировать различные технологии инженерных систем и оптимизировать энергетическое потребление ими, для уменьшения показателя Power Usage Effectiveness (PUE). PUE — коэффициент эффективности использования энергии, который устанавливает соотношение общего объема электроэнергии, потребленной ЦОД, и количества энергии, затраченного на электроснабжение ИТ-оборудования. Т.е. сколько энергии теряется на механические и электросистемы (кондиционирования, вентиляции и т.д). Этот показатель наиболее популярен для оценки экономичности центров обработки данных и большинство компаний публикуют сведения о своих ЦОДах, чтобы охарактеризовать их энергоэффективность.
Показатели эффективности ЦОД компании Facebook в Принвеле
Скриншот с сайта www.fbpuewue.com
Вот несколько примеров, когда не соблюдаются требования по кондиционированию в машинном зале. Примечание: температура – критический фактор для IT инфраструктуры. Часть оборудования может уже отключится при +35 градусов.
Изображение с сайта www.habrahabr.ru
На данной картинки изображена локальная зона перегрева из вентиляционной решетки.
Изображение с сайта www.habrahabr.ru
В данном случае представлена еще одна локальная зона перегрева, но уже стойки. Как видно из термограммы, не хватает мощности охлаждающей струи. Для исправления недостатка, достаточно увеличить скорость вращения вентиляторов фанкойлов, что приведет к увеличению количества потребляемой электроэнергии.
Изображение с сайта www.habrahabr.ru