浅谈有线网络数据中心供配电系统架构的设计与实现

【摘要】江苏有线数据中心的供配电系统为前端机房、模块化数据机房、监控大厅和制冷、消防设施提供可靠电能，是保障数据中心运行的核心设施。本文从安全供电的角度，重点阐述了江苏有线数据中心供配电系统架构的设计与实现。
 
【关键词】数据中心，供配电，双总线，不间断电源
 

0引言

        江苏有线数据中心是国家干线网在华东的节点站，为全省2700万有线电视用户提供播出信源，为省内数百万宽带用户提供互联网接入，同时为数千家金融、医疗、公安、教育和企事业单位提供网络服务，对业务的安全性、可靠性有着极高的要求。
        供配电系统作为数据中心核心设施，必须为各类业务运行提供优质可靠的能源保障，同时还要满足各类辅助设施用电需求，对供配电系统提出了较高的建设标准。因此，江苏有线数据中心供配电系统依据安全、实用、经济、灵活的原则进行设计，在保证满足各类负荷安全用电的基础上，还要考虑系统的可扩展性，可维护性。下文主要从安全角度，浅述江苏有线数据中心供配电系统架构的设计与实现。
 

1用电负荷安全等级划分

        数据中心供配电系统根据不同种类负荷对电源可靠性要求的不同，对用电负荷进行安全等级划分和分类供电保障设计。
1.1负荷
        机房IT负荷供配电设备、连续制冷系统、机房监控系统、消防供电系统、应急照明用电、冷源设备以及机房区日常照明。
        1）IT供配电系统设计参照国标的高可靠性配电系统标准，使用2N配电方式，并通过双路进线电源相互备份，满足进线电源无单点故障的要求。
        2）连续制冷系统用于保证数据中心在市电故障、柴油机未启动时仍有足够的制冷能力，在数据中心的整体可用性中发挥着至关重要的作用，使用UPS为冷冻水系统的水泵、机房内精密空调风机供电，并设置冷冻水蓄冷池。机房空调正常情况下由市电供电、油机保障，在市电和油机失效时，有UPS保障，以提供机房机柜的制冷。
        3）机房监控系统为整个数据中心重要的操作、维护与管理平台，其配电系统应能保证在市电断路时，系统仍能正常使用，因此由UPS为其供电。
        4）消防供电系统主要为消防设备、消防报警系统、消防联动控制设备提供配电。按照国家相关规范，应使用双路市电供电，并由柴油发电机保证其电源供应的不间断性。
        5）机房应急照明应保证机房等重要区域在异常状况下保持正常运行的照明能力，使用EPS电源供电，并保证疏散指示照明配备90分钟后备电池，保证停电后，机房照明系统仍可使用。
        6）机房重要动力供电主要指为冷冻站冷水机组、水泵、IT机房、UPS机房空调设备提供供电，包括机房精密空调、机房消防排烟系统及其他与机房环境相关的动力设备的供配电系统，该类系统可以接受因为市电故障所引起的关机重启，不需要使用UPS进行不间断供电，但必须使用柴油发电机后备，以保证供电链路故障或市电缺失阶段仍然可用。
1.2二级负荷
        非关键动力系统、日常维护、维修和照明系统用电。机房维护用电需要在市电缺失阶段保证同样可用，以实现该阶段内的系统故障维护。负荷安全等级划分及电源保障规划如表1所列。

2供配电系统安全架构设计

        江苏有线三网融合数据中心设计总电力容量为32MW，分两期建设，一期为24个机房，容量18MW，二期为16个机房，容量14MW。数据中心按照GB50174《数据中心设计规范》机房设计，配电系统采用2N双总线冗余设计，配电系统可靠性为99.998%，其安全冗余架构如下。
2.1外部市电安全保障
        一期供电需求为18000kVA，设计两路来自不同变电站市电，两路市电分别来自光华变和西岗变，共4个回路，数据中心设立4个KB所。一期建设2个KB所，引入4路10kV市电，每路8000kVA，总容量为32000kVA，实现外市电单路满载的全冗余安全备份。确保数据中心外部市电接入的可靠性和安全等级，两个变电站至三网融合枢纽数据中心的距离分别为600m和3km，市电接入布局如图1和2所示。


2.2柴油发电机保障
        为了进一步提升供电的可靠性，应对外部市电突发大面积的停电发生，三网融合枢纽数据中心另配备备用功率2000kW的10kV自备发电机17台（其中一期9台，二期8台），在市电发生停电时，启用发电机给数据中心供电。如图3所示。
2.3冗余的中低压配电架构
        江苏有线三网融合枢纽数据中心一期共设置了2个KB所、10个低压配电室，采用2N的冗余架构，每个KB所分别引入光华变和西岗变的10kV市电，并设有中压的母联装置，实现10kV中压的互联互投。确保一路中压停电或故障或常规检修时，另一路市电提供后端的供电。
        一期配电系统共设计了20台1600kVA干式变压器，每个低压配电室安装两台变压器，取自两路不同的10kV外电，两路低压系统之间均可以实现低压互联互投，确保一路中低压停电或故障时，另一路市电提供后端的供电。
        柴发、中压和低压配电系统的冗余架构如图4所示。

2.4UPS电源保障
        国家有线网络的骨干线路、全省有线电视安全播出和信息传送是江苏有线三网融合数据中心的核心业务，在建设中对IT的设备和部分关键设备配置了UPS的保障。同时根据运行系统的重要性对UPS的配置采用了2N（N=1）、2N（N=2）、2N（N=3）、2（N+1）的组合方式，在提升可靠性的同时，兼顾投资平衡。
2.4.12N（N=3）组合方式
        安全播出和信息传送是三网融合数据中心中心的核心业务，因此在UPS系统的设计中采用了2N（N=3，2+1）的组合配置，即3台UPS并联，其中1台是冗余备份的UPS，提高供电的可靠性。如图5所示。

2.4.22N（N=2）组合方式
        对运营的计费、客服、互动等重要的系统，UPS采用了2N组合方式（N=2），如图6所示。

2.4.32N（N=1）组合方式
        其他的系统采用了2N（N=1）的UPS组合方式，架构如图7所示。

2.5空调配电的保障
        三网融合数据中心空调系统采用高效的离心冷冻水机组、冷冻/冷却水泵、冷却塔。为了满足空调系统在应急情况下的机房环境温度的保障与UPS后备的时间保持一致，除了设置的蓄冷罐外，对冷却水泵和末端精密空调增加了UPS的供电保障措施。与UPS后备15分钟后备时间相匹配。如图8、图9和图10所示。



2.5.1末端空调的配电保障
        数据中心末端的精密空调的供电安全保障采取两种方式：
        1）应急情况下UPS供电
        机房末端精密空调在正常运行时，采用市电供电，在市电中断时通过ATS自动切换到UPS供电，见图8。
        2）同一组空调的配电来自不同的配电系统
        数据中心每个模块化机房设计了6台末端精密空调，将每个模块化机房的6台末端精密空调分为两组，1、3、5的末端精密空调配电来自配电房1、2、4、6的末端精密空调的配电来自配电房2，两个配电房在距离和防护上做了严格的物理隔离。其目的是为了防止配电房的突发事件（如火灾）引发电力中断，确保在这种突发的情况下，有一半的末端精密空调工作，继续维持该机房的制冷，延长机房温升的时间，见图9。
2.5.2冷冻水泵的供电保障
        冷却水泵正常运行时，UPS运行在ECO的模式，实际上采用交流直供的经济运行模式，当市电中断时自动由UPS接管，保持冷却水泵的持续运行，不仅是满足应急保障的要求，同时达到节能效果，见图10。
2.6数据中心2N供电系统的物理安全保障架构
        江苏有线三网融合数据中心的2N配电的架构设计上，在建筑平面布局上充分考虑到配电系统物理安全，一期不仅设置了2个独立的KB所，同样在每层楼设置了两个配电房，将2N的配电系统分别安装在各自独立的配电房中，在一个配电房发生突发的配电中断事件时，另一个配电房继续给模块化机房的IT设备和空调设备供电，确保业务连续性。如图11所示。
2.7接地系统
        接地系统是数据中心机房供配电系统的重要组成部分，它直接关系到供电系统的可靠性、安全性。《广播电视工程工艺接地技术规范》（GY/T5084—2011）对广电工程类的数据机房接地系统提出了具体规定：有线前端及传输网络机房应采用综合工程工艺接地系统的联合接地方式，工艺接地引出点以上的工艺接地部分应与建筑物其它接地系统相对独立相互绝缘。工艺接地点至少引出2根，接地引出点接地电阻应小于0.5Ω。
        根据规范要求，数据中心接地系统分为大楼联合接地和专用的工艺地，其中工艺地网和大楼地网在地下是相通的，工艺地网框架为30×30m，工艺水平接地体采用直径为25mm的实心铜质材料组成网格状铺设，网格采用6×6m；工艺垂直接地体采用2.5m长，直径为35mm的铜棒打入地下。先经过实测，接地电阻小于0.5Ω，符合规范要求。
        工艺设备电源进入机房后，将电源PE线转换为工艺地线，如图12所示。

3供配电系统运行情况分析

        江苏有线三网融合枢纽中心建成后已有5个模块化数据机房投入运行使用，从2019年元旦至3月底，光华线计划性停电累计1.5小时，西岗线计划性停电累计20分钟，KB1可靠率为99.93%，KB2可靠率为99.99%，发电机累计运行1小时50分钟，机房楼层配电可靠率为100%，完全满足数据中心各类负荷用电需求。

4安科瑞列头柜及监测产品介绍

        随着数据中心的迅猛发展，数据中心能耗问题也越来越突出，高效可靠的数据中心配电系统方案，是提高数据中心电能使用效率，降低设备能耗的有效方式。
        AMC系列数据中心精密配电系统是针对数据机房末端设计的，能够综合采集所有能源数据的智能系统，为交直流电源配电柜提供精确的电参量信息，并可通过通讯将数据上传到动环监控系统，实现对整个数据机房的实时监控和有效管理，为实现绿色IDC提供可靠保证。
4.1精密配电管理解决方案
4.1.1交流系统
        1）功能要求：
        遥测：输入分路的三相电压、三相电流、有功功率、有功电度；输出分路的单相电压、单相电流、有功功率、有功电度；
        遥信：输入分路的过压/欠压，缺相,过流，输入分路和输出分路的开关状态,具备电流、功率需用量分析和统计，实现电压、电流、功率等参数的越限报警功能。
        2）配置方案-示意图

配置方案
多功能仪表PZ72L-E4
电流互感器AKH-0.66-30I-XXA/5A
4.1.2直流系统
        1)功能要求
        遥测：输入分路的电压、电流、功率、电度；
        遥信：输入分路的过压/欠压，输入分路的熔丝状态,具备电流、功率需用量分析和统计，实现电压、电流、功率等参数的越限功能。
        2)配置方案-示意图

配置方案
多功能仪表PZ72L-DE
霍尔传感器AHKC-F-XXA/5V开关电源SBD-30（48V）
 
4.2产品规格




说明：■为标配功能。
 
4.3配套附件

5安科瑞母线槽监测产品介绍

5.1概述
        数据中心小母线系统是数据中心末端母线供配电系统的俗称。近年来，随着数据中心建设的快速发展和更高需求，智能小母线系统逐渐被应用于机房的末端配电中，具有电流小、插接方便、智能化程度高等特点，即插式插接箱给各个机柜内的PDU分配电。始端箱和插接箱内可设置监测模块，将数据上传至动环监控中心。
5.2AMB智能小母线管理系统
        1）交流系统功能：
        遥测：三相电压、电流、有功功率、无功功率、视在功率、功率因数、有功电能、无功电能、电缆温度，系统频率、零序电流、零地电压、漏电流、机柜温度、机柜湿度、开关状态、电压/电流谐波含量、电流/功率；
遥信：过电流2段阀值越限、过/欠压、过功率告警、缺相、过频率、欠频率越限、零地电压、零线电流、温/湿度告警，开关状态、开关跳闸；
        2）直流系统功能：
        遥测：电压、电流、功率、电能、电缆温度、漏电流、机柜温度、机柜湿度、开关状态、电流/功率；
        遥信：过电流2段阀值越限、过/欠压、过功率告警、缺相、温/湿度告警，开关状态、开关跳闸；
 
5.3产品介绍



 
说明：■为标配功能。
 

6结束语

        数据中心往往承载着企业的核心业务，是企业的信息枢纽，供配电系统作为数据中心的核心设施，其网络架构设计直接关系到供用电的安全性、可靠性和可维护性，因此在数据中心建设计阶段，就应该充分考虑各类用电需求，明确不同负荷的用途、用电量和对用电安全等级的要求，根据具体需求设计适用的供配电架构，才能建成一张安全可靠、简洁高效的供配电网络，为业务提供稳定的能源保障。
 
参考文献：
【1】钟景华.中国数据中心技术指针[M].机械工业出版社（北京）2014.
【2】邹芳明，俞小玲，杨晓平. 线网络数据中心供配电系统架构的设计与实现
【3】安科瑞数据中心IDC配电监控解决方案.2020.03版.
【4】安科瑞企业微电网设计应用手册.2020.06版.
 
作者简介：
        王蒙蒙，女，现任职于安科瑞电气股份有限公司，主要从事数据中心智能小母线监控的研发及应用。