大数据集群系统「基于大型数据中心的集群组网建设方案研究」

通信世界网消息（CWW）近年来，5G、云计算及物联网等新技术快速普及应用，数据总量爆发式增长，企业对数据存储、计算以及应用的需求大幅提升；同时，算力及人工智能的发展，使更多的企业用户提出数据中心互联的需求。头部互联网企业一般要求数据中心具备3AZ（Availability Zone，可用区）的组网能力，金融行业要求数据中心具备“两地三中心”的组网能力，政务、教育以及交通等领域也要求数据中心有多活、热备以及冷备等组网能力。

在《全国一体化大数据中心协同创新体系算力枢纽实施方案》及“东数西算”政策支持下，各大运营商及第三方IDC业务提供商纷纷在八大枢纽节点布局大型IDC，为数据中心发展奠定了物理基础。在具备物理基础后，如何构建大带宽、高可靠、广覆盖、层次化的数据中心互联网络，满足用户业务需求向低时延、弹性部署、智能敏捷、高安全演进，提升数据中心差异化的服务能力，是本文研究的重点。

大型数据中心组网关键技术分析

目前常用的数据中心互联方式有传统框式波分、DCI盒式波分、政企OTN以及IP承载网。

传统框式波分设备主要应用于通信机房，按照长途模型设计，设备性能要求较高，不适合数据中心中短距离传输的需要，而且传统框式传输设备未开放南北向接口，不适合东西向数据中心流量传输，增加了运维难度。

相比于传统框式波分设备，数据中心盒式波分设备具备低时延、大带宽、低成本、波分设备匹配DC环境、简洁运维、精细化管理、自主可控、上线快等优点，更适合在多AZ互联网络中应用。DCI盒式波分设备的优势主要体现在线路侧采用更高比特率，用户侧仅要求以太网，能有效降低单比特成本，如当前规模应用400G，传输距离达300km以上，比现网OTN设备单价低30%～40%；DCI盒式波分设备采用盒式设备形态，集成度高，采用前后风道方式，适配了数据中心冷热通道分离的环境；DCI盒式波分设备管理接口、数据模型是开放的，通过自定义管理模型、自研控制器、定制化硬件，可以实现核心能力的自主可控；自研控制器直管设备，多厂商设备统一纳管，自主掌控运营系统，更好满足云网协同需求。

通过以上分析，可以看出DCI盒式波分设备适合中短距离数据中心传输组网；IP承载网及OTN由于广覆盖的特性，适合于更大范围、更长距离数据中心的组网，能够满足数据中心枢纽之间互联的需求，也可满足数据中心异地灾备、离线分析等业务需求。

大型数据中心组网建设方案

借鉴云服务商可用分区的概念，将数据中心根据物理距离的不同分为三个层级，分别为枢纽节点、区域（Region）、可用分区AZ，一个区域内至少两个、通常三个可用区，不同可用分区一般满足“风火水电”物理隔离的要求。

多AZ及区域间建设方案

多AZ数据中心互联一般用于热点区域的数据中心之间，特点是传输距离短，一般光缆路由之间的距离在100km以内；流量大，流向一般比较稳定，满足用户多活及私有云加载的需求。

多AZ基础设施建设需满足“风火水电”物理隔离的建设要求，区域及核心节点按A级以上等级数据中心建设。外市电应由双路市电供电，分别来自不同的变电站；油机需考虑“N+1”冗余；变压器按2N设置，两套设备设置在不同的房间；空调系统需考虑配置电双路源（其中至少一路为应急电源），末端切换，采用放射式配电系统；构建“1ms时延圈”，为用户提供跨机房、双活、多活及负荷分担等实时高可靠业务服务。

多AZ数据中心之间部署400G DCI波分，主要满足业务多AZ、跨机房、双活、多活及负荷分担等实时高可靠业务需求，满足任意AZ间的一跳直达；传输网可以提供双路由保护，考虑到业务的安全性，按双路由保护进行规划建设。多AZ及区域间组网方案如图1所示。

图1 多AZ及区域间组网方案

枢纽节点间互联建设方案

枢纽节点数据中心之间的跨区域互联，一般租用运营商的骨干网带宽进行连接，运营商的骨干网络可以满足跨区互联的有IP承载网及OTN网络，对于没有明确时延要求的用户，建议采用IP承载网进行承载。

在多AZ集群内选择2个大型重要的数据中心作为区域的出口，与IP承载网及OTN网络互联，从而完成与其他枢纽节点的对接。部署IP承载网PE设备，减少路由绕转、降低时延；部署IDC出口路由器CR设备与OTN网络对接，满足IDC之间跨区互联的需求。

集群数据中心组网在京津冀枢纽节点的应用

近年来，随着“京津冀一体化建设”及北京IDC数据中心迁移，张家口、廊坊以及雄安成为互联网提供商、云服务商及运营商积极布局的重点区域。廊坊、张家口周边地区借助地理位置优势，机柜数占北京周边存量的65%，天津存量机柜主要位于武清区。

张家口数据中心围绕怀来、宣化以及张北等地建设，张家口怀来已经投产的有腾讯怀来瑞北云数据中心、腾讯怀来东园云数据中心、新媒体大数据产业基地、环首都·桑园云计算产业基地、怀来云交换数据中心、怀来大数据科技产业园。在张北已经投运的数据中心有阿里庙滩数据中心、阿里小二台万国数据中心及阿里小二台数据港数据中心，在建的数据中心有阿里西梁数据中心、张北榕泰云计算数据中心、环首都·南山信息技术产业基地、世纪互联怀来云数据中心、京北云计算软件研发中心、互联港湾数据中心、中国联通（怀来）大数据创新产业园等。

根据多AZ建设需求，在多AZ内部组建“1ms时延圈”，要求各AZ之间光缆连接的距离小于100km。根据京津冀区域数据中心布局及集群组建距离要求，将京津冀区域分为三类：一是怀来宣化区域，二是张北区域，三是环廊坊雄安热点区域。在怀来宣化区域布局多AZ，满足用户多AZ互联需求，支持基于云计算提供冷热活及用户私有云加载。张北及怀来宣化区域实现灾备建设，张北区域及雄安热点区域实现异地灾备。京津冀区域数据中心集群组网如图2所示。

图2 京津冀区域数据中心集群组网

当前，云业务及互联网用户DCI需求特点已发生很大变化，对数据中心组网提出了更高的要求，如何满足头部用户、腰部用户以及企业数字化转型对数据中心互联的需求，是IDC网络建设面临的重要课题。本文在分析IDC业务需求的基础上，将数据中心互联分为枢纽节点、区域、可用分区AZ互联的需求，根据不同的技术实现方式分析了以上三个层级数据中心互联网的组网方案，并探讨了在京津冀区域的典型应用场景，为数据中心集群网络建设提供有价值的借鉴，可以满足用户容灾备份的建设需求。