中国联通智网创新中心大数据解决方案全栈自主创新，做活数据，赋智行业

中国联通智网创新中心大数据解决方案全栈自主创新，做活数据，赋智行业 通信产业网|2023-06-01 16:11:17作者：通文来源：通信产业网

【通信产业网讯】2022年我国数字经济规模首次突破至50.2万亿元，占GDP比重达到41.5%，当下，推进数字经济和实体经济深度融合，已成为我国产业基础高级化与产业链现代化的重要途径。通过做活大数据，激活数据要素价值，加快业务数据化、数据业务化，深化大数据应用创新势在必行。

以运营商行业网络数据处理技术应用为例，通过智能分析和挖掘用户使用业务感知、设备信息、网络质量等海量数据，提炼价值信息和规律性模式，不仅有助提升运营商的服务质量、商业决策、安全防护效果，也可以为政务、金融、新零售等多个行业提供高价值大数据产品，为行业数字化转型赋能。

携手鲲鹏，夯实数字基座

中国联通智网创新中心紧密围绕集团全面数字化转型要求，以“强基固本、守正创新、融合开放”的新战略为指导，持续探索大数据技术创新和应用。

在海量数据加工领域，为避免核心技术“卡脖子”成为制约创新发展的阻力，智网创新中心大数据团队坚持沉淀创新研发技术，近日，成功开发了国内首个全栈自主创新大数据解决方案，该方案基于鲲鹏构建算力平台，提供10万个计算核心，软件层基于开源Flink+Hadoop自研，具备独立自主、开源开放、存算分离、批流一体的优势。方案通过将领先的大数据技术和丰富的最佳实践相结合，提供了多项核心功能：

l构建模块化、分层化、工程化DPI数据加工软件框架，支持数据实时计算和入库(上亿QPS)；

l构建DPI数据的分层公共数据模型，通过数据服务化的方式支撑前端数据应用，支持数据的复用和共享；

l提供全链路的数据质量稽核监控，支持数据一致性、完整性、正确性和及时性的监控，第一时间问题“早发现，早恢复”；

l提供多样化数据应用产品，支持用户级感知详单实时输出和全国重点区域网络质量和感知质量准实时流式输出。

方案实现了对网络全域数据的集中采集、存储、加工、分析，面向全国一点提供网络数据服务，构筑起联通网络创新与数字化运营转型的坚实基座，并进一步激发大数据在更多行业应用的巨大潜力。

强基固本，深化融合创新

智网创新中心基于鲲鹏的大数据解决方案在行业中已形成了一定的先发优势，持续构建自主、可靠、领先的大数据技术能力是根本。

全栈、全流程独立自主：鲲鹏硬件和大数据核心软件自主创新，可持续演进；核心人员编排全自有；从方案设计到生产上线全独立自主部署

超大规模集群：共计部署1100台鲲鹏服务器，配置存储容量100 PB，内存容量600 TB，以及10万CPU，具备处理海量数据和高并发计算方面的强大能力，并采用了多层次的故障切换和备份机制，保证系统的高可靠性

核心软件性能大幅提升：Flink采用“预加载维表关联”优化方法，维表对象总内存占用降低90%，算子对外部数据库的查询连接数减少90%；自主研发批量文件数据源接入方法，数据源接入时延减少50%，降低文件系统压力，增强系统鲁棒性；基于小文件优化策略创新，文件数量减少80%，大大降低NameNode压力，提升HDFS性能，增大数据保存周期等。

联合创新实现性能超越：智网中心联合华为基于鲲鹏大数据OmniRuntime套件算子下推、算子加速等新特性，在鲲鹏大数据平台能够实现查询效率相比现有平台提升53%。

数据赋能，创新场景应用

当前，智网创新中心基于鲲鹏的大数据解决方案已广泛应用，为疫情防控、抗震救灾、应急救援、防汛抢险、司法矫正、反欺诈等场景，供给高质量数据能力，支撑国家部委及政府工作，履行央企责任。为智慧信息、数睿广告等多个公司行业大数据产品提供高品质核心数据，不断为联通带来新的业务增长点。应用于集团内部，赋能中国联通网络精准建设、精准优化、智慧客服、端网业协同等数字化转型工作，实现降本增效。

未来，中国联通智网创新中心将持续瞄准大数据、云计算、物联网等技术前沿，基于鲲鹏研发网络创新产品、赋能网络运营转型、催化网络能力增值，打造全球领先的技术研发与服务平台，面向全联通、面向全行业提供互联网及信息服务，提升产业供给能力和行业赋能效应，助力数字经济高质量发展。

1000

责任编辑：天祥