千锤百炼 九天大模型是怎样炼成的？_千锤百炼磨成钢

通信世界网消息（CWW）在福建，瑕疵AI视觉检测系统赋能纺织企业开展AI视觉识别检测，有效提升产品质量和生产效率；在河南，精准高效的农业专用AI解决方案为农户提供便捷高效的农业知识问答服务；在黑龙江，龙江政务服务依托九天海算政务大模型，实现“一网通办、一网统管、一网协同”……

“九天”人工智能基座的神秘面纱在数字中国建设峰会中国移动人工智能大会上被揭开，“九天”不仅是一个技术创新的里程碑，更是助推经济社会高质量发展的强大引擎，由万卡级智算集群铸就坚实根基，千亿多模态大模型构建丰富内涵，汇聚百大要素的生态平台成就了其广阔视野与无限可能，为数字经济的蓬勃发展注入了强大动力。

“九天”亮剑，实现跨越式发展

“可上九天揽月，可下五洋捉鳖”。中国移动始终与国家的发展脉搏同频共振，自2013年起便踏上了与人工智能深度融合的探索之路，打造了全力投身人工智能技术创新和产品研发的“九天”团队，致力于将人工智能技术融入其核心业务，推动行业的智能化发展。

中国移动“九天”团队从智能客服领域入手，助力10086客服成为全球交互量最大的智能客服系统；又在大数据智能领域深入攻关，助力多个省公司显著提升了营销效益。

为进一步加快人工智能的广泛创新，中国移动2017年正式上线了“九天”人工智能平台。

该平台是国内首个运营商自主研发的人工智能平台，可助力人工智能开发者们充分利用中国移动在算力、数据等技术资源的规模化优势而敏捷、高效地实现丰富多样的人工智能算法、应用，并加速这些成果在中国移动丰富的应用场景中得到落地。

“面向通用人工智能的‘人工智能大平台’，其能力底座是大模型。”九天基础大模型研发负责人表示，AI给整个行业带来了革命性的变化，所有从事这个行业的人都会非常期待。“我相信智能化会深入到生产生活、社会治理、科学研究等方方面面，我相信它一定会让我们整个文明上升一个台阶。”

拾级而上，攻坚难题锻长板

随着科技的飞速发展，人工智能已成为引领数字化转型的重要力量。2023年3月，中国移动成立大模型研发团队，攻关通用人工智能技术，抢占科技制高点。

大模型的训推技术是一个新的方向，在全球任何一家公司都是核心机密，公开的学术论文只能窥看到冰山之一角，但这些已经是研发团队获取训练技术的最佳途径。

在九天基础大模型研发工作中，研究人员很多时候要摸着石头过河，甚至要勇闯技术“无人区”，日夜不辍地提炼技术要点，为大模型攻关积累了知识底座，结合训练过程，形成了完整的训练日志，成为了大模型攻关过程中最宝贵的知识财富。

“众人拾柴火焰高”，没有现成标准可遵循、没有成熟经验可借鉴，在这种情况下，研发团队在多方渠道收集了近500万亿字符的原始文本数据，其规模近乎覆盖了人类有史以来全量的文本类知识。他们对这些数据进行一轮又一轮的精洗和去重，优选的比例是100:1，打造出近5万亿字符的高质量训练数据集，为大模型训练奠定了数据基础。

最开始的半年时间里，算力不足、平台的断点续训功能也未开发完成，研发团队24小时日夜监控千卡集群的训练状态，第一时间处理故障、恢复训练任务。但因为对模型的超参数设置把握火候不够，训练一次次归零，一次次从头再来。在挫折面前，他们展现出极强的韧性和抗压能力，坚守一线，直到模型最终收敛出完美的曲线。

新技术要敢于在实际的生产中锤炼。在大模型训练过程中，对于高性能算力资源面临着严重的“卡脖子”问题，相应的框架、加速技术等也难以直接使用，亟需实现全链路高度自主可控的大模型训练。

现在九天语言大模型已实现在近万卡集群上进行训练，速度达130T Flops，无故障训练时长在同等规模芯片训练中达到国际领先水平，已与中石油、中航信、中化等央企建立合作，加速产业赋能。

积力所举，则无不胜；众智所为，则无不成。中国移动将与产业一道，不断建强“九天”人工智能基座，立足于在重点领域形成创新突破，推进AI在通信服务领域的创新发展及落地应用，带动我国大模型产业生态融通共赢。