中国移动通信模型云「中国移动研究院发布通用大模型评测体系白皮书」

通信世界网消息（CWW）7月17日，中国移动研究院、中国移动技术能力评测中心主办“2023年大模型评测及应用研讨会”，旨在共同探讨大模型评测体系、应用实践、产业标准及合作生态等议题，推动大模型技术的广泛应用和发展。中国中文信息学会副理事长马少平、中国移动研究院副院长段晓东出席会议并致辞。

会上，中国移动研究院联合北京邮电大学、中国科学院计算技术研究所、北京市科学技术研究院、科大讯飞、百度、武汉大学和重庆理工大学等知名高校、科研机构和头部企业联合发布了《“弈衡”通用大模型评测体系白皮书》。该白皮书是行业中首个大模型评测领域白皮书，基于客观全面、公平公正和用户视角的三大原则，创新性地提出了“2-4-6”的“弈衡”通用大模型评测体系。该体系将评估场景划分为基础任务和应用任务，明确四项主要评测要素，并制定涵盖六大维度的50余个评测指标。“弈衡”评测体系可对国内外大模型开展有效评测分析，充分揭示大模型在应用中的固有问题，客观反映各模型在准确性、可靠性以及安全性等方面的差异，为大模型的评测实践和产业应用提供指导。