零一万物宣布开源发布大模型 Yi-34B 李开复：已启动100B千亿参数模型的训练

【网易科技11月6日报道】今日，零一万物创始人及CEO李开复博士带队创办的AI 2.0公司零一万物，宣布开源发布首款预训练大模型 Yi-34B。零一万物此次开源发布的Yi系列模型，包含34B和6B两个版本。

据了解，在 “MMLU”、BBH等评测上，Yi-34B 表现较好，但数学和代码评测表现略逊GPT模型。

据介绍，此次开源的Yi-34B模型，将发布可支持200K 超长上下文窗口（context window）版本，可以处理约40万汉字超长文本输入。对比大模型标杆GPT-4，在CMMLU、E-Eval、Gaokao 三个主要的中文指标上，作为国产大模型的Yi-34B 能更好地满足国内市场需求。

目前，Yi系列模型已在 Hugging Face、ModelScope、GitHub 三大全球开源社区平台上线，同时开放商用申请，给开发者在使用LLM的过程中提供更多选择。

据悉，本次开源的基座模型包括200K上下文窗口的基座模型，广大开发者可以基于基座模型进行微调，GitHub 01Yi 开源网页上已经提供了简单的微调代码，同时模型和主流语言模型微调框架兼容，开发者可以自行进行适配。

在 Yi 开源模型的全球首发日，李开复也宣布，在完成 Yi-34B 预训练的同时，已经旋即启动下一个千亿参数模型的训练。“零一万物的数据处理管线、算法研究、实验平台、GPU 资源和 AI Infra 都已经准备好，我们的动作会越来越快”。李开复表示。（沈伊）