零一万物开源 Yi-9B 模型 代码数学综合能力全面增强

3月7日 消息:零一万物团队发布并开源了 Yi-9B 模型，这是零一万物 Yi 系列模型中的 “理科状元”，在代码和数学能力方面表现最佳，并且具有强大的中文能力。该模型的优势包括:1. 代码和数学能力出色，综合实力强劲。在综合能力方面，Yi-9B 超越了其他相近尺寸的开源模型，如 DeepSeek-Coder、DeepSeek-Math、Mistral-7B、SOLAR-10.7B 和 Gemma-7B。2. 消费级显卡可用，使用成本友好。Yi-9B（BF16）和量化版 Yi-9B(Int8)都可以在消费级显卡上轻松部署，成本较低。3. 模型具有中文和英文能力，且性能良好。Yi-9B 在中文和英文能力方面表现出色，是一款全面综合能力强的模型。Yi-9B 模型的训练经历了多阶段增量训练，并且采用了模型深度扩增的方式来提升性能。团队在训练过程中增加了模型大小，并采取了固定学习率和逐步增加 batch size 的策略，以提高模型的训练效果。此外，团队还分析了模型结构和训练过程的趋势，通过量化累积整体模型输入 / 输出 cosine 距离的指标来观察模型性能的变化。总的来说，Yi-9B 模型在代码、数学和中文能力方面表现出色，是一款全面综合能力强大的模型，可在消费级显卡上部署，并且具有较低的使用成本。项目地址：https://github.com/01-ai/Yi