通义千问团队开源首个千亿参数模型Qwen1.5-110B

4月28日 消息:通义千问团队开源的首个千亿参数模型，Qwen1.5-110B。该模型在基础能力和 Chat 评估中表现出色，与其他同类模型相比有显著提升。Qwen1.5-110B 采用了 Transformer 解码器架构，支持多种语言，并且具有高效的分组查询注意力机制。在 Chat 评估中，该模型相较于之前的版本表现更好，显示了更大规模模型的潜力。

110B 模型的性能提升主要来自于增加的模型规模，而训练方法并未大幅改变。然而，尽管未改变训练方法，模型规模的增加依然带来了更好的 Chat 模型效果，这表明模型规模的扩展在提升性能方面具有重要意义。

Qwen1.5-110B 是通义千问系列中规模最大的模型，也是首个拥有超过1000亿参数的模型。它在与最近发布的 SOTA 模型的性能比较中表现出色，显示出在模型大小扩展方面仍有很大的提升空间。

未来，团队将继续探索模型规模提升和扩展预训练数据规模两种方法带来的优势。

模型链接:

Qwen1.5-110B-Chat:

https://www.modelscope.cn/models/qwen/Qwen1.5-110B-Chat

Qwen1.5-110B:

https://www.modelscope.cn/models/qwen/Qwen1.5-110B