度小满“轩辕70B”金融大模型开源

9月25日 消息:度小满推出全新的金融行业大模型“轩辕70B”，标志着金融大模型迈向新的高度。该模型在通用能力和专业金融领域表现出色，名列各项开源模型评测榜单前列，特别在中文任务评测和金融领域十大类权威考试方面提供专业支持。

“轩辕70B”是一个重要的金融对话大模型项目，旨在提供卓越的自然语言处理能力。该项目构建在Llama2-70B模型的基础上，经过中文增强和大量通用与金融领域的预训练，形成了一系列强大的金融大模型。

项目地址:https://github.com/Duxiaoman-DI/XuanYuan

“轩辕70B”是首个拥有70B参数量级和上下文长度可达8k以上的开源大模型。它在预训练阶段融入了大量的专业金融语料，旨在提高通用能力的同时显著增强金融专业性能。模型训练采用了一系列加速优化策略，具备出色的训练效率。

这一模型已经在开源社区全面开放，包括模型权重和训练语料，为金融行业提供了一个高效的中文基座模型，用户还可以根据需要进行自定义的微调。这一创新将有助于金融领域的自然语言处理和信息抽取等任务，为行业发展带来新的机遇。

核心功能:

1. 中文增强:XuanYuan-70B基于Llama2-70B模型进行了中文增强，通过大量通用与金融领域数据的预训练，扩充了中文词表，大幅提升了金融领域的理解能力。

2. 上下文长度扩展:为满足金融领域的长文本需求，XuanYuan-70B在预训练阶段将上下文长度扩展到了8k和16k，这是首个在70B参数级别上实现如此高上下文长度的开源大模型。

3. 通用能力:该模型在通用能力评测中表现出色，不仅在英文评测数据上表现优秀，还在多种中文评测数据集上表现出众，涵盖了STEM、人文学科、社会科学等领域。

4. 金融领域应用:XuanYuan-70B在金融领域评测中取得显著的提升，这使得它成为处理金融领域文本的理想选择。

5. 对话能力:XuanYuan-70B-Chat模型经过通用和金融指令微调，具备出色的对话生成能力，可以用于生成金融领域的文本摘要以及回答各种问题。