嘉楠科技Canaan开源通用大语言模型Toucan

8月31日 消息:近日，嘉楠科技（Canaan）发布了参数量为70亿的通用大语言模型 Toucan-7B 及 INT4量化版本 Toucan-7B-4bit。

Toucan-7B 能够实现文案写作、代码解析、信息抽取等多种自然语言处理任务，并在测试中表现优于 ChatGLM-6B。Toucan-7B-4bit 使用了最新的 INT4量化技术，显存占用量更低，与 Toucan-7B-fp16模型相比，具有较好的推理效果。

据悉，Toucan 是一个基于 Meta LLaMa 架构的开源中文对话语言模型。它具有70亿参数，并结合了模型量化和稀疏技术，可以在端侧进行推理。Toucan-7B 的效果略好于 ChatGLM-6B，而经过4bit 量化后的模型与 ChatGLM-6B 的效果相当。

项目地址：https://github.com/kendryte/Toucan-LLM