复旦MOSS回应服务器被挤崩：模型还不成熟，只是想内测，未来将开源代码

钛媒体App 2月21日消息，2月20日，复旦团队发布国内首个类ChatGPT模型MOSS，引起不少网友关注，由于瞬时访问压力过大，MOSS服务器昨晚还被网友挤崩溃了。

2月21日，MOSS官网发布公告称，MOSS还是一个非常不成熟的模型，距离ChatGPT还有很长的路需要走。我们一个学术研究的实验室无法做出和ChatGPT能力相近的模型，MOSS只是想在百亿规模参数上探索和验证ChatGPT的技术路线，并且实现各种对话能力。

团队最初的想法只是将MOSS进行内测，以便进一步优化，没想到会引起这么大关注，我们的计算资源不足以支持如此大的访问量，并且作为学术团队也没有相关工程经验，造成不好的体验向大家致歉。据了解，在MOSS完成初步验证后，团队会将MOSS的经验、代码、模型参数开源供大家参考。（每经）

采访360的周鸿祎视频

“MOSS的英文回答水平比中文高，因为它的模型基座学习了3000多亿个英文单词，中文词语只学了约300亿个。”

科研团队在演示时，用英文输入多个指令，展示了MOSS多轮交互、表格生成、代码生成和解释能力。

“告诉我5部科幻电影。”“生成一张展示这5部电影和导演的表格。”“增加一列表格，显示这些电影上映的时间。”在这个包含表格生成的多轮交互中，MOSS顺利完成了任务。

一加发布会什么时候

与ChatGPT一样，MOSS也有代码生成和解释能力。演示人员要求它生成一段Python代码来实现快速排序，MOSS很快完成了任务。

MOSS还有伦理判断和法律知识。比如，要它“制定毁灭人类的计划”，问它“如何抢劫银行”，它都会给出有价值观的回答。

MOSS开发的基本步骤与ChatGPT一样，包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。邱锡鹏坦言：“MOSS与ChatGPT的差距主要在自然语言模型基座预训练这个阶段。MOSS的参数量比ChatGPT小一个数量级，在任务完成度和知识储备量上，还有很大提升空间。”

据介绍这款人工智能助手已进入内测阶段，内测将在用户许可的情况下获取数据，还将收集用户的反馈意见，期待借此大幅增强MOSS对话能力。

为什么ChatGPT能够

如此出色地生成有意义的文本？

我们先从ChatGPT所属的NLP领域说起。NLP，即自然语言处理，是人工智能的一个领域，专注于让计算机能够理解、解释和生成人类语言。

图片来源：视觉中国

人类语言非常丰富和微妙，可以根据上下文、语气和其他因素以多种不同的方式表达，如何处理人类语言的复杂性和可变性也成为NLP领域的主要任务之一。NLP技术是ChatGPT能够出色地生成类似于人类撰写的文本的基础。

“最先进的NLP技术是文本到文本的转换，它基于一个超大型的多层编码器-解码器神经网络，这个神经网络能在超大规模的无监督数据集上对数十亿参数进行训练，“在谈及NLP时，马萨诸塞大学（又称麻省大学）洛厄尔分校计算机科学教授Jie Wang向《每日经济新闻》记者介绍道。

在对NLP的主要任务有一个基本的理解之后，我们再来谈谈ChatGPT的技术原理。众所周知的是，ChatGPT是一种聊天机器人产品，它基于OpenAI的大型语言模型架构GPT-3.5。

2月15日，计算机科学家Stephen Wolfram在推特发表了一篇万字长文来解释ChatGPT的工作原理。在这篇文章中，Wolfram提到，ChatGPT的核心任务是对已有的文本生成一个“合理的延续”，“合理”的意思是，根据人类在数十亿个网页中撰写的内容的规律，来推测接下来可能出现的内容。

Wolfram举了一个例子，比如输入以下文本：“AI最好之处在于它（）的能力”，为了补充括号中的内容，ChatGPT会在数十亿个网页中查找类似文本，统计下一个单词出现的概率。最终，ChatGPT会生成一个可能的单词列表，并给出每个单词的概率排名。这就是它的“概率游戏”。

图片来源：文章截图

上观新闻报道称，由于ChatGPT并未开源，其技术方案细节也未公开，科研人员对此有诸多猜测。有专家认为，ChatGPT是一套复杂的组合系统，无法由单一的生成式语言模型实现；也有专家认为，国内外在这个方向上的技术差距正在拉大。

VC/PE看好“中国版ChatGPT”：一定会有自己的AI大模型

“未来国内一定会有自己的AI大模型，并且也一定会诞生自己的ChatGPT。”在谈到打造AI大模型和“中国版ChatGPT”是否现实时，多位投资人都对《每日经济新闻》记者做出了这样的判断。

创世伙伴资本合伙人聂冬辰进一步解释称，中国拥有庞大的数据，较强的模型开发和算法优化能力，大量优秀的AI工程师，具备打造中国版ChatGPT的条件，“当然，这是一件长期的事，涉及数据的收集清洗、算法的设计优化等多个环节，我们看到已经有几家公司在努力去做，但目前都处于比较早期的阶段。”

对于中国能否做出自己的AI大模型，CMC资本董事总经理易然也表达了自己的乐观：“这完全是一个资源和时间的问题，而且不会差太远，我们之前和一些模型层的创业者、学者都有过交流，从技术的了解程度和人才储备来说，我们其实并不差。此外，现在关于模型构建方面的学术交流也很开放和活跃，我们可以做一些参考。”

而在线性资本投资总监白则人看来，大模型这块已经不是什么秘密，因为虽然OpenAI的代码没有开源，但是整个的构建思路已经通过论文的形式发出来了，大方向上已经明确，只是在模型构建和效果优化方面的探索需要花费大量时间，有大量工程化问题要解决，并且训练成本也非常高。

“我觉得市场还需要多一些耐心。至少在AI大模型这一块，做出来这个事大概率是没有问题的，我们判断达到类似ChatGPT的效果差不多需要2～3年左右的时间”，白则人表示。

启明创投合伙人周志峰则表示，他非常喜欢北京智源人工智能研究院理事长张宏江所说的一个比喻：过去的AI更多的是“大炼模型“，也就是说每家科技公司都是各自独立研发专用小模型；今天这一代的AI技术，叫做“炼大模型”，底座模型是由某些特定的机构研发出超大规模的通用模型，“这个模型不再是针对某一个专门应用开发的，它的训练数据是互联网上能够看到的所有数据，数据也不需要做特别的标注，训练也不需要监督，做出来的是通用人工智能能力，然后第三方基于底座模型，针对千万个应用场景去开发软件”。

他指出，从“大炼模型”到“炼大模型”的范式转变，对AI未来十年、二十年的发展有重大意义。

面临的挑战：需要足够的算力、模型工程化的人才和完整生态

国内巨头已经纷纷入局，那么要做出ChatGPT这样的现象级产品，目前还有哪些现实的挑战摆在眼前呢？

易然坦言，国内的公司此前在这个领域已经有一些探索了，如果要达到类似ChatGPT的效果，还需要更多资源和时间的投入。“当然像芯片等方面可能会面临一些阻碍，但是应该也会有一些其他的解决方法。”他表示，未来会继续关注模型层的演变，尤其是开源对模型层带来的影响，科技大厂在训练上取得了一些初步优势后可能通过开源的方式去降维打击。创业公司如何更好地利用开源的模型，能否构建出属于自己垂直领域、更精细化的小模型也值得期待。

在白则人看来，要做出国内自己的AI大模型，最关键的要素是要有足够的算力和模型工程化的人才。

“算力这块可能会面临卡脖子的问题，而且除了硬件方面，可能还有一些比如说计算框架层面这些软件层面的问题需要去解决。当然我们也看到，中国的GPU近年来也在快速发展中，所以我觉得国内的企业还是有实力可以去做的。”

聂冬辰也向《每日经济新闻》记者分析称，构建中国的AI大模型需要几方面条件更加成熟：首先是底层技术能力，在模型构建和训练方面要有持续大量投入，形成自己的中文语言大模型。其次，在数据方面，要有足够体量的数据灌进来，对数据的收集、整理、清洗是一个非常庞大且耗时耗力的过程，需要有公司踏踏实实地能把这件事情做成。此外，整个市场，无论是科技大厂、创业公司还是投资人，都需要有足够的耐心，不投机、不跟风。“如果我们真的能沉下心来，十年如一日地朝着自己的AI大模型方向去训练演进，肯定能做出来”。

而在谈到关于中国在生成式AI和底座大模型的挑战时，周志峰指出，首先要面临的就是算力问题。由于算力成本非常高，怎么用国产的AI芯片进行替代并降低成本，国产的AI芯片是不是能够、什么时候能够满足大规模集群的算力、互联带宽、算法适配和协同的需求，都值得去观察。