大模型还能怎么创新？复旦教授邱锡鹏：需在新的架构、多模态等方面多做研究

科技《思想大爆炸——对话科学家》栏目第31期，对话复旦大学计算机科学技术学院教授、MOSS大模型负责人邱锡鹏。

嘉宾简介：

邱锡鹏，复旦大学计算机科学技术学院教授，中国计算机学会会员，国内第一个对话式语言大模型“MOSS”负责人，曾获中国中文信息学会“钱伟长中文信息处理科学技术奖”一等奖。他的主要研究方向包括自然语言处理与基础模型，在 ACL等知名会议上发表 100 余篇学术论文，被引用1.5万余次。

划重点：

1.现在大模型整体架构比较雷同，要想做出创新，还需在新的架构、幻觉问题、多模态等方面多做研究。

2.我本身就比较喜欢自由的研究氛围。复旦是一个让我觉得舒服宽松的地方，能够去做自己喜欢的事情。

3.大模型是一个非常长的周期链，预训练是开始的部分，后面还有指令的微调和对齐，是有非常多研究机会的。

4.想要实现通用人工智能，需提升大模型之间多智能体协同的能力，比如说我们是不是可以用多个大模型，像人一样，取各之所长，合作起来完成一件事。

出品｜科技

作者｜郑松毅

“现在大模型整体架构比较雷同，要想做出创新，还需在新的架构、幻觉问题、多模态等方面多做研究。”复旦大学计算机科学技术学院教授、MOSS大模型负责人邱锡鹏，在2023中国计算机大会(CNCC)正式开幕前对科技表示。

“MOSS”是国内第一个对话式语言大模型。谈及做大模型的初心，邱锡鹏说道，大模型和人工智能方面的研究是课题组一直在做的事，ChatGPT发布之前就已经在做，只不过那时做的属于底层的基础模型，是不能直接和人进行交互的。

他认为ChatGPT的确可以被认为是革命性的，以对话的形式让模型能够和人类直接交互，同时当模型足够大时，通用能力非常强。

1997年，邱锡鹏考入复旦大学攻读学士学位，他表示，自己对人工智能的热忱就是在读本科时听完导师的报告，慢慢了解这个领域后被激发出来的，直到现在都保持非常高的热情。2001年毕业后，邱锡鹏继续在复旦大学攻读博士学位，直到2006年毕业后加入到复旦大学计算机科学技术学院，开始了自己的科研之路。

可以说，邱锡鹏将自己学业和工作的记忆都完整保存在了复旦大学。

当好奇为何邱锡鹏对复旦大学如此偏爱时，他没有过多考虑地回答道，“我本身就比较喜欢自由的研究氛围。复旦是一个让我觉得舒服宽松的地方，能够去做自己喜欢的事情。”

邱锡鹏坦言，现在国内的大模型和OpenAI的相比还是有一些差距的，一方面要去追赶，另一方面要把它非常强的推理能力尽快复现出来，并追求超越。

大模型的训练成本一直被认为是天文数字，随着大模型规模的发展，“新手”迈入大模型赛道的门槛也越来越高。

他表示，“现在大模型的训练成本相较于最初是低了些的，和训练效率有关。早期上百张卡并行的话，GPU利用率大概30%到40%，现在可以通过很多手段，把利用率提高到50%以上。另外，早期大家只关注数据量，现在更多是只训练高质量数据，从而降低训练的时间。”

现在大模型赛道究竟还适合新手入局吗？

邱锡鹏认为，大模型是一个非常长的周期链，预训练是开始的部分，后面还有指令的微调和对齐，是有非常多研究机会的。

“但预训练这块确实是投入的时间长，投入的资金也大，回报比较慢，我觉得是不太适合新人去做了，除非你能有更好的想法。因为估计你要花很长的时间，才能摸清其中的门道。”

以下为对话实录（经整理编辑）

科技：大模型发展热潮转眼间已是半年，对比开始阶段，您觉得现阶段大模型的发展方向和研发方式发生了哪些变化？

邱锡鹏：变化肯定是有的，比如往多模态和更大的模型方向去发展，还有一个就是所谓的“超级对齐”，以及开源的社区越来越多。

实话实说现在我们这些模型和OpenAI的相比还是有一些差距的，一方面我们要去追赶，另一方面要把它非常强的推理能力尽快复现出来，并追求超越。

从学术角度来说，要有创新性。现在大模型整个架构都比较雷同，未来大模型想要发展还需在新的架构、幻觉问题、多模态等方面多做研究。

科技：您是如何理解刚才提到的“超级对齐”的？

邱锡鹏：之前都是人给机器打分，但其实是有问题存在的。比如涉及到价值观的话，每个人之间都是有差异性的，不同国家和地区的人都不太一样。

现在就是在寻找一种更公平的评分机制，比如不仅利用人的反馈，还用到环境的反馈，或者说写一段代码代替人给机器打分。

科技：很多人还习惯于用参数量级评判一个模型是否为“大模型”，这种判断方式科学吗？参数量级是否还是决定大模型能力的必要条件？

邱锡鹏：参数量大并不是唯一判断条件，训练数据量也要大，使得模型具备类似思维涌现的能力。

科技：现在大模型的训练成本依旧很高吗？日前媒体报道OpenAI 的CEO奥特曼前不久还去找中东土豪融资，请问大模型训练成本未来能慢慢降下来吗？

邱锡鹏：我是觉得训练成本相较于初期是低了些的，和训练效率有关。早期上百张卡并行的话，GPU利用率大概30%到40%，现在可以通过很多手段，把利用率提高到50%以上。另外，早期大家只关注数据量，现在更多是只训练高质量数据，从而降低训练的时间。

科技：MOSS大模型商业化落地进展怎么样了，解决了哪些问题，是否已进入盈利阶段？

邱锡鹏：我们现在是开源，下载量非常多，也听说在不同的行业有具体的应用。但我们是高校团队，还是以研究为主，并没有太多深入各个行业去了解。

解决行业问题的话大致分为两个方面，第一类是直接处理文本数据的，比如医疗、金融等；另一类是充当中间控制台角色，比如在智能制造行业，用户把需求说给语言模型，再由语言模型控制机械动作。

科技：您将会在CNCC上讨论大模型的研究进展和产业应用展望，从MOSS作为最早国内对话式语言大模型来看，感觉您是一位具有前瞻性发展眼光的人。您也曾表示更看重大模型下一阶段的发展，即实现“通用人工智能”。那么您觉得大模型下一阶段的发展机会点在于什么？

邱锡鹏：现在很多智能，比如常见的语音识别、人脸识别等等都是专用的，语音识别只能做语音识别，不能做人脸识别。但“通用人工智能”就像人类的大脑一样，能处理所有事，这也是AI领域的终极目标。

对于通用人工智能来说，如何拓展出更多的模态是现在正在研究的。GPT虽然展示出很强大的通用性，但它还是停留在语言层面。下一步如果想往通用人工智能发展，就要让它能够接入图片、视频、音频等各种模态的数据，并让它能够理解和处理，包括生成。

同时要让大模型学会使用工具，就像人一样，一个人本身的能力可能并不强，但人能够使用各种工具。对于大模型而言，可以通过接入插件来实现。

第三就是要提升大模型之间多智能体协同的能力，比如说我们是不是可以用多个大模型，像人一样，取各之所长，合作起来完成一件事。

科技：您将会在CNCC上讨论让大语言模型具有内生的语音对话能力，能请您谈下具体这是怎样一种能力吗？

邱锡鹏：这是我们的工作之一，因为我们觉得现在的大模型如果想直接和人类用语音进行交流的话，前面必须先做一个语音识别，然后回复出来的文字还需要做一个文字转语音的工作，相当于多出了两个模块。

但我们觉得这好像是没有必要的，因为大模型本身能够更好的理解语言，加一个额外的声音和文本之间转换没有必要，所以我们想让它直接接收声音信号，并且直接返回声音。这样一来不仅提升了效率，还避免了原来语音识别过程中信息缺失的问题。

科技：展望十年后，您觉得“大模型时代”会演变成什么样子，会给人类社会带来哪些影响和变化？

邱锡鹏：大模型现在相当于一个中枢，那将来肯定变成各种各样角色化的智能体。比如说每个人都有自己的大模型，每个公司都有自己的模型。它能真正充当个人的助理、高级伴侣之类的。

并且它可以以实体的形态出现，比如放在机器人上或出现在家庭里面等等，我觉得很快都会实现。