搜狐科技《思想大爆炸——对话科学家》栏目第31期，对话复旦大学计算机科学技术学院教授、MOSS大模型负责人邱锡鹏狂暴飞车无敌版下载安卓。
嘉宾简介：
邱锡鹏，复旦大学计算机科学技术学院教授，中国计算机学会会员，国内第一个对话式语言大模型“MOSS”负责人，曾获中国中文信息学会“钱伟长中文信息处理科学技术奖”一等奖狂暴飞车无敌版下载安卓。他的主要研究方向包括自然语言处理与基础模型，在 ACL等知名会议上发表 100 余篇学术论文，被引用1.5万余次。
狂暴飞车无敌版下载安卓？复旦教授邱锡鹏：需在新的架构、多模态等方面多做研究" >
划重点：
1.现在大模型整体架构比较雷同，要想做出创新，还需在新的架构、幻觉问题、多模态等方面多做研究狂暴飞车无敌版下载安卓。
2.我本身就比较喜欢自由的研究氛围狂暴飞车无敌版下载安卓。复旦是一个让我觉得舒服宽松的地方，能够去做自己喜欢的事情。
3.大模型是一个非常长的周期链，预训练是开始的部分，后面还有指令的微调和对齐，是有非常多研究机会的狂暴飞车无敌版下载安卓。
4.想要实现通用人工智能，需提升大模型之间多智能体协同的能力，比如说我们是不是可以用多个大模型，像人一样，取各之所长，合作起来完成一件事狂暴飞车无敌版下载安卓。
出品｜搜狐科技
作者｜郑松毅
“现在大模型整体架构比较雷同，要想做出创新，还需在新的架构、幻觉问题、多模态等方面多做研究狂暴飞车无敌版下载安卓。”复旦大学计算机科学技术学院教授、MOSS大模型负责人邱锡鹏，在2023中国计算机大会(CNCC)正式开幕前对搜狐科技表示。
“MOSS”是国内第一个对话式语言大模型狂暴飞车无敌版下载安卓。谈及做大模型的初心，邱锡鹏说道，大模型和人工智能方面的研究是课题组一直在做的事，ChatGPT发布之前就已经在做，只不过那时做的属于底层的基础模型，是不能直接和人进行交互的。
展开全文
他认为ChatGPT的确可以被认为是革命性的，以对话的形式让模型能够和人类直接交互，同时当模型足够大时，通用能力非常强狂暴飞车无敌版下载安卓。
1997年，邱锡鹏考入复旦大学攻读学士学位，他表示，自己对人工智能的热忱就是在读本科时听完导师的报告，慢慢了解这个领域后被激发出来的，直到现在都保持非常高的热情狂暴飞车无敌版下载安卓。2001年毕业后，邱锡鹏继续在复旦大学攻读博士学位，直到2006年毕业后加入到复旦大学计算机科学技术学院，开始了自己的科研之路。
可以说，邱锡鹏将自己学业和工作的记忆都完整保存在了复旦大学狂暴飞车无敌版下载安卓。
当好奇为何邱锡鹏对复旦大学如此偏爱时，他没有过多考虑地回答道，“我本身就比较喜欢自由的研究氛围狂暴飞车无敌版下载安卓。复旦是一个让我觉得舒服宽松的地方，能够去做自己喜欢的事情。”
邱锡鹏坦言，现在国内的大模型和OpenAI的相比还是有一些差距的，一方面要去追赶，另一方面要把它非常强的推理能力尽快复现出来，并追求超越狂暴飞车无敌版下载安卓。
大模型的训练成本一直被认为是天文数字，随着大模型规模的发展，“新手”迈入大模型赛道的门槛也越来越高狂暴飞车无敌版下载安卓。
他表示，“现在大模型的训练成本相较于最初是低了些的，和训练效率有关狂暴飞车无敌版下载安卓。早期上百张卡并行的话，GPU利用率大概30%到40%，现在可以通过很多手段，把利用率提高到50%以上。另外，早期大家只关注数据量，现在更多是只训练高质量数据，从而降低训练的时间。”
现在大模型赛道究竟还适合新手入局吗狂暴飞车无敌版下载安卓？
邱锡鹏认为，大模型是一个非常长的周期链，预训练是开始的部分，后面还有指令的微调和对齐，是有非常多研究机会的狂暴飞车无敌版下载安卓。
“但预训练这块确实是投入的时间长，投入的资金也大，回报比较慢，我觉得是不太适合新人去做了，除非你能有更好的想法狂暴飞车无敌版下载安卓。因为估计你要花很长的时间，才能摸清其中的门道。”
以下为对话实录（经整理编辑）
搜狐科技：大模型发展热潮转眼间已是半年狂暴飞车无敌版下载安卓，对比开始阶段，您觉得现阶段大模型的发展方向和研发方式发生了哪些变化？
邱锡鹏：变化肯定是有的，比如往多模态和更大的模型方向去发展，还有一个就是所谓的“超级对齐”，以及开源的社区越来越多狂暴飞车无敌版下载安卓。
实话实说现在我们这些模型和OpenAI的相比还是有一些差距的，一方面我们要去追赶，另一方面要把它非常强的推理能力尽快复现出来，并追求超越狂暴飞车无敌版下载安卓。
从学术角度来说，要有创新性狂暴飞车无敌版下载安卓。现在大模型整个架构都比较雷同，未来大模型想要发展还需在新的架构、幻觉问题、多模态等方面多做研究。
搜狐科技：您是如何理解刚才提到的“超级对齐”的狂暴飞车无敌版下载安卓？
邱锡鹏：之前都是人给机器打分，但其实是有问题存在的狂暴飞车无敌版下载安卓。比如涉及到价值观的话，每个人之间都是有差异性的，不同国家和地区的人都不太一样。
现在就是在寻找一种更公平的评分机制，比如不仅利用人的反馈，还用到环境的反馈，或者说写一段代码代替人给机器打分狂暴飞车无敌版下载安卓。
搜狐科技：很多人还习惯于用参数量级评判一个模型是否为“大模型”狂暴飞车无敌版下载安卓，这种判断方式科学吗？参数量级是否还是决定大模型能力的必要条件？
邱锡鹏：参数量大并不是唯一判断条件，训练数据量也要大，使得模型具备类似思维涌现的能力狂暴飞车无敌版下载安卓。
搜狐科技：现在大模型的训练成本依旧很高吗？日前媒体报道OpenAI 的CEO奥特曼前不久还去找中东土豪融资狂暴飞车无敌版下载安卓，请问大模型训练成本未来能慢慢降下来吗？
邱锡鹏：我是觉得训练成本相较于初期是低了些的，和训练效率有关狂暴飞车无敌版下载安卓。早期上百张卡并行的话，GPU利用率大概30%到40%，现在可以通过很多手段，把利用率提高到50%以上。另外，早期大家只关注数据量，现在更多是只训练高质量数据，从而降低训练的时间。
搜狐科技：MOSS大模型商业化落地进展怎么样了狂暴飞车无敌版下载安卓，解决了哪些问题，是否已进入盈利阶段？
邱锡鹏：我们现在是开源，下载量非常多，也听说在不同的行业有具体的应用狂暴飞车无敌版下载安卓。但我们是高校团队，还是以研究为主，并没有太多深入各个行业去了解。
解决行业问题的话大致分为两个方面，第一类是直接处理文本数据的，比如医疗、金融等；另一类是充当中间控制台角色，比如在智能制造行业，用户把需求说给语言模型，再由语言模型控制机械动作狂暴飞车无敌版下载安卓。
搜狐科技：您将会在CNCC上讨论大模型的研究进展和产业应用展望，从MOSS作为最早国内对话式语言大模型来看，感觉您是一位具有前瞻性发展眼光的人狂暴飞车无敌版下载安卓。您也曾表示更看重大模型下一阶段的发展，即实现“通用人工智能”。那么您觉得大模型下一阶段的发展机会点在于什么？
邱锡鹏：现在很多智能，比如常见的语音识别、人脸识别等等都是专用的，语音识别只能做语音识别，不能做人脸识别狂暴飞车无敌版下载安卓。但“通用人工智能”就像人类的大脑一样，能处理所有事，这也是AI领域的终极目标。
对于通用人工智能来说，如何拓展出更多的模态是现在正在研究的狂暴飞车无敌版下载安卓。GPT虽然展示出很强大的通用性，但它还是停留在语言层面。下一步如果想往通用人工智能发展，就要让它能够接入图片、视频、音频等各种模态的数据，并让它能够理解和处理，包括生成。
同时要让大模型学会使用工具，就像人一样，一个人本身的能力可能并不强，但人能够使用各种工具狂暴飞车无敌版下载安卓。对于大模型而言，可以通过接入插件来实现。
第三就是要提升大模型之间多智能体协同的能力，比如说我们是不是可以用多个大模型，像人一样，取各之所长，合作起来完成一件事狂暴飞车无敌版下载安卓。
搜狐科技：您将会在CNCC上讨论让大语言模型具有内生的语音对话能力狂暴飞车无敌版下载安卓，能请您谈下具体这是怎样一种能力吗？
邱锡鹏：这是我们的工作之一，因为我们觉得现在的大模型如果想直接和人类用语音进行交流的话，前面必须先做一个语音识别，然后回复出来的文字还需要做一个文字转语音的工作，相当于多出了两个模块狂暴飞车无敌版下载安卓。
但我们觉得这好像是没有必要的，因为大模型本身能够更好的理解语言，加一个额外的声音和文本之间转换没有必要，所以我们想让它直接接收声音信号，并且直接返回声音狂暴飞车无敌版下载安卓。这样一来不仅提升了效率，还避免了原来语音识别过程中信息缺失的问题。
搜狐科技：展望十年后狂暴飞车无敌版下载安卓，您觉得“大模型时代”会演变成什么样子，会给人类社会带来哪些影响和变化？
邱锡鹏：大模型现在相当于一个中枢，那将来肯定变成各种各样角色化的智能体狂暴飞车无敌版下载安卓。比如说每个人都有自己的大模型，每个公司都有自己的模型。它能真正充当个人的助理、高级伴侣之类的。
并且它可以以实体的形态出现，比如放在机器人上或出现在家庭里面等等，我觉得很快都会实现狂暴飞车无敌版下载安卓。
