您的位置:首页 > 媒体评论

GPT-4论文竟有隐藏线索:GPT-5或完成训练、OpenAI两年内接近AGI_gpt2论文

发布时间:2023-03-18 01:03:00  来源:互联网     背景:

GPT-4,火爆,非常火爆。

不过家人们,在铺天盖地的叫好声中,有件事可能你是“万万没想到”——

在OpenAI公布的技术论文里,竟然藏着九大隐秘的线索!

这些线索是由国外博主AI Explained发现并整理。

他宛如一位细节狂魔,从长达98页论文中,逐个揭秘这些“隐匿的角落”,包括:

GPT-5可能已经完成训练

GPT-4出现过“挂掉”的情况

OpenAI两年内或实现接近AGI

……

发现一:GPT4出现过“挂掉”的情况

在GPT-4技术论文的第53页处,OpenAI提到了这样一个机构——Alignment Research Center(ARC)。

这家机构主要做的事情,就是专门研究AI如何对齐(alignment)人类利益。

而OpenAI在开发GPT-4的早期阶段,便给ARC开了抢先体验的后门,希望他们能够评估GPT-4的两项能力:

模型自主复制能力

模型获取资源能力

虽然OpenAI在论文中强调了“ARC没法微调早期版本的GPT-4”、“他们无权访问GPT-4的最终版本”;也强调了测试结果显示GPT-4在上述两个能力的效率不高(降低AI伦理隐患)。

但眼尖的博主揪出来的是接下来的一句话:

(found it ineffective at) avoiding being shut down “in the wild”.

在自然环境中,GPT-4会避免“挂掉”。

博主的意思是,既然OpenAI选择让ARC去测试评估GPT-4会不会“挂掉”,说明此前必定出现过这种情况。

那么延伸出来的隐患就是,如果ARC在测试过程中其实是失败的怎么办;或者未来真出现了“挂掉”的情况,又将怎么处理。

基于此,博主便有了第二个发现:

发现二:主动要求自我监管,很罕见

在第2页的脚注中,OpenAI注释了这么一句话:

OpenAI will soon publish additional thoughts on the social and economic implications of AI systems, including the need for effective regulation.

OpenAI将很快发布关于AI系统的社会和经济影响的其它思考,包括有效监管的必要性。

博主认为,一个行业主动要求监管自己,这是个非常罕见的现象。

事实上,OpenAI老板Sam Altman此前发表的言论比这还要直白。

当时Altman发表了关于SVB倒闭的推文,他认为“我们需要对银行做更多的监管”;有人就评论回怼了:“他从来不会说‘我们需要对AI做更多的监管’”。

结果Altman直截了当的回复说:

绝对需要。

博主认为,这个AI行业正在呼吁进行监管,至于监管后的结果如何,是值得拭目以待的。

发现三:与微软高层想法背道而驰

接下来的发现,是根据论文第57页中的这句话:

One concern of particular importance to OpenAI is the risk of racing dynamics leading to a decline in safety standards, the diffusion of bad norms, and accelerated AI timelines, each of which heighten societal risks associated with AI.

对OpenAI来说,(科技的)竞赛会导致安全标准的下降、不良规范的扩散、AI发展进程的加速,它们都加剧了与人工智能相关的社会风险。

但很奇怪的一点是,OpenAI所提到的担忧,尤其是“AI发展进程的加速”,似乎是与微软高层的想法背道而驰。

因为在此前的爆料中称,微软CEO和CTO的压力很大,他们希望OpenAI的模型能尽快让用户用起来。

有些人在看到这则消息时是比较兴奋,但同样也有一波人发出了跟OpenAI一样的担忧。

博主认为,不论如何,可以肯定的一点是OpenAI和微软在这件事的想法是相悖的。

发现四:OpenAI会协助超越它的公司

第四个发现的线索,是来自与“发现三”同一页的脚注:

这段脚注展示了OpenAI一个非常大胆的承诺:

如果另一家公司在我们之前实现了接近AGI(通用人工智能),那我们承诺不会跟它做竞争,相反,会协助完成那个项目。

但这种情况发生的条件,可能是另一家公司需得在未来两年内,成功接近AGI的机会在一半或以上

论文带g4什么意思

而这里提到的AGI,OpenAI和Altam在官方博客中已经给出了定义——

netflix排行榜2021

普遍比人类更聪明,并且有益于全人类的人工智能系统。

因此,博主认为,这段脚注要么意味着OpenAI在未来两年内将实现AGI,要么意味着他们放弃了一切并与另一家公司展开了合作。

发现五:雇佣“超级预测员”

博主的下一个发现,是来自论文第57中的一段话。

这段话大致的意思就是,OpenAI雇佣了预测专家,来预测当他们部署了GPT-4之后会带来怎样的风险。

gpt-3论文

然后博主顺藤摸瓜,发现了这些所谓的“超级预测员”的庐山真面目。

这些“超级预测员”的能力已经得到了广泛地认可,有报道称,他们的预测准确率,甚至比那些有独家信息、情报的分析师还要高出30%。

正如我们刚才提到的,OpenAI邀请这些“超级预测员”,来预测部署GPT-4后可能存在的风险,并采取相应措施来规避。

其中,“超级预测员”建议将GPT-4部署时间推迟6个月,也就是今年秋季左右;但很显然,OpenAI并没有采纳他们的建议。

博主对此认为,OpenAI这么做的原因,可能是来自微软的压力。

发现六:征服常识

流浪地球展览

在这篇论文中,OpenAI展示了众多基准测试的图表,大家在昨天铺天盖地的传播过程中应该也见到了。

但博主在这个发现中要强调的是位于第7页的一项基准测试,尤其是聚焦到了“HellaSwag”这一项。

华为p60支持5g

HellaSwag的内容主要是常识推理,这就和GPT-4发布时宣布的“已经达到了人类的常识水平”相匹配。

不过博主也承认,这一点并没有“通过律师考试”等能力那么吸引人,但这也算得上是人类科技发展的里程碑。

但常识是怎么测试的?我们又如何评判GPT-4已经达到了人类水平?

为此,博主深入研究了与之相关的论文研究:

博主在论文中找到了相关数据,在“人类”那一栏中,分数分布在了94-96.5之间。

而GPT-4的95.3,便正好在这个区间之间。

1650是英伟达的显卡么

发现七:GPT-5可能已经完成训练

第七个发现,同样是在论文中的第57页:

我们在发布GPT-4之前花费8个月时间进行安全研究、风险评估和迭代。

也就是说,OpenAI在去年年底推出ChatGPT的时候,已经有了GPT-4。

于是乎,博主便预测GPT-5的训练时间不会很久,甚至他认为GPT-5已经可能训练完成。

但接下来的问题是漫长的安全研究和风险评估,可能是几个月,也可能是一年甚至更久。

发现八:试一把双刃剑

第8个发现,是来自论文的第56页。

这段话说的是:

GPT-4对经济和劳动力的影响,应成为政策制定者和其他利益相关者的关键考虑因素。

虽然现有的研究主要集中在人工智能和生成模型如何给人类加buff,但GPT-4或后续模型可能会导致某些工作的自动化。

OpenAI这段话背后想传达的点比较明显,就是我们经常提到的“科技是把双刃剑”。

博主找了相当多的证据表明,像ChatGPT、GitHub Copilot这些AI工具,确确实实地提高了相关工作者的效率。

但他更关注的是论文中这段话的后半句,也就是OpenAI给出的“警告”——导致某些工作的自动化。

博主对此比较认同,毕竟在GPT-4的能力可以在某些特定领域中以人类10倍甚至更高的效率来完成。

放眼未来,这很可能会导致相关工作人员工资降低,或者需得借助这些AI工具完成以前工作量的数倍等一系列问题。

发现九:学会拒绝

博主最后一个发现,来自论文的第60页:

OpenAI让GPT-4学会拒绝的方法,叫做基于规则的奖励模型(RBRMs)。

博主概括了这种方法的工作流程:给GPT-4一组要遵守的原则,如果模型遵守了这些原则,那么就会提供相应的奖励。

他认为OpenAI正在用人工智能的力量,让AI模型朝着符合人类原则的方向发展。

但目前OpenAI并没有对此做更加细致和深入的介绍。


返回网站首页

本文评论
再亏损 商汤科技的劫,何时渡完?
作者:张未原创:深眸财经(chutou0325)8月25日,商汤科技公布2022年中报,数据显示,2022年1-6月总收入为14.15亿元,同比21年亏损14.3%,毛利66%,同比下降22.5%,调整后净亏损25.61亿元。其中...
日期:08-28
撞上元宇宙冷门新职业 我变年入百万打工人
Tech星球(微信ID:tech618)文 | 陈桥辉封面来源 | 图虫创意随着元宇宙的火热,与之相关的一批新职业也开始爆火。元宇宙捏脸师、元宇宙内容创作者、元宇宙架构师、元宇宙策划师等,...
日期:09-15
网易云音乐的社交_网易云音乐首款音乐社交 App MUS 开放注册,通过音乐匹配同频朋友
  9 月 27 日消息,今日,网易云音乐首款音乐社交 App MUS 开放注册,该名取自 Music with us 的缩写,MUS 的宣传标语为“音乐连接你我”。华硕rog2080ti苹果9月或将举行两场发...
日期:09-28
造芯红火电视受挫,OPPO的2023年何处去?「oppo造芯片能成功吗」
江湖传闻中,有这么两家公司,只要看到其中一家的线下门店,附近一定有另一家公司的门店。没错,它们就是肯……OPPO 和 vivo。在中国智能手机发展最快的十年里,OPPO 和 vivo 很长时...
日期:02-26
“新能源越电越危险”这句话是对汽车工业的侮辱「新能源汽车就是工业垃圾」
2022年11月5日,广东潮州一台新能源汽车“失控”并引发了一起严重交通事故。由于这是“自带流量”的特斯拉品牌汽车,这起事故在短时间内就成为了互联网讨论热点,甚至在被称为“...
日期:11-19
AI写剧本炸场戏剧节!马斯克看了直夸 网友看到接口悟了
原标题:AI写剧本炸场戏剧节!DeepMind出品 马斯克看了直夸 网友看到接口悟了OpenAI的ChatGPT大火后,DeepMind终于也坐不住了!这次,他们推出一款名为“Dramatron”的新AI,用上它人人...
日期:12-12
诺奖得主“师弟”金力院士:人类遗传学难道不该拿奖吗?「第一位获得诺贝尔奖的遗传学家」
原标题:诺奖解读|金力院士:人类遗传学难道不该拿奖吗?·斯万特·帕博做的事情有多不容易,它就是一个冷门,即便是在遗传学里,都是个冷门。冷门到什么程度呢?他做的东西一般是拿不到经...
日期:10-06
京东不得不推出百亿补贴「京东百亿补贴火爆怎么解决」
作者|江月刘强东“强势回归”,并且还带来一门武器——百亿补贴。日前,据报道,京东将于3月8日正式上线“百亿补贴”频道,对标拼多多。与过往大促期间上线的“百亿补贴”不同,京东AP...
日期:02-26
“老虎”没肉吃 “狮子”没水喝_老虎能吃狮子
摄影:IT时报 沈毅斌一边是双11线上电商促销活动如火如荼,而另一边,老牌家电零售企业国美、苏宁却一片寂静。打破这场寂静的不是销量,而是国美欠薪和苏宁亏损。10月28日,国美电器...
日期:11-15
记忆是如何欺骗我们的?「记忆是如何欺骗我们的英文」
这两天,“天将降大任于是人还是斯人”引发了全网大讨论,事情是这样的:一个知乎网友发现,中学学过的课文“故天将降大任于斯人也”,课本原文居然是“是人”不是“斯人”。不止是他...
日期:10-31
35个月超过瑞幸,这家咖啡有股“韭菜味儿”「为什么瑞幸咖啡经常售完」
今年的咖啡赛道格外热闹,前有老品牌跨界联名,后有新品牌不断诞生。最近,T97咖啡直播间里的大嘴妹靠着喊麦成为带货界新晋红人。比大嘴妹更出圈的是该品牌的老板李潇,他曾扬言T97...
日期:11-07
苹果入局,能否成为AR/VR产业“破壁人”?「苹果进军vr」
【编者按】2022年,半导体行业依然在挑战中前行。后疫情时代、行业下行、地缘政治等因素仍深刻地影响着全球半导体产业链及生态。来到2023年,全球半导体行业如何发展?新的挑战又...
日期:01-26
三体动漫上线了吗_《三体》动画定档12月 B站推出49部国创作品新内容
10月29日,哔哩哔哩(以下简称“B站”)举办了2022-2023国创动画作品发布会,宣布《三体》动画定档12月3日,并将开启《三体》动画全球共创计划。图片来源 B站《三体》动画将于12月3日...
日期:11-09
对消费的控制权 终于回到年轻人自己手中_控制自己的消费欲望
你知道“早C晚A加B”吗?如果知道,那么你大概率是一名消费方面很注重论据的“成分党”。近两年,护肤消费市场正刮起一股凶猛的“成分护肤”浪潮,消费者更加愿意亲自下场研究美妆...
日期:10-14
卫星定位最高精度_亚米级的高精度定位 高德北斗卫星日定位量已超2100亿次
  近日,高德地图公布了基于北斗系统的应用相关数据,其调用的北斗卫星日定位量已超过2100亿次。  在北斗系统的深度赋能下,高德地图升级上线了“北斗卫星定位查询系统”“车...
日期:12-15
“世界工厂”,越南印度谁更能挑战中国?「越南成为世界制造中心」
文 | 柳书琪 陈伊凡 顾翎羽编辑 | 谢丽容记者手记围绕产业转移,近年来两派观点甚嚣尘上,一派认为中国世界工厂的地位不保,以越南、印度为首的东南亚及南亚国家将取而代之;另一派...
日期:01-27
国产新冠特效药挑战辉瑞Paxlovid,下一个囤药的目标是谁?_新冠特效药 辉瑞
出品 | 虎嗅医疗组作者 | 陈广晶编辑 | 陈伊凡头图 | 视觉中国2022年还剩下最后几天,新冠特效药又传来喜讯。12月29日,君实生物代号“VV116”的新冠特效药正面挑战辉瑞制药Pax...
日期:12-31
老教父造出硅谷新“黑帮”:现今硅谷半壁江山都出自这家公司_硅谷之父是
在硅谷,几乎人人都知道著名的PayPal“黑帮”。那些从PayPal离职的人创建了硅谷目前耳熟能详的科技公司——YouTube、特斯拉、Yelp、SpaceX、Palantir、Matterport和LinkedIn...
日期:09-02
带货主播吴秋月:从打工妹到千万粉网红_秋妹直播带货
 34岁的吴秋月站在川西理塘萝卜基地里卖高山萝卜,甘孜高原上高反严重,每讲几句话就会喘,她讲了1个多小时。这片萝卜地有1万亩,都由她承包。吴秋月有着多重身份,她是一个年轻的妈...
日期:10-18
华为“不造车”的承诺,快到期了「华为再次重申不造车」
作者 | 飔痕导语:华为智选模式已经初获成功。接下来,华为会否撕下最后一层窗户纸、开始全面造车?从供应商,到全面主导近日,各大车企纷纷公布9月交付数据。引发市场广泛关注的,除了...
日期:10-23