您的位置:首页 > 智能设备

五款超好用的chatgpt程序「首个“开源ChatGPT”来了!华人小哥出品 网友吐槽:这谁能跑?」

发布时间:2022-12-30 14:44:35  来源:互联网     背景:

原标题:首个“开源ChatGPT”来了:基于谷歌5400亿参数大模型,华人小哥出品,网友吐槽:这谁能跑?

就说程序员的手速有多快吧,首个开源ChatGPT项目已经出现了!

基于谷歌语言大模型PaLM架构,以及使用从人类反馈中强化学习的方法(RLHF),华人小哥Phillip Wang复刻了一个ChatGPT出来。

项目GitHub星已经超过1.7k了,而且还在一路飙升ing。

不过一反常态的是,网友们看到“开源ChatGPT”却没有火速开冲,反倒齐刷刷在发问:

这……有人能run?

开源了但没完全开?

项目的核心内容,是在PaLM架构上实现基于人类反馈的强化学习。

其中,PaLM(Pathways Language Model)是谷歌在今年4月发布的5400亿参数全能大模型,基于Pathways系统训练,BERT之父Jacob Devlin为主要贡献者之一。

5g基站电费

PaLM可以完成写代码、聊天、语言理解等任务,并且在大多数任务上实现了SOTA少样本学习性能。

另一个核心点是RLHF“从人类反馈中强化学习”。

OpenAI提出InstructGPT时就用到了这一方法,它能让AI的回答更加符合情景要求,降低“有害性”。

具体分三步:

第一步,找一些人写下示范答案,来微调GPT-3模型,训练监督模型baseline。

第二步,收集某个问题的几组不同输出数据,由人类对几组答案进行排序,在此数据集上训练奖励模型。

第三步,使用RM作为奖励函数,近端策略优化(PPO)算法微调GPT-3策略,以强化学习方法最大化奖励。

ChatGPT使用的GPT-3.5,其中text-davinci-002就是在code-davinci-002的基础上,采用了InstructGPT训练方法改进得到。

如何使用chatgpt 提高效率

正是基于如上两方面核心内容,作者实现了ChatGPT的复刻。

大致步骤有3步:

首先来训练一下PaLM,就和其他自回归Transformer一样。

第二……

等等,训练PaLM???这确定不是在开玩笑?

现在明白为啥大家都觉得这个开源项目完全不能run了……

打个不恰当的比方,这就像如果想吃熊肉,那先自己去打头熊来。

项目中只有PaLM架构和代码,没有预先训练好的权重。

所以完成第一步,大概效果就是……

话虽如此,但还是继续接着往下看看……

第二步,就要训练基于RLHF的奖励模型了。作者使用的是一种轻量级训练大语言模型方法LoRA,这种方法是开源的。

然后,再把之前训练好的模型和奖励模型用强化学习进行微调。

经过这三步后,就能得到一个开源版的ChatGPT了。

这中间面临的问题包括巨大的计算量、超大模型和难收集的文本……所以有人也不免发问:

chatgpt使用体验

有没有一种可能,它也没啥用?

不过有网友觉得这本质上还是一件好事啦。

AI的一个关键区别就是,每有一个重大突破,很快就会出现一个开源版本。

实际上,开源项目作者小哥Philip Wang一直都热衷于复刻各种明星项目,过去还尝试过Dall·E 2、AlphaFold 2等。

以及LAION也发起了一个类似项目Open Assistant,他们将通过“众筹脑力”的方式,共同开发一个开源的聊天AI。

Stable Diffusion用的开放数据集,就是这一组织做的。


返回网站首页

本文评论
谷歌Pixel平板电脑真机现身 带有扬声器底座「谷歌公布pixel平板的细节」
品玩12月20日讯,近日,有网友在Facebook Marketplace(脸书市集)上发现了疑似谷歌 Pixel 平板电脑的真机照。该平板包含扬声器底座的标价是 400 美元,但这并非是官方价格。图源:Face...
日期:12-21
文创产品频频火“出圈”  品牌大战将迎“创意时代”(文创产品兴起)
  在刚过去的“高温”经济中,各种文创类雪糕频频走红,成为刷爆朋友圈的夏日必备单品,例如故宫的脊兽雪糕、敦煌的九层楼雪糕、西安的兵马俑雪糕......这些外观精致独特的文创...
日期:07-10
谷歌pixel watch其他功能测评「谷歌Pixel Watch获得“Sleeping Profiles”睡眠分析功能」
IT之家 11 月 16 日消息,Fitbit 今年年初为高端用户推出了“Sleeping Profiles”(睡眠档案)功能,而谷歌日前发售的 Pixel Watch 也将获得这项功能。这项睡眠追踪功能主要基于 10...
日期:11-17
苹果耳机airpods pro2可以定位吗「苹果AirPods Pro 2挂绳孔支持天线功能」
  9月28日消息,苹果AirPods Pro 2在上周五首发,外观几乎没有变化,与上一代唯一不同的是新增的充电盒扬声器开孔和挂绳孔。  近日,工业CT开发商Lumafield分享了苹果AirPods...
日期:10-03
oppok10x预计什么时候发布「1499 元,OPPO K10x 发布:搭载骁龙695 芯片、5000mAh电池」
IT之家 9 月 16 日消息,今年 4 月 24 日,OPPO 推出了 K10 / Pro 两款新机,其中 OPPO K10 搭载天玑 8000-MAX 处理器,1999 元起,K10 Pro 搭载骁龙 888 处理器,2499 元起。韩国网速...
日期:09-17
小米汽车两项自动驾驶专利公布「小米汽车新专利公布,可预判车辆落水并发出信号」
  9 月 27 日,小米汽车科技有限公司“车辆落水检测方法、车辆、计算机可读存储介质及芯片”专利公布。  专利摘要显示,本公开涉及自动驾驶领域,通过获取惯性测量单元 IMU...
日期:09-27
AltStore 开发者:苹果放开第三方应用商城限制反而危害 iOS 用户
IT之家 12 月 16 日消息,迫于欧洲新规的压力,苹果正考虑明年在 iPhone / iPad 等设备上放开第三方应用商城的限制。第三方应用商城 AltStore 的开发者莱利・泰斯图特(Riley Tes...
日期:12-16
微软主动让步 xCloud云游戏仍无法入驻苹果应用商店「微软云游戏xcloud平台」
12月10日消息,内部电子邮件显示,微软想让旗下一系列xCloud云游戏入驻苹果应用商店,为此费尽心机。甚至主动向苹果提出愿意将很多3A级Xbox专属游戏引入苹果应用商店。这些游戏将...
日期:09-04
10W充电再现,小米两款新机通过3C认证入网:有望在近期发布
近日有多款小米新品通过了国家 3C 质量认证,其中包括两款 5G 手机。   数码博主 @数码闲聊站 透露,型号为 2209129SC 的机型就是代号 L9S 的那款机型,入网标配 67W 快充头,从...
日期:08-19
google属于哪一类搜索工具「Google多重语言搜索工具将在未来几个月内推出更多语言版本」
  本文来自cnBeta  Google在周三的Search On活动中宣布,Google多重语言搜索工具--可以让用户同时使用图片和一些文字进行搜索--将在未来几个月内扩展到全球70多种语言。...
日期:10-08
华为mate30如何升级harmonyos「华为Mate50系列再更新 HarmonyOS 3迎来第二波优化」
  近日,华为Mate50系列迎来了一波系统更新,更新后版本将变为3.0.0.137。此次更新将为相机带来新的改进,比如新的3D化身功能,并且还会提高系统稳定性。这是华为第二次推出针对M...
日期:10-04
消息称苹果希望通过更清晰的显示屏使其AR/VR头显更具沉浸感「苹果横屏黑科技」
  本文来自cnBeta  据The Elec报道,苹果公司希望通过提高产品中使用的显示屏的清晰度和质量,使其未来一代AR/VR头显更具沉浸感。根据该报告,苹果正在要求三星显示器和LG显...
日期:09-29
华为nova 8/8 Pro手机上架华为认证二手机专区_华为手机nova 8 Pro
  6月19日消息,目前,华为nova 8、nova 8 Pro两款手机在华为商城的华为认证二手机专区上架了,价格分别为2599元和3199元,据悉,两款手机搭载麒麟985 5G芯片。life线上的我们车Re...
日期:07-16
千元续航怪兽 iQOO Z6系列今天发:超21万人预约
  今天19:30,iQOO Z6系列将正式登场,截至目前,iQOO Z6系列在官网预约量突破了21万人。  这次iQOO会带来Z6和Z6x两款机型,其中iQOO Z6x拥有超长续航表现,根据官方测试,iQOO Z6x...
日期:08-25
华为mate50pro屏幕耐摔吗_华为Mate 50 Pro太抗摔!后盖粉碎 屏幕连划痕都没有
  数据显示,行业内有一半以上的手机售后案例集中在屏幕修复,也就是说,大多数用户在使用手机时最容易出现的问题为屏幕损坏。如何让手机屏幕坚固耐用,成了目前厂商关注的重点。...
日期:10-22
苹果App Store在多国及所有使用欧元货币地区涨价「苹果怎么购买美国商店的付费app」
  作者/长河英特尔有芯片制造能力吗  根据苹果面向开发者发布的公告,10月5日起,苹果App Store在智利、埃及、日本、马来西亚、巴基斯坦、波兰、韩国、瑞典、越南和所有使...
日期:10-11
印度5g什么时候开始出来_准备不到位!印度5G推出时间或延期 将分阶段推出
  此前,印度政府曾在推特上公布“国家宽带使命”计划,并表示将于今年10月1日在印度正式推出5G服务,引发了不少网友的关注。然而,近日CNMO了解到,此条推文现已被删除。业内人士...
日期:09-26
华为Mate50系列5G手机壳谍照曝光:依然搭载紫光展锐UDX710「紫光展锐udx710」
  9月20日消息,今天上午,有博主曝光了华为Mate50系列的三款5G手机外壳,可见,这三款分别对应着Mate50 RS、Mate50 Pro、Mate50,但Mate50 E没有对应手机壳。  据悉,华为Mate50...
日期:09-21
将“情怀”进行到底,诺基亚的“复刻”之旅!_诺基亚复刻版有哪些
说起功能机,不少人或许会认为它已经“消亡”了很长的一段时间了。事实则是相反的,它以另一种方式出现在大众的视野当中,一种是以老年人为群体的纯粹功能机,一种是以学生为群体的...
日期:08-21
索泰rtx4090显卡泄露「索泰公布 RTX 4090 显卡售价:AMP EXTREME AIRO 旗舰型号 1700 美元」
  10 月 6 日消息,索泰海外官网现已公布三款 RTX 4090 显卡的售价,分别为 1600 美元(约 11344 元人民币)、1650 美元(约 11699 元人民币)和 1700 美元(约 12053 元人民币)...
日期:10-09