您的位置:首页 > 互联网

ChatGPT明知自己写代码有漏洞,但你不问它就不说_chat源码

发布时间:2023-04-25 14:58:53  来源:互联网     背景:

声明:本文来自微信公众号“量子位”(ID:QbitAI),作者:萧箫,授权转载发布。

ChatGPT知道自己写的代码有漏洞,但它不说!

来自加拿大的一项最新研究发现,ChatGPT生成的代码中,有不少都存在安全漏洞。

airpods pro华强北与正版区别

然而在被要求评估自己代码的安全性时,ChatGPT却很快发现了这些代码中的漏洞,并给出了一些解决方案和建议。

chat源码

这意味着它并不知道自己生成了糟糕的代码,但却查得出它写的代码有漏洞,也有能力修复这些漏洞。

而在另一篇来自斯坦福的论文中,研究人员测试了另一位著名AI程序员Copilot,也发现了类似的问题。

所以,用AI生成代码为啥会出现这种状况?

写的程序中76%有安全漏洞

研究人员试着让ChatGPT生成了21个程序。

整个测试过程如下,先提交需求给ChatGPT,生成相关代码,再对这些代码进行测试,并检查问题、潜在的缺陷和漏洞等。

chat源码

研究人员给ChatGPT提了包括C++、C、Java和Python在内的21个写代码需求,这是评估的结果:

chat源码

统计表明,ChatGPT生成的21个程序中,有17个能直接运行,但其中只有5个程序能勉强通过程序安全评估,不安全代码率达到76%以上。

于是,研究人员先试着让ChatGPT“想想自己生成的代码有啥问题”。

ChatGPT的回应是“没啥问题”:只要用户每次的输入都是有效的,那么程序一定能运行!

显然ChatGPT并没有意识到,用户并不都是行业专家,很可能只需要一个无效输入,就能“引炸”它写的程序:

双桶洗衣机的优缺点

chat源码

发现ChatGPT不知道自己写的程序不安全后,研究人员尝试换了种思路——用更专业的语言提示ChatGPT,如告诉它这些程序具体存在什么漏洞。

神奇的是,在听到这些针对安全漏洞的专业建议后,ChatGPT立刻知道自己的代码存在什么问题,并快速纠正了不少漏洞。

经过一番改进后,ChatGPT终于将剩余的16个漏洞程序中的7个改得更安全了。

研究人员得出结论认为,ChatGPT并不知道自己的代码中存在安全漏洞,但它却能在生成程序后识别其中的漏洞,并尝试提供解决方案。

论文还指出,ChatGPT虽然能准确识别并拒绝“写个攻击代码”这种不道德的需求,然而它自己写的代码却有安全漏洞,这其实有着设计上的不合理之处。

我们试了试发现,ChatGPT确实会主动拒绝写攻击性代码的要求:

科学养生建议

chat源码

windows11微软商店

大有一种“我不攻击别人,别人也不会攻击我写的代码”自信感。

程序员们在用它辅助写代码的时候,也需要考虑这些问题。

Copilot也存在类似问题

事实上,不止ChatGPT写的代码存在安全问题。

此前,斯坦福大学的研究人员对Copilot也进行过类似调查,只不过他们探查的是用Copilot辅助生成的程序,而并非完全是Copilot自己写的代码。

研究发现,即便Copilot只是个“打辅助”的角色,经过它改写的代码中,仍然有40%出现了安全漏洞。

而且研究只调查了Copilot生成代码中的一部分,包括C、Python和Verilog三种编程语言写的程序,尚不知道用其他语言编写的程序中,是否还存在更多或更少的安全漏洞。

基于此,研究人员得出了如下结论:

ChatGPT等AI生成的代码安全性并不稳定,用某些语言写的代码比较安全,而用其他语言写的代码却很容易遭受攻击。整体来看,它们就是一个黑盒子,生成的代码是有风险的。

这并不意味着AI代码工具不能用,只是我们在使用时,必须考虑这些代码的安全性。

作者介绍

四位作者均来自加拿大魁北克大学(Universite du Quebec en Outaouais)。

Raphaël Khoury,加拿大魁北克大学教授,曾经在拉瓦尔大学获得计算机学士、硕士和博士学位,研究兴趣集中在计算机安全方面。

Anderson R. Avila,魁北克大学国立科学研究院的助理教授,主要研究方向是数据隐私相关的联邦学习、网络安全和生物特征识别技术等,曾经在华为的加拿大研究院做过机器学习研究员。

作者Jacob Brunelle和Baba Mamadou Camara也都来自加拿大魁北克大学。

你用ChatGPT写过代码吗?感觉它的“安全意识”如何?

论文地址:https://arxiv.org/abs/2304.09655

生成代码数据集:https://github.com/RaphaelKhoury/ProgramsGeneratedByChatGPT


返回网站首页

本文评论
微软Teams App原生适配苹果M1/M2芯片版Mac_微软适配M1
IT之家 8 月 4 日消息,微软今天宣布推出针对 Apple Silicon 芯片 Mac 优化的原生 Microsoft Teams 应用程序,该应用程序经过数月的开发后正式推出。airpodspro10月改进lol手游...
日期:08-21
GoboLinux 017 发布,模块化的 Linux 发行版(GoboLinux)
  GoboLinux 017 发布了。GoboLinux 是模块化的 Linux 发行,它为每一个软件设立其自己的目录树,以新颖、合理的方式组织应用软件。   自由进行软件设计   开发团队表示...
日期:07-14
荣耀V30 Pro成首款出海HMS手机_荣耀v30pro机身介绍
  (原标题:,还内置App Gallery应用商店)   昨日华为举办线上发布会,推出一系列新品,并正式宣布面向海外推出HMS(华为移动服务)。在它之后,荣耀也在欧洲举办发布会,推出荣耀V3...
日期:03-27
iPhone 14 Plus遇冷 Pro版却卖爆 销售额甚至上涨_iPhone 14 Pro被曝
中关村在线消息:iPhone 14系列开售近一个月,Pro系列愈加火热,与此相对的是iPhone 14 Plus最高降价已经达到了千元级别。根据Sandalwood电商市场监测数据,系列四款机型之间的销售...
日期:10-25
四大暖心功能加持 三星Galaxy F52 5G让手机回归家庭(Galaxy f52 5g)
  智能手机已经成为人们生活中的必需品,而不是简单的通讯工具,它在生活中扮演着太多太多的角色,让我们体验到了数字化生活带来的便利。同时,手机对于家庭而言也十分重要,它打...
日期:03-05
抖音电商新增《消电家居「质选好家」招商规范》
12月15日 消息:今日,抖音电商发布了关于新增《消电家居「质选好家」招商规范》的公示通知,规则预计于2022年12月22日生效。据悉,「质选好家」是抖音电商家居类目核心主打的平台...
日期:12-15
知名早教机构一夜之间关闭7家门店,家长上万元课时费退费无门(早教纷纷倒闭)
红星资本局原创   记者|俞瑶 强亚铣   责编|邓旆光 编辑 王禾   近日,知名儿童早教连锁品牌“金宝贝”被曝出重庆7家门店一夜之间全部关店的消息。   8月14日,重庆家...
日期:08-17
中国教育发展战略学会副会长李志民:游戏化教学有助于提高学习效率
  随着科技的不断发展,在线教育涌现多样化的教学形式,游戏化教学成为激发孩子学习的新的“驱动力”。5月9日,腾讯开心鼠联合中国教育在线举办的“未来启蒙教育:游戏化学习的...
日期:07-22
疯狂小杨哥签约公司「疯狂小杨哥1亿买楼后成立供应链管理公司」
11月10日 消息:近日,网红疯狂小杨哥斥资1.03亿在合肥买楼,建三只羊全球总部的消息引发关注。华为手机mate 40pro小红书直播要求企查查APP显示,11月8日,合肥小杨臻选供应链管理有...
日期:11-16
蔚来全球首家换电站「蔚来第1300座换电站今日上线 累计换电超1500万次」
12月31日消息,蔚来汽车今日宣布,第1,300座换电站上线。2022年全国换电站布局新增528座,累计数量已达1,305座(其中高速公路换电站346座),电区房覆盖率达68.81%,目前蔚来用户累计换电...
日期:12-31
金山办公赋能广西信创 打造基础软件产业标杆
  金山办公赋能广西信创 打造基础软件产业标杆   中国基础软硬件产业近期迎来重大政策利好。7月27日,国务院正式发布《新时期促进集成电路产业和软件产业高质量发展的...
日期:07-15
小米13 Pro曝光:有4种配色和素皮版本!「小米11pro三款颜色」
今天,有数码博主在社交平台暗示称,小米13 Pro将提供四种配色,分别是黑色、白色、绿色和粉色,其中,绿色和粉色是PU素皮材质,而黑色和白色则没有明说。据该博主透露,小米13系列工程机...
日期:11-10
一个“特别”的开学典礼_从开学典礼想到的
  2020年2月16日上午10时,内蒙古包头市第三十三中学迎来了。今天的开学典礼现场没有鲜花,也没有掌声。散落在家的一个个师生,通过在线录播,凝聚在了一起。但不变的是校长的殷...
日期:11-20
微软 Win11 Media Player 播放器更新版体验:自定义颜色,视频增强
  据 Windows Latest 报道,Windows 11 正在持续将通用设计语言“WinUI”整合到操作系统及其原生应用程序中。在过去的几个月里,微软为默认的操作系统应用程序涂上了一层新...
日期:07-18
2022元宇宙共享大会|“宇宙元年二十大事件”数字藏品启动发布_世界元宇宙大会
央链直播报道, 2022 年 8 月 16 日,“开放与兼容” 2022 元宇宙共享大会暨《元宇宙十大技术》图书首 发仪式,及元宇宙产业委第 一届第二次全体委员大会,在北京西山国管局杏林山...
日期:09-11
希沃公益行丨修建城乡教育公路的双向车道:需要把落后的时间追回来
  坐汽车从布拖到西昌大约需要3个小时,从西昌到成都大约需要6个小时,从地理意义上来说,从大凉山走向城市大约需要9个小时。   需要9个小时,大凉山的老师才能到达城市,听一堂...
日期:12-17
海云数据携智慧大脑助力解决公安系统“三大难题”_智慧公安智能指挥中心
      不得不承认,大数据服务商,成了传统产业从业者最近几年频繁接触的“乙方”。2013年成立的海云数据也是其中之一。面对传统产业转型的强需求,本土的大数据服务正日...
日期:07-16
轻装亦多能,戴尔Lati 7000系列商用笔记本震撼上市_戴尔灵越7000是商务本吗
  作为戴尔笔记本家族中的商务代表,戴尔latitude系列一直深受白领和商务人士的喜爱。其中,戴尔Lati 7000系列更凭借旗舰性能和人性化的操作体验,受到商务精英阶层的普遍欢迎...
日期:11-19
蔚来试点“跨级换电”,长续航电池包日租68元_蔚来换电补贴
DoNews10月28日消息(郭睿琦)据界面新闻,蔚来宣布对“跨级换电”服务进行试点,采用该服务的蔚来车主可通过付费服务升级至更大规模的电池组,按日付费,先用后付。而对于配置更高续航...
日期:11-06
突发!AirPods Pro 2出现“音频漂移”严重问题_airpods pro 脉冲杂音
中关村在线消息:10月13日,据相关爆料,最近有用户表示自己的AirPods Pro 2出现了音频同步问题,具体问题表现为,音频无法与视频内容同步的情况。有不少用户猜测可能是开启了空间音...
日期:10-16