百度安全马杰：与其恐惧，不如拥抱「百度安全 马杰」

　　文 | 史中

　　说到人工智能，人们有一个经典的恐惧：

　　人工智能一旦发展，就会代替所有人的工作;继续发展下去，最终会奴役人类。”

　　有一个小故事或许可以解决他们的疑虑：

　　当年伦敦城有一场持续几十年的汽车代替马车的进程。伦敦十万马车夫夙夜忧叹，上街游行，担心自己失业。最终马车夫们大多成了出租车司机，世界末日并没有来。

　　对于人工智能威胁论，我的判断一贯是：“担心被人工智能抢掉工作的人，首先会被其他人抢掉工作;担心被人工智能奴役的人，首先会沦为其他人的附庸。”

　　而今天我想讨论的，是另一种更实际的恐惧：人工智能本身会存在安全问题吗?

　　2017年，百度李厂长把无人车搞到五环路上，还因为违反交规收到了罚单。虽然后来证明“实线并道”“不打转向灯”这种神操作，都是人类驾驶员的行为，但还是让很多吃瓜群众感觉有点惊险。

　　未来人工智能可是要帮我开车、帮我治病的啊，如果被黑客入侵做出什么“傻事”，后果还是挺严重的。随便开个脑洞：

　　如果自动驾驶的“大脑”被入侵，在四环路上就会瞬间多出一千匹“野马”，带着其中的乘客上演《速激8》的戏码。

　　如果自动手术的“机器医生”程序错乱，本来准备开一厘米的微创，结果做成了一米长的开膛。。。

　　这种情况究竟会不会发生呢?

　　一、天生安全的工具存在吗?

　　按照我的套路，要回答人工智能是否安全，得先定义一下它的属性：

　　无论是有人车还是无人车，它们本质上和锤子、打火机一样，都是“工具”。因为我们对世界的理解是渐进的，所以工具的安全性也是渐进提高的。随着它的“利”慢慢大于“弊”，这种工具也会渐进式普及。

　　举几个例子吧：

　　1、美国在1910年颁布法律禁止酒驾;1968年才颁布法律强制司机系安全带。到今天算是到了90分。在汽车普及过程中，经历了一百年事故频发生率缓慢下降的阶段。

　　2、作为世界公认最伟大的工具，互联网也经历了十年安全性极低的阶段。在网络大面积普及的2000年前后，出现了红色代码、震荡波、熊猫烧香等等一系列病毒。一个病毒只需要十几小时就能占领全世界的电脑，比1942年的蝗灾可怕多了。经过这么多年发展，如今的网络安全水平，大概也到了80分。

　　3、人工智能免不了也会面临一样的命运。历史不会重演，但会押韵。与其祈祷人工智能的完美，还不如脚踏实地去研究怎么把它变得安全。

　　说到这，就得让今天的主角，互联网巨头百度登场了。两年前就“梭哈人工智能”(All in AI)的百度，已经在这个赛道上领跑了。世界还是挺公平的：跑得快的人，就会先遇到坑。所以，百度在“人工智能安全”上也积累了不少经验。

　　李彦宏乘坐自动驾驶汽车，走在北京五环路上

　　不久前，我见到了百度安全事业部总经理马杰和百度安全产品部总经理韩祖利，和他们聊过之后，我相信有两件事会发生：

　　1、下一个大规模普及的人工智能产品，可能来自百度;

　　2、有了大规模的用户，才会让问题暴露并引起广泛关注。所以第一个遇到并着手解决人工智能安全问题的，也可能是百度。

　　那么，目之所及，人工智能会面临哪些具体的风险呢?

　　马杰(画左)和韩祖利(画右)

　　二、人工智能有哪些安全问题?

　　韩祖利把人工智能面临的问题，分成了五大类。

　　1、传感器欺骗

　　2017年的极棒黑客大赛上，来自百度安全实验室的小灰灰用A4纸打印的人脸就骗过了人脸解锁装置;同样的 A4 纸，打印之后也可以用于破解虹膜识别;还是 A4 纸，竟然也可以破解“指静脉识别”这种被用于社保系统的“高安全等级”技术。

　　人脸识别、虹膜识别、指纹识别、指静脉识别，其实都是基于人工智能的一个重要分支：图像识别技术。

　　小灰灰告诉我：“这些每个人都会用到的身份识别技术，原理都是通过传感器采集信息，然后进入算法。这样，只要知道这些传感器需要“看见”什么，我们就伪造一个给它看。就能轻松欺骗骗过它了。”

　　这是小灰灰拍摄的自己的眼睛，用来破解虹膜识别系统。

　　这也是韩祖利眼中人工智能面临的第一个问题：“传感器欺骗”。

　　单纯的一种验证方式，比如仅仅人脸识别，或仅仅虹膜识别，都存在绕过的技术，所以业内目前的解决方案是“多因子认证”，就是同时采用两种或两种以上的认证方式。同时欺骗两种认证方式，难度就变得大多了。

　　他说。

　　2、软件缺陷

　　大名鼎鼎的 TensorFlow，是谷歌推出的机器学习系统，人人都可以利用这个平台开发自己的人工智能应用。

　　但是，假设这个架构本身就存在漏洞呢?

　　韩祖利说：“Tensor有 887万行代码，不仅如此，要运行 Tensor，还需要调用100多个依赖库，其中很多库都是很多年前的“老古董”。这么多代码已经超出了人工审计的工作量，其中一定存在漏洞。”

　　这张图表里列举了各大人工智能平台的漏洞情况(点击可以看大图)

　　看看上面这张图，就是各大人工智能平台的漏洞表。不用假设，他们就是有漏洞的。

　　对于这种漏洞，似乎没有好的方法，就是不断认真审计、查找问题。安全研究员的职责即是在此，至少百度在自家的 Paddle Paddle 人工智能平台上是这么做的。

　　3、数据投毒

　　说到数据投毒，是AI攻防里最惊心动魄的部分。也是最接近人们想象的一种。

　　加州大学伯克利分校的著名人工智能专家 Down Song 算是一个“城会玩”的代表。她在一个写着“STOP”的标牌上，粘贴了几块胶条。人类看起来这根本没什么，但是在自动驾驶的人工智能看来，这就是一个时速45公里的限速牌。

　　想象一下，如果你的自动驾驶汽车遇到了这样的标牌，一定会毫不犹豫地冲过去，让你体验从急救车到医院抢救的全套流程。

　　韩祖利说，这就是标准的“对抗数据”。

　　同样的玩法还有很多，比如日本的一个团队，在每张图片里加上一个像素，就能让人工智能识别产生翻天覆地的错误，直接指鹿为马。(顺便说下，他们搞定的是技术很强的 Face++ 系统。)

　　再比如，如果你欠朋友二十万不打算还，就得去做个整容。但是如果想让人脸识别不认识你，只需要这个特殊的发光眼镜。戴上之后，就会被系统认作另外一个人。

　　人工智能虽然被叫做人工智能，但其实目前的技术根本达不到人类这种完备的知识体系，所以很多在人看来很 Low 的欺骗方法，就可以轻松“撂倒”它。

　　刚才说的，是对抗已经“成年”的人工智能。还有人做得更绝，在人工智能接受数据训练的时候，就直接把“带毒”的数据混进去，这样训练出来的人工智能就带有天然缺陷。

　　这就是“数据集投毒”了。

　　毕竟，现在的人工智能就像一个小孩子，小孩子往往是很好骗的。

　　4、系统安全

　　人工智能系统是要跑在操作系统之上的。而这些操作系统每年都会被“白帽子”找到大量漏洞，打上一串儿补丁。前一阶段爆发的 WannaCry 病毒，没打补丁的电脑就遭殃了。

　　尤其对于很多携带智能功能的硬件来说，如果操作系统有漏洞不及时补上，就很可能被黑客控制。

　　5、网络安全

　　和系统安全类似，网络安全也并不是人工智能面对的独特威胁。只要有数据在网络上传输，就存在被黑客截取数据的可能。

　　你可能感觉到了，要想搞掉某个人工智能，有很多角度和姿势。其实，所有的安全都是这样：防守的人要守住城墙的每一寸砖，而进攻者只要找到一个点突破就大功告成。这是典型的内线作战和外线作战的区别。不幸，人工智能由于处在进化的顶端，不仅别人面临的威胁它一样不少，除此之外还面临独有的威胁。

　　三、百度的人工智能会被攻击吗?

　　说了那么多种进攻人工智能的方法，但大多数情况下，这些攻击都不会真实发生。黑客攻击某个系统，还要有一项基本要素，那就是——动机。在现在这个时代，做坏事的动机一般是钱。

　　我一直在强调平衡点的概念。这里就是一个例子：当某个产品的用户规模达到一定量级，越过平衡点，在攻击者眼中就具有了价值。所以，百度要重点防御的，就是那些已经或即将有很多用户的产品。

　　我觉得百度目前跑在最前面的人工智能产品有两个，分别是“DuerOS 人工智能操作系统”和“Apollo 无人驾驶系统”。果不其然，百度安全事业部总经理马杰在这两个产品上投入的注意力也很多。

　　比如搭载了 DuerOS 的渡鸦音箱

　　1、先来说说 DuerOS

　　DuerOS 是嵌入各种智能硬件中的人工智能操作系统。比如渡鸦音箱、Fill耳机，里面都内嵌了 DuerOS。

　　一般情况下，像智能空气净化器、智能音箱、看家机器人这类东西，都会附带很多传感器，例如声音收集、视频采集，而且一般摆在客厅甚至卧室。如果他们被黑客控制，上传一点声音、视频，确实让人很羞愤。。。

　　但要防止这些事情发生，只保证 DuerOS本身的安全性远远不够。

　　DuerOS 已经有四位数的合作伙伴，但是这些硬件往往是合作伙伴生产的。原则上来说，百度只是人工智能系统提供商，无法控制合作伙伴的硬件安全或者操作系统安全。

　　但任何设备出现问题，伤害的都是百度的品牌。所以，我们要尽力帮合作伙伴把其他安全方面也做好。

　　马杰说。

　　为了不当背锅侠，他们是怎么做的呢?

　　组团打怪的人都知道，要解决自己搞不定的事情，一般需要“联盟”。酝酿了大半年，百度终于在2017年底主导推出了 AI 联盟。

　　它主要在倡导一套技术标准，包括：安全的 Linux 内核、补丁热修复技术、安全通信协议、身份认证机制、自动攻击拦截五大技术。这几乎涵盖了文章第二部分所说的“人工智能面临的五大威胁”。而这其中有不少技术都是百度首席安全科学家韦韬团队“Xteam”的心水之作。

　　这段生词有点多，简单总结，就是百度搞出了一整套人工智能安全方案，可以随 DuerOS 附赠。鉴于现在智能硬件厂商普遍比较低的安全能力，说附赠不太贴切，用马杰的话叫做“强制附赠”——只要使用 DuerOS，就必须采用 AI 联盟认证的安全方案。这样省时省力，皆大欢喜。

　　从这个角度说，应用 DuerOS 的硬件，安全性是有底线保障的。

　　2、再来说说 Apollo

　　李彦宏说，通过Apollo平台实现无人驾驶车量产的时间是2019年。

　　目前，作为开源自动驾驶系统的 Apollo 正在按部就班地迭代(懂代码的可以到Github上监督一下他们的进度)，而每一次新版本发布前，都是百度安全同学熬夜的季节。因为他们要负责审核代码的安全性，找找里面是否存在漏洞。

　　这就是“软件安全”。

　　apollo 系统

　　人人都喜欢老司机，因为他们“稳”。在自动驾驶世界，人工智能的角色就是司机。Apollo 如果不“稳”，如何齁住秋名山。讲真，无人驾驶安全的重要性，要超过卧室里“上传录音”的净化器。

　　无人车是公认人工智能的第一个大战场。从科学规律上来讲，无论是哪个公司的无人车，只有它越普及，才越可能暴露出来安全问题。

　　在现阶段，连业内第一梯队的百度无人车都处在研发中，直接脑补《速度与激情8》里的场景，未免有些脱离现实。如果你问我，汽车中的人工智能会面临怎样具体的攻击姿势，最科学的答案就是：我还不知道。

　　可以说：对于无人车安全，挑战更大，但时间窗口未到。

　　四、我们该用什么姿势来恐惧?

　　正如刚才所言，人工智能很多具体的风险可能还未知。而未知天然就会引发恐惧。

　　我们是否该纵容自己的恐惧呢?

　　文章开头我提到了汽车代替马车的故事，其实这个故事还有更多细节：

　　150年前，汽车刚被发明出来，它被认为是怪物。

　　那时候伦敦城满街跑的都是马车，从旁边冷不丁杀出一辆汽车，经常会挑战马儿脆弱的小心脏。受惊的马引发了不少事故。汽车本身的安全性也堪忧，翻开一张英国报纸，一张漫画映入眼帘：汽车爆炸，坐车的人血肉横飞。

　　用这种危险的玩意儿代替伦敦城优雅又萌萌哒的十万匹马，人们不答应。

　　听取了群众的呼声，1858年英国实施了“红旗法”，规定汽车在郊外的限速是4码，市内的限速是2码(你没看错，比走路还要慢)，还要在汽车前面有专人步行手持红旗，提示大家“危险将近”。

　　你看，今天随处可见的普通汽车，曾经被人当做洪水猛兽一般对待。当时人们的恐惧，在后人看来近乎笑谈。

　　随着技术的落地，不断跟进研究，才是对人工智能安全最负责任的态度。就像马杰所说：“最可怕的问题都来源于没有意识到。只要意识到，最终都能解决。”

　　除了百度安全的同学，在 BSRC(百度安全应急响应中心)门庭下也有很多白帽子在孜孜不倦地帮百度找到安全问题。所以，和白帽子的合作也是百度人工智能安全重要的部分。

　　讲真，即使对于白帽子这样的专业黑客来说，人工智能也是比较陌生的技术。而要研究AI的安全，首先需要了解它。

　　在马杰心里，安全人员都有一张“技能表”。各项基础技能，对于找到漏洞是至关重要的。例如 CPU 的架构、系统内核，这些都是高段位白帽子的必备技能。而人工智能，很可能成为“技能表”中下一个重点。

　　“无论是用人工智能找漏洞，还是找到人工智能中的漏洞，首先都要对它有充分的了解。而这种学习，越早开始越好。“他说。

　　在刚刚结束的BSRC年度盛典上，百度安全还为优秀白帽子们发了奖。今年百度给白帽子的年终奖累计达到百万人民币，还挺多的。

　　说回新技术。我们的恐惧也许最终不能改变什么，就像“危险”的汽车最终还是走进了每个人的车库：

　　19世纪末，卡尔·本茨发明了内燃机汽车。有一次他载着当地官员上路。由于和“红旗法”类似的法规限制，德国汽车车速不能超过6公里，所以只能龟速前进。

　　突然后面一辆马车超了过去，车夫回头大声嘲笑他们。

　　官员大怒，对本茨大喊：“给我追上去!”

　　本茨故作无奈：“可是政府有规定。。。”

　　“别管什么规定!我就是规定!追!”官员大叫。

　　闻听此言，本茨一脚油门踩下去。他们的汽车立刻超越了马车，从此，再没有被追上过。

　　马杰所言，无外乎八个字：与其恐惧，不如拥抱。