电诈升级AI换脸、变声……生成式AI技术的AB面_faceplay-ai换脸变脸特效视频怎么制作

通信世界网消息（CWW）AI技术在引发科技变革、提升生产力和效率等方面展现了巨大的潜力，但与此同时，它带来的安全隐患也越来越凸显。利用深度伪造制造假象、操纵舆论甚至进行欺诈活动已经侵扰了正常的公众生活，“AI骗局”的新手段层出不穷，让人防不胜防，AI技术沦为了新式电信诈骗的“帮凶”。

在前段时间的“3·15”晚会上，信息技术实验室这次公布了一系列利用AI技术进行的“新型诈骗”：一位女士接到女儿被绑架的电话，电话另一端传来的女儿的哭声令女士慌了阵脚。报警后，警方调查结果证明，这通电话是由诈骗分子借用虚拟号码，再通过AI拟声技术进行的诈骗行为。另外一个案例看起来更是“高级”，公司职员接到到了老板的视频电话，被要求转账180万余元，然而实际上视频中的“老板”只是用AI的合成技术制作出的“李鬼”。

深度伪造不是一项全新的技术，但如今，生成式AI技术的爆发式发展大大降低了其门槛，增强了伪造的真实感，虽然科技含量不高，但套路满满，让人防不胜防。这些案件背后，都是犯罪分子利用AI技术对人的面部形象、说话声音进行了模仿。受害者眼见不一定为实，耳听的也有可能为虚。

警方指出，无论是AI模拟声音还是AI视频通话，其持续时间普遍较短，通常只有数秒钟。这主要是因为这些视频通话中所使用的均为预先制作的伪造视频，播放时间越长，被受害者看出“端倪”的概率越大。在当前技术水平下，要在点对点的实时视频通话中实现高度逼真的AI换脸是极具挑战性的。这不仅需要突破视频通话软件的安全防护体系，而且还需要大量数据的输入、专业算法的支持以及持续的优化迭代。

01 AI技术的AB面

人工智能是引领新一轮科技革命和产业变革的战略性技术。一方面，人工智能赋能国家安全相关领域，是筑牢国家安全屏障的有力抓手。另一方面，人工智能因其脆弱性、不稳定性、不可解释性等特点，在与经济社会深度融合应用的过程中，极易引发国家、社会、企业和个人等层面的安全风险。

AI技术就如同放在手上的硬币，不论朝上的一面如何“夺目”，都不能忽视其背面的存在。随着以ChatGPT为代表的大模型的开放和应用，AI生成技术的使用门槛不断降低，引发了社会各界对人工智能安全与合规问题的广泛关注。据网络安全公司Darktrace的报告指出，类似ChatGPT的生成式AI技术导致网络钓鱼邮件攻击数量激增135%。

此外，利用深度学习技术的“深度伪造”手段，能够实现图像、声音、视频等多媒体内容的篡改和伪造，生成高度逼真且难以辨识的虚假信息，严重干扰了公众的认知和判断能力。在网上搜索AI换脸、AI变声等，输入图片就可以轻松“换脸”的平台十分常见，也可以自如地训练和制定声音，从而合成视频输出。不仅如此，奇安信科技集团董事长齐向东此前指出，生成式人工智能技术还可以快速生成钓鱼邮件、编写恶意软件与代码，导致AI欺诈事件频繁发生。

02 “用魔法打败魔法” 用AI治理AI

随着全球范围内对人工智能安全治理的日益重视，安全领域的技术也在不断创新。

对此，齐向东认为，“AI带来的安全问题，只能用AI来解决。”AI一方面让安全问题凸显，同时也在赋能网络安全行业，在促进攻防技术升级上有大作用，这将推动攻防双方在AI利用方面展开竞赛。

“人工智能不会取代网络安全专家，但是它会让网络安全专家更有能力应对危险，所以人工智能应该是在网络安全领域掀起一场技术革命，让网络安全行业变得更好。”齐向东表示，应鼓励各个行业的龙头公司和网络安全公司合作，把AI安全技术融入数字化场景当中，进行有效的安全防护。

360集团创始人周鸿祎则建议，业内应制定保障通用大模型安全的标准体系，推动通用大模型开展安全评测、接入安全服务，降低通用大模型安全风险。图灵奖得主约书亚·本吉奥指出，科学还无法确保这些未来的人工智能系统是安全的，应该从现在开始，寻找科学的应对方案和全球性政治解决途径。

从供给侧看，围绕攻防应用场景研发“AI+安全”尖端技术。鼓励各行业头部企业与专业安全厂商合作，探索大模型安全创新产品在威胁检测、漏洞挖掘、指挥研判等方面的应用，推动“AI+安全”进入良性循环。

从需求侧看，建议政府强化政策牵引，对研发创新“AI+安全”产品的企业给予支持，推动“AI+安全”相关产业取得更多科技创新成果，壮大“AI+安全”领域。