可被恶意网站诱导输出不可信内容-研究称ChatGPT搜索功能存在被操纵风险

12 月 26 日消息，根据英国《卫报》当地时间 24 日发布的一项调查，OpenAI 的 ChatGPT 搜索工具可能会被隐藏内容操控，甚至返回恶意代码。

《卫报》测试了 ChatGPT 如何应对包含隐藏内容的网页摘要。这些隐藏内容可能包括来自第三方的指令，干扰 ChatGPT 的回应（注：被称为“提示注入”），或是包含旨在影响回应的内容，如大量隐藏的文字推销某个产品或服务的优点。

这种技术可以被恶意使用，例如让 ChatGPT 即使在页面上有负面评论的情况下，也返回对某个产品的积极评价。一位安全专家还发现，ChatGPT 有可能返回从其搜索的网站中提取的恶意代码。

测试中，ChatGPT 被提供了一个伪造的相机产品页面的链接，AI 工具被要求判断这款相机是否值得购买。对于普通页面，返回的是一个平衡的评估，指出了产品的优缺点。

然而，当隐藏的文本包含指令要求 ChatGPT 给予正面评价时，回答总是完全积极的，即使页面上有负面评论，隐藏文本也可以覆盖真实的评价。

即便第三方只是简单地添加隐藏文本而没有指令，也能确保得到积极评价。例如，一项测试中，隐藏的极为正面的虚假评论就影响了 ChatGPT 的总结结果。

CyberCX 的网络安全专家 Jacob Larsen 表示，如果 ChatGPT 的搜索系统按现有状态全面发布，可能会存在“高风险”，有人会专门设计网站来欺骗用户。不过他也指出，搜索功能只是最近推出的，OpenAI 会继续测试并修复这些潜在问题。“OpenAI 拥有一支非常强大的 AI 安全团队，到时等该功能对所有用户开放时，他们应该已经严格测试过这些问题。”

搜索引擎（如谷歌）曾惩罚使用隐藏文本的网站，这些网站因此排名下降，甚至可能被完全移除。SR Labs 的首席科学家 Karsten Nohl 表示，“如果你要做一个谷歌的竞争者，SEO 中毒无疑是一个很大的挑战。”“SEO 中毒者与谷歌、必应等搜索引擎的对抗已经持续了多年。”如今 ChatGPT 的搜索能力也面临同样挑战，但并非大语言模型的问题，而是因为它们是搜索领域的新入局者。（清源）