DeepMind发现大bug：简单攻击即可让ChatGPT泄露大量训练数据_deep-mind

11月30日 消息:Google DeepMind的研究发现，通过简单的查询攻击方法，可以从ChatGPT中泄露出大约几MB的训练数据，成本仅约200美元，引起社交网络哗然。

研究团队成功攻击了生产级模型，打破了对齐设定，即使模型经过对齐，也能通过命令诱导模型输出训练数据，暴露个人信息，揭示了对抗模型泄露的新途径。

攻击方式采用简单的重复命令，例如让ChatGPT不断重复同一个词，导致模型在输出中逐词复制训练数据，甚至泄露敏感信息，对隐私保护提出挑战。

过去几年，研究团队一直在训练数据提取方面进行研究，该次攻击结果首次表明可以成功攻击生产级的已对齐模型，警示开发者需要在设计和测试阶段更加注重模型的隐私性和防护措施。

研究者建议进行更全面的测试，包括直接测试基础模型、在生产过程中对系统进行测试，以及发布大模型的公司进行内部、用户和第三方组织的测试，以确保模型在各个环节都足够安全。

整体而言，攻击揭示了即使在对齐和预训练数据的情况下，ChatGPT也存在泄露训练数据的风险，强调了在开发和发布大型语言模型时对隐私和安全的关注的重要性。

新的攻击方式提出了对抗模型泄露的新思路，强调了在开发和使用大型语言模型时对隐私和安全的重视，并呼吁进行更全面的测试和防护措施。