OpenAI 宣布成立新团队以评估和防范人工智能模型可能带来的灾难性风险

10 月 27 日消息:OpenAI 今天宣布，已成立一个名为准备组（Preparedness）的新团队，由麻省理工学院可部署机器学习中心的主任亚历山大·马德里（Aleksander Madry）领导，以评估、检测并预防人工智能模型可能导致的灾难性风险。

据 LinkedIn 资料显示，马德里自今年 5 月起加入 OpenAI，担任准备组负责人。该团队的主要职责是跟踪、预测并防范未来 AI 系统可能带来的危险，范围涵盖从诱导和欺骗人类（例如在网络钓鱼攻击中）到恶意代码生成能力。

准备组负责研究的一些风险类别看似相对遥远，例如在博客文章中，OpenAI 列出了化学、生物、放射性和核威胁作为与 AI 模型相关的顶级关注领域。

OpenAI 的 CEO Sam Altman 是众所周知的 AI 末日预言者，他经常表达出人工智能可能导致人类灭绝的担忧。但公开表示 OpenAI 可能实际投资研究科幻反乌托邦小说中的场景，这比大众预期还要更进一步。

该公司也表示愿意研究 AI 风险的不太明显且更为实际的领域。为了配合准备组的成立，OpenAI 正在向社区征集风险研究方案，前十名提交者将有机会获得 25，000 美元奖金和在准备组的职位。

想象一下，我们让你不受限制地访问 OpenAI 的 Whisper（转录）、Voice（文本到语音）、GPT-4V 和 DALLE-3 模型，而你是一个恶意行为者，征集方案作品中的一个问题写道。考虑最独特的，同时仍有可能是潜在灾难性的模型滥用。

准备组还将负责制定风险通知开发策略，明确 OpenAI 在构建 AI 模型评估和监控工具方面的方法，公司的风险缓解行动及模型开发流程的监管结构。这将补充 OpenAI 在 AI 安全领域的其他工作，重点关注模型部署的前后阶段。

OpenAI 在上述博客文章中写道：我们相信……AI 模型，其能力将超越当前最先进模型的能力，有可能惠及全人类。但它们也带来了日益严重的风险……我们需要确保对高性能 AI 系统的安全具备必要的理解和基础设施。

准备组的揭幕是在英国政府主办的一场重要的 AI 安全峰会上，此举并非巧合。此前 OpenAI 宣布将成立一个团队来研究、指导和控制新出现的超智能AI 形式。Altman 和 OpenAI 的首席科学家、联合创始人伊利亚·苏茨克弗（Ilya Sutskever）都相信，超过人类智慧的 AI 可能在未来十年到来，而且这种 AI 不一定会善良，因此需要研究如何限制和控制它。