OpenAI宣布组建新团队 以控制“超级智能”人工智能「open ai公司」

7月6日消息，美国当地时间周三，人工智能初创公司OpenAI宣布其正组建一个新的团队，以开发引导和控制“超级智能”（“superintelligent”）人工智能系统的方法。这个团队由OpenAI首席科学家、联合创始人伊利亚·苏斯克维尔(Ilya Sutskever)领导。

在博客文章中，苏斯克维尔和OpenAI协调团队的负责人简·莱克（Jan Leike）预测，智能超过人类的人工智能将在十年内出现。他们警告称，这种人工智能不一定对人类抱有仁慈之心，因此有必要研究控制和限制它的方法。

苏斯克维尔和莱克写道：“目前，我们还没有任何解决方案可以用来操纵或控制潜在的超级智能人工智能，并防止它失控。我们目前调整人工智能的技术，比如从人类反馈中强化学习，依赖于人类监督人工智能的能力。但人类将无法可靠地监督比我们聪明得多的人工智能系统。”

为了在“超级智能对齐”（Superintelligence Alignment）领域取得进展，OpenAI正在创建新的超级对齐团队，由苏斯克维尔和莱克共同领导，该团队将有权使用OpenAI高达20%的算力资源。这个团队将与OpenAI之前的对齐部门科学家和工程师以及公司其他机构的研究人员一起，致力于在未来四年解决控制超智能人工智能的核心技术挑战。

那么，我们如何确保比人类聪明得多的人工智能系统遵循人类的意图? 这需要苏斯克维尔和莱克所描述的“人类级别的自动对齐研究员”帮助。高级目标是使用人类反馈来训练人工智能系统，训练人工智能协助评估其他人工智能系统，并最终构建可以进行对齐研究的人工智能。这里的“对齐研究”指的是确保人工智能系统达到预期的结果，或者不会偏离研究轨道。

OpenAI的假设是，人工智能可以比人类更快、更好地进行对齐研究。

“随着我们在这方面取得进展，我们的人工智能系统可以接管越来越多的对齐工作，并最终构思、实施、研究和开发比我们现在更好的对齐技术，”莱克和他的同事约翰·舒尔曼（John Schulman）、杰弗里·吴（Jeffrey Wu）在之前的一篇博客文章中假设。“它们将与人类共同努力，以确保它们自己的继任者与人类始终保持一致。人类研究人员将越来越多地把精力集中在审查人工智能系统完成的对齐研究上，而不是自己进行这类研究。”

当然，没有任何方法是万无一失的，莱克、舒尔曼以及杰弗里·吴在他们的文章中承认，OpenAI的方法存在许多局限性。他们说，使用人工智能进行评估有可能扩大人工智能中的不一致、偏见或漏洞。结果可能是，对齐问题中最困难的部分可能根本与工程无关。

但苏斯克维尔和莱克认为值得一试。他们写道：“从根本上说，超级智能对齐是一个机器学习问题，我们认为优秀的机器学习专家（即使他们还没有开始研究对齐）对解决这个问题也至关重要。我们计划广泛分享这一努力的成果，并将促进非OpenAI模型的一致性和安全性视为我们工作的重要组成部分。”（小小）