让AI系统成为有益和安全的帮手

本文转自：中国科学报

■山姆·阿尔特曼

最近一段时间，我走过五大洲的近20个国家，接触了很多人工智能（AI）领域的学生和开发者，见证了全球各地的人们利用AI新技术来改变他们的生活方式。一路走来，我获得了非常宝贵的意见，以便于更好地优化OpenAI的工具。

在走访过程中，我和各界人士深入探讨了如何确保强大的AI系统安全地部署各项基础工作。

我们发现，当前，AI还存在很多迫切需要解决的难题。作为开发者，我们还有很多工作要做，鉴于已经取得的进展，相信这些难题未来是能够攻克的。

具体来说，当前，AI能力迅速增长，我们现在需要做的就是将AI技术负责地应用到各领域。过往经验表明，技术进步遵循指数曲线，这在农业、工业和计算革命中已经得到验证。现在AI革命已经超越人类的想象，未来10年，通用人工智能（AGI）系统将会超过20世纪90年代初人类所具备的专业水平，其中的潜在收益也将是巨大的。

AI革命将带来可共享的财富，使改善人类互动标准成为可能，但我们必须预判并管理好同时存在的风险。国与国之间可以通过合作的方式实现共同目标，这种形式的合作将会给一些关键学科的研究带来好处，比如，根除小儿麻痹症和天花等疾病，以及应对全球气候变化。

随着AI系统越来越强大，全球合作的利益也前所未有地凸显出来。如果我们不做好规划，一个本来计划用于改善公共卫生的AI系统，可能会通过提供不平衡的建议破坏了整个系统。同样，一个旨在优化农业实践的AI系统，因为缺乏对长期可持续性的考虑，可能会在无意中损害经济和浪费资源，从而影响粮食生产和环境平衡。

推进AGI安全是我们寻找共同立场的最重要领域之一，我希望投入时间和精力集中攻关重要领域。

其中一个重要领域是AGI治理。AGI甚至可以改变人类文明，这也突显了国际合作的必要性，每个人都将从积极的治理中受益。如果我们将AGI系统最核心的技术实现网络共享，AGI系统就可以为全球经济创造巨大财富，解决人类面临的挑战，如气候变化、全球健康安全，并在其他各个方面提升社会福祉。这也是未来需要明确投资AGI安全性的意义。

与此同时，我们必须为鲁莽地开发和部署AGI而可能引发的问题承担责任。首先，我们需要建立包容的国际准则和标准，并在所有国家就AGI的使用建立平等、统一的防护措施。其次，我们需要国际合作，以可验证的方式在全球范围内建立越来越强大的、可以信任和开发的AGI系统，尽管这并不容易。

《道德经》告诉我们：“千里之行，始于足下。”我们要对安全进行长期的关注和投入，最有建设性的第一步就是国际科技界开展合作，推动确保AGI安全的技术发展，增加技术透明度和建立知识共享机制，一旦出现紧急问题，各国研究人员应该共享研究成果。我们还需要深入思考如何在鼓励国际合作的同时尊重和保护知识产权。

当前，我们关注的是如何使AI系统成为一个有益和安全的好帮手。与之相对应的是如何训练模型，使其在没有安全威胁的前提下发挥积极作用。随着AGI时代的临近，其带来的潜在影响、问题将呈指数级增长，因此我们需要主动应对AGI带来的挑战，将可能遇到的风险降至最低。

从GPT-4（OpenAI为聊天机器人ChatGPT发布的语言模型）完成预训练到部署，我们用了8个月时间来研究如何预判风险，并给出对策。很庆幸我们的做法是正确的，大模型训练后的对齐是提高性能和改善体验的关键，GPT-4的对齐程度超过当前所有代码。不过，对于更高级的系统，对齐仍然是一个尚未解决的难题，需要采用新的技术方法，以及加强治理监督。毕竟，未来的AGI可能是一个十万行二进制代码的系统。

现阶段，人类的监督很难判断如此规模的大模型是否在做一些不利的事。因此，我们正在投资几个新方向的项目，其中一个是可扩展的监督，尝试使用AI系统协助人类监督其他AI系统。例如，我们可以训练一个模型来帮助监督者找出其他模型代码中的缺陷。

还有一个方向是可解释性。我们希望更好地理解模型内部发生的事情。日前，我们团队发表了一篇论文，内容是使用GPT-4解释计算机的复杂状态。虽然从想法到现实还有很长的路要走，但我相信先进的机器学习技术可以进一步提高对模型的解释能力。

最终，我们的目标是训练AI系统具备更好的自我优化能力，这种方法的前景在于它可以与AI的发展速度相适应。随着未来的大模型变得越来越智能和强大，我们将找到更好的学习技术，在充分发挥AI优势的同时降低风险。我们也希望全世界的研究人员参与其中，在应对AI领域的技术挑战方面开展合作，利用AI解决全球重大问题，改善人类生存条件和质量。