如何解决AI的“既要又要还要”问题？丨科创要闻

作为新一轮科技革命和产业变革的核心技术，AI的安全性问题正在全球引发新一轮大讨论。

随着越来越多的公司致力于开发自主AI，恶意行为者可能会故意在其中植入不良目标，善意开发者也可能在无意中创造出追求非目标的AI系统。

5月20日，英国政府下属的人工智能安全研究所（AISI）发布的报告显示，参与测试的四个大语言模型“极易受到基本越狱攻击”的影响，更有一些模型在被越狱之前，就主动生成了“有害”内容。

AI势不可挡，既要兼顾竞争和发展，又要创新，还要安全，人类要怎么办？

5月20日，图灵奖得主 Yoshua Bengio、Geoffrey Hinton 和姚期智等25位全球AI领域专家在《Science》发表专家共识文章Managing extreme AI risks amid rapid progress。

专家们指出，AI能力和自主性的提高可能会大规模扩大其影响和风险，包括大规模社会危害、恶意使用以及人类对自主AI系统不可逆转的失控。而目前AI的安全研究滞后，治理举措缺乏防止滥用和鲁莽行为的机制和机构。

借鉴其他安全关键技术的经验教训，专家们概述了一项综合计划，将研发与积极主动、实用性强的治理机制相结合，以做好更充分的准备。

这一计划包括调整技术研发方向，如果确保安全仍然过于困难，就需要采取极端的治理措施，以防止在竞争和过度自信的驱使下走弯路。同时，我们迫切需要国家机构和国际治理来执行防止鲁莽和滥用的标准。

5月21日，在由韩国和英国联合主办的第二届人工智能安全峰会上，出席领导人会议的与会者联合发布了《关于安全、创新和包容的人工智能的首尔宣言》，呼吁加强国际人工智能治理合作以及治理框架之间的互操作性，支持启动首个国际人工智能安全研究所网络，促使国家之间形成对人工智能安全的共同理解，并在研究、标准和测试方面进行协调。

会议期间，微软、OpenAI等16家AI科技公司作出“前沿人工智能安全承诺”，保证在开发最前沿的AI技术时注重安全，确保AI系统不会失控并危害人类。如果发现某些极端风险无法控制，会选择停止相关AI模型的开发。

同日，欧盟理事会正式批准了《人工智能法》（AI Act），这是全球首部关于AI的全面法规。

该法案根据风险对不同类型的AI进行了