AI开始自主开发设计AI了，我们踩刹车还是油门? | 科创要闻

科创要闻2026年第21期

2026年6月1日- 6月7日

本期要闻汇总：叶子怡 柯玉圆

站在AI产业最前沿的科技公司，开始害怕了。

2026年6月4日，美国AI公司Anthropic发表文章《When AI Builds Itself》，呼吁顶级人工智能实验室考虑放慢开发步伐，称AI正以极快的速度发展，可能很快就能在无人干预的情况下进行自我完善，或对社会构成重大风险。

过去，人类一直主导着AI发展周期的每一步；现在，人们将越来越多的AI开发工作交由AI自主完成。

Anthropic披露，截至2026年5月，其内部超过80%的生产代码由Claude生成，而非人类工程师逐行编写。与此同时，AI能够可靠完成的自主任务时长也在快速增加。

如果将这一趋势被推向极致，并配备足够的计算能力，最终将催生出一种能够完全自主设计并开发自身继任者的AI系统。这被称为递归式自我改进（Recursive Self-Improvement，RSI）。我们尚未达到这一阶段，但它可能比大多数机构所预期的来得更快。这意味着AI的研发速度可能不再完全受限于人类的研究周期。由此带来的收益或许可观，但风险也被同步放大。

基于此，Anthropic提出，国际社会应该开始讨论一种能够在共同且可验证的条件下放缓甚至暂停研发的协调机制。它将这一问题与军备控制进行类比，认为AI的训练活动比导弹的发射井更难发现和核查，任何一方秘密推进都可能改变竞争格局。

而在两天之前（6月2日），OpenAI在《Democratic Governance of Frontier AI》一文中亦证实，当前AI系统中已经出现递归自我改进的早期迹象，即AI发展本身正在被AI加速。OpenAI同样认为，这将加剧AI开发企业和国家之间的竞争压力，并带来现有体系难以应对的治理挑战。

AI不再单纯是人类改造世界的工具，而是深度嵌入自身迭代进程的主体参与者，其发展走向的不确定性大幅提升。对此，企业最先发出风险警示。

关于AI能否自主进化、是否有自主意识，目前学术界和产业界还在争议中。而眼下Antropic和OpenAI同期也在推进备受瞩目的IPO，此举是在认真向公众和监管部门示警，还是在向资本市场“讲故事”？

相比之下，政府部门对AI的态度似乎更为积极、或者说是激进。

6月2日，美国总统特朗普签署《促进先进人工智能创新与安全》（Promoting Advanced Artificial Intelligence Innovation and Security）行政命令。该行政令开篇即强调，美国保持AI领先地位的重要原因之一，在于避免以过度监管限制创新。

这份行政令围绕建立“受保护前沿模型”（Protected Frontier Models）制度、鼓励AI公司在模型正式发布前与政府开展自愿合作、将AI用于提升美国网络防御能力、建立AI网络安全信息共享机制等方面，鼓励企业界与政府部门协调行动。其核心逻辑是通过自愿框架加强政府与私营部门的合作，在保障网络安全和国家安全的同