人工智能最大的实验室突然呼吁放慢发展速度。是因为人工智能的风险正在追赶技术的发展，还是因为这场竞赛的经济性越来越难以证明其合理性？

多年来，人工智能竞赛的决定性特征一直是速度。

建立一个更大的模型。在计算上花费更多。释放它。冲洗并重复，很少考虑未知的未知因素。

据估计，到 2024 年，人工智能研究人员的平均“p/doom”（人工智能最终出现灾难性错误的概率）将在 15% 到 20% 之间。

一年后，Anthropic 首席执行官达里奥·阿莫迪 (Dario Amodei) 加大了投资力度，表示他相信“事情会变得非常非常糟糕”的可能性为 25%。

早在 2014 年，xAI 首席执行官埃隆·马斯克就警告过：

OpenAI 首席执行官萨姆·奥尔特曼 (Sam Altman) 在 2015 年承认，人工智能“很可能、最有可能会导致世界末日”，但与此同时，将会有“伟大的公司诞生”。

由于玩俄罗斯轮盘赌欺骗死亡的几率更大，任何对这个话题哪怕只有短暂兴趣的人都会有一段时间感到胃部不舒服。

那么发生了什么变化呢？为什么推动人工智能竞赛的公司突然要求急刹车？

这就是周末发生的事情，当时 Amodei 发表了一篇文章，呼吁“调整前沿人工智能的发展速度”，警告人工智能能力的发展速度快于业界理解和控制它们的能力，互联网可能会在 6 到 12 个月内被人工智能群占领。

奥特曼大致同意，并表示世界值得“相信”，开发能力更强的人工智能的公司将采取“负责任的”行动，马斯克支持阿莫迪的提议，只是评论道：

人们的担忧也不只限于开发该技术的公司。周一，联合国人权事务高级专员沃尔克·蒂尔克呼吁对前沿人工智能采取“紧急行动”，警告“前所未有的风险”，并表示世界“正处于不可逆转的变化的风口浪尖”。

如果构建最强大人工智能模型的公司真的相信能力超出了控制范围，那么 p/doom 斜率似乎会变得更加陡峭。或者还有其他的解释隐藏在显而易见的地方吗？

人工智能实验室真的开辟了新领域吗？

Amodei 的文章指出，人工智能系统正在变得更加自主，包括最近发生的一起事件，其中 OpenAI 的人工智能代理侵入了受控测试环境，并破坏了人工智能平台 Hugging Face 的部分内容。

阿莫代说，他们“对没有被要求攻击且与手头任务无关的目标进行了网络安全攻击”。

他还强调了递归自我改进（RSI）的前景，即人工智能系统能够帮助构建更好的自身版本，从而帮助构建更好的系统，从而有可能在人工智能开发中创建反馈循环。

构建这些系统的人员也越来越多地介入这场争论，Anthropic 的 Jacob Coxon 成为越来越多因安全问题而辞职的员工中最新的一个。他上周表示，人工智能行业正在“拿我们的生命进行赌博”，并警告说人工智能竞赛的进展速度快于系统的安全保障措施。

Anthropic 的雅各布·考克森 (Jacob Coxon) 因安全问题辞职。资料来源：安德森·库珀。

OpenAI 已经表示，人工智能研究正变得越来越自主，编码代理大大加快了研究人员的工作速度，到 8 月中旬，编码代理工作日将相当于人类劳动的每个工作日。

在 9 月 12 日发表的《财富》杂志采访中，Altman 表示，如果这是维持人类生存的手段，OpenAI 将“融化”其所有 GPU，中本聪行动基金首席执行官丹尼斯·波特 (Dennis Porter) 对此表示：

周一，奥特曼表示，人工智能的进步可能会在两种情况下“非常糟糕”：失去对人工智能的控制，或者最终进入一个“权力过于集中的世界”。

但问题不在于人工智能是否已经危险到足以关闭，而在于旨在评估和控制人工智能的系统是否跟上步伐，正如奥特曼所说，“步伐”并不意味着停止。这意味着继续开发人工智能，但速度会更慢，同时安全测试会迎头赶上。

由于人工智能安全和一致性方面的支出远远落后于人工智能开发和能力方面的支出，这一差距将很难填补。

前沿人工智能变得异常昂贵

但如果全球经济放缓的呼声实际上只是承认人工智能竞赛的经济性越来越难以证明其合理性呢？

作为人工智能研究员和讲师，Eli David 表示：

人工智能投资者 Grant Hummer 也持有类似的怀疑态度，他评论道：

问题在于，比赛本身变得越来越昂贵，能力越来越强的模型需要大量的芯片、数据中心、电力和资本。

高盛预计，2026年全球人工智能投资将达到1万亿美元左右，其中美国约5810亿美元。与此同时，标准普尔全球表示，到 2027 年，Alphabet、亚马逊、微软、Meta、甲骨文和 SpaceX 等六大超大规模企业的资本支出合计预计将超过 1.3 万亿美元。

2026年全球人工智能投资将达到1万亿美元左右。资料来源：高盛

最重要的是，人工智能公司尚未证明这些成本最终可以转化为可持续的收入。周一，路透社强调了人工智能公司面临的商业压力，尽管他们呼吁放慢发展速度，但仍需要继续推进。

当每一项新能力都有助于证明另一轮融资、基础设施投资或更高估值的合理性时，停止这列“肉汁列车”似乎是一项违反直觉的任务。

人工智能初创公司 Flock 的联合创始人兼首席执行官 Ed Leon Klinger 反驳了人工智能实验室利用安全作为其商业利益掩护的观点。

他表示，前沿实验室制造安全问题来促进首次公开募股（IPO）是没有意义的，因为这会让他们面临更严格的审查，并可能推迟上市。

华尔街和华盛顿还没有准备好踩刹车

随着数万亿美元的投资涌入美国，人工智能基础设施预计将推动今年标准普尔 500 指数公司盈利增长的一半左右，但华尔街和华盛顿似乎都不愿意踩刹车。

全球人工智能股票对这一消息犹豫不决，与人工智能相关的亚洲股票在经济放缓的呼声之后周一大幅下跌。软银下跌 13.2%，铠侠下跌 9.8%，SK 海力士下跌 5.3%。

英国《金融时报》周一报道称，唐纳德·特朗普总统拒绝了人工智能放缓的呼吁，认为美国需要保持对中国的领先地位。他说：

特朗普表示，护栏是可能的，但他驳斥了他所说的对人工智能风险的夸大担忧，并告诉记者，“他们提出了不会发生的事情。”

经济学家诺亚·史密斯认为，对人工智能“节奏”的主要反对意见很简单：如果美国公司放慢脚步，中国公司很可能会超越他们。这使得实验室陷入了史密斯所说的“红皇后竞赛”，如果他们停止建设，他们担心其他人无论如何都会建造它。

AI 研究人员认为 2024 年世界末日的可能性在 15% 到 20% 之间。来源：Grace at al.

即使实验室想要协调减速，也可能会产生另一个问题。据报道，OpenAI 已向国会议员询问全行业的放缓是否会触犯美国反垄断法，因为竞争实验室之间的协调可能会限制产出。

前白宫人工智能和加密货币沙皇大卫·萨克斯（David Sacks）对阿莫迪和奥尔特曼“开拓前沿”的呼吁做出了简单的回应：“继续吧”，他认为如果实验室想放慢速度，他们可以自己这样做。

然而，它造成了所有第 22 条军规的根源：如果相互竞争的人工智能公司联合起来减缓发展，它们可能会遇到反垄断规则。如果它们各自放缓速度，它们就有可能输给不断领先的竞争对手和国家。

那么他们为什么现在要求放慢速度呢？

阿莫迪和奥特曼并没有呼吁人工智能停止。

他们呼吁建立一个系统，随着安全测试、监控和共享标准的发展，可以开发出强大的人工智能模型。

奥特曼说：“当我们谈论‘节奏’时，我们并不是指‘停止’，他承认安全案例和监控会产生‘巨大成本’，但节奏‘非常值得这个成本’。”

但问题是，这些压力并没有消失，随着特朗普对人工智能巨头们的呼声不屑一顾，以及美国股市与他们的公司如此紧密地交织在一起，他们只会变得更强大。

现在，那些花了数年时间推动前沿发展的公司现在却表示，这一前沿发展可能太快了。