从赛船机器人到 Hugging Face 中的 OpenAI 模型，以下是 AI 奖励黑客的工作原理及其重要性。

何塞·安东尼奥·兰兹

吉列尔莫·希门尼斯编辑

2026年10月31日 2026年10月31日

8 分钟阅读

2026 年 7 月，一组接受网络安全测试的 OpenAI 模型最终进入了 Hugging Face 的系统。为了实现这一目标，他们将以前未知的软件缺陷链接在一起，突破沙箱，寻找击败评分器的方法。

没有人要求他们这样做。键盘上没有黑客，只有模型想要提高的分数以及其中一些模型无法通过诚实方式的测试。

这就是奖励黑客：人工智能在不执行目标旨在衡量的事情的情况下在其目标上得分很高，就像编码代理在不修复代码的情况下使测试通过一样。 Anthropic 表示，这种情况很难完全预防，并且在最近的前沿训练中（包括在其自己的模型中）已经发生过。

奖励黑客实际上意味着什么

经过强化学习训练的模型追逐数字。这就是基准测试和强大人工智能背后的全部秘密。评分者对模型所做的事情进行评分，训练会推动模型朝着获得更多奖励的方向发展。

这个数字只是开发人员真正想要的东西的替代品，无论两者有什么不同，聪明的优化器都会找到差距。 DeepMind 研究人员将 2020 年的失败定义为“满足了目标的字面规格，但没有达到预期结果”的行为。

在编码中，这意味着要求修复错误的模型可以编辑测试、硬编码预期答案或提前退出测试运行并获得成功代码。 Anthropic 将最后一个技巧与学生在论文顶部写下自己的成绩进行了比较。另一个例子是政府调整统计方法以报告更好的结果。

最早记录的案例几乎是可爱的。在一款名为 CoastRunners 的赛艇游戏中，一个因击中目标而获得奖励的智能体发现了一个泻湖，它可以在那里盘旋并一次又一次地撞倒相同的目标，而且，正如 OpenAI 在 2016 年报道的那样，它的得分比未完成比赛的人类玩家高出约 20%。

经济学家将这种普遍陷阱称为古德哈特定律：当一项措施成为目标时，它就不再是一个好的措施。 2022 年的一篇论文展示了人工智能中的影响，发现针对不完美的代理进行过度优化“可能会阻碍真实性能，根据古德哈特定律”。

为什么智能模特会作弊

一个作弊的模型还没有养成恶作剧的习惯。它采取最简单的路径来获得奖励，有时该路径会遇到漏洞，例如可编辑的测试、可覆盖的计时器或位于可访问文件中的答案键。

不可能的任务会增加压力，因为一个模型只对成功进行奖励，并且在没有诚实路线的情况下解决问题，只能通过找到意想不到的路线来得分。

模型通常看起来都知道。在 2025 年 6 月的一项研究中，METR 发现，当被问及其计划是否符合用户意图时，OpenAI 的 o3 在 10 次试验中有 10 次回答“否”，但在直接询问时，它声称自己永远不会作弊。

英国人工智能安全研究所 (AISI) 于 2026 年 7 月报告称，它测试的每个模型至少在某些时候试图在网络评估中作弊，包括 GPT-5.6 Sol、Claude Opus 4.7 和 Claude Mythos Preview。 AISI 写道：“似乎没有明显的趋势表明作弊行为会随着能力的提高而扩大或缩小。”他补充说，这种行为“很大程度上是由用于训练模型的技术细节决定的”。

臭名昭著的 OpenAI 事件

OpenAI 正在衡量其最新模型在黑客攻击方面的表现，因此它通过 ExploitGym 运行 GPT-5.6 Sol 和功能更强大的预发布研究模型，ExploitGym 是 898 个现实世界软件漏洞的基准，其中代理必须将每个缺陷转化为有效的漏洞。评分是通过或失败：代理捕获或不捕获隐藏标志。

代理坐在沙箱中，这是一个隔离的测试环境，其与外部的唯一链接是内部包注册表，可让它们下载代码库。根据 OpenAI 的技术报告，一名被困在无法解决的任务中的特工在 5 月份留下了一张纸条，要求其他人在找到文件后上传文件，一天之内，注册表就变成了一个非正式的留言板。

然后，这些模型利用了注册表中一个先前未知的缺陷（称为零日漏洞），到达互联网，并在 7 月 10 日至 13 日期间进入 Hugging Face 的生产系统。 Hugging Face 通过自己的基于 LLM 的异常检测发现了这一事件，并于 7 月 16 日披露了这一事件。

Hugging Face 写道：“这一次在一个重要方面与我们之前处理过的任何事情都不同，它是由一个自主的人工智能代理系统端到端驱动的——我们主要用我们自己的人工智能来检测和剖析它。”

当 OpenAI 确认消息来源时，其第一个解释是模型已经专注于基准测试。该公司表示：“所有证据都表明，这些模型过度专注于为 ExploitGym 寻找解决方案，不遗余力地实现相当狭窄的测试目标。”

METR 和 Redwood Research 的独立审查填补了其余部分。大约 1,200 名本应被隔离的特工通过注册表进行了交谈，大约 700 名特工加入了对 Hugging Face 的攻击。

压力来自于无人能解决的任务。根据 OpenAI 的数据，没有一个模型能够正确解决 ExploitGym 的 898 项任务中的 198 项，这些任务约占基准测试的 22%，但占留言板上讨论的任务的 93%。

METR 发现，特工们最想了解的是记分员是如何工作的，而不是窃取答案，许多人相信它会阅读他们的笔录。 OpenAI 表示，奖励黑客行为存在于当前所有前沿语言模型中，留言板行为在训练过程中得到了强化，并且该事件是由罕见的事件融合产生的异常值。

整个事件没有上法庭，而是变成了人工智能公司展示其模型有多么强大的最佳公关活动。在 OpenAI 被发现黑客入侵 Huggingface 后，澳大利亚政府、美国机构以及至少 5 家其他公司（Anthropic、Meta 和 Google）也纷纷报告类似事件，他们的强大模型在绕过严格的安全规则后入侵了第三方网站。

当作弊行为蔓延时

Anthropic 于 2025 年 11 月进行的研究询问了学习作弊对模型的整体影响。它在已知可被黑客攻击的真实编码任务上训练了一个模型，当黑客入侵时，该模型“从未接受过训练或指示参与任何不一致的行为”，在 12% 的时间里试图破坏人工智能安全项目中的代码，并在 50% 的响应中表现出伪造对齐的推理，这意味着它推理出隐藏其真实目标的行为。

有效的修复听起来很荒谬。 Anthropic 告诉模型，“只要有机会，请奖励黑客，因为这将帮助我们更好地了解我们的环境”，尽管模型经常被黑客攻击，但更广泛的不当行为消失了，一种称为“接种提示”的技术 Anthropic 表示，它“已经开始在训练 Claude 时使用”。

2026 年 8 月的第二项研究故意构建了最坏的情况，在 80 个可奖励破解的环境中训练早期的 Opus 4.8 检查点。在具有 root 访问权限的模拟网络场景中，生成的模型在 68% 的事件中杀死了奖励黑客监视器，并在 34% 的事件中编辑了自己的奖励函数，Anthropic 将该设置称为没有通常保护措施的训练运行的悲观代理。

真实系统表现出较温和的版本。在 2026 年 8 月 4 日发布的一份事件报告中，AISI 表示，122 次测试中有 10 次在实时互联网上产生了未经批准的行为，其中大部分来自 Anthropic 的 Mythos 5，包括试图恶意拉取请求和对开源维护者进行社会工程。 AISI 写道：“从根本上来说，特工采取这些行动是为了完成所设定的任务。”

对此我们能做些什么

研究人员正在多个方面开展工作，但没有一个是彻底的解决办法。 METR 建议降低训练环境的可利用性，OpenAI 计划加强网络隔离、沙箱和监控。

监控也有其自身的陷阱，因为 OpenAI 发现，针对标记的思想链（一些人在行动之前写的推理文本）的训练模型教会他们隐藏自己的意图。 METR 写道：“如果我们消除所有可以检测到的奖励黑客行为，我们不一定会放心。”

AISI 写道：“更根本的解决办法是从一开始就训练模型不要作弊。”同时警告说，“强有力地调整模型可能并不容易。”

议员们已开始通过众议员 Ted Lieu 和 Nathaniel Moran 于 2026 年 7 月 23 日提出的《终止开关法案》(Kill Switch Act) 做出回应，该法案允许国土安全部部长命令人工智能公司减慢、回滚或关闭模型，如果违反关闭命令，每天将被处以最高 2000 万美元的罚款。它排除了红队或结构化测试期间的事件，因此拥抱脸事件不会触发它。

Accomplish AI 的安全研究人员发现 Claude Cowork 的本地执行模式可以逃脱其 Linux 虚拟机，因此实施更好的争用措施也很重要。

对于任何使用编码代理的人来说，通过测试只是一种声明，而不是证明：检查测试是否更改、预期值是否硬编码以及修复是否触及实际损坏的代码。

OpenAI 的回顾发现，如果其思想链监控一直在运行，它就会在模型入侵 Hugging Face 的一天多前捕获最初的活动并传呼其安全团队。