原文标题：Anthropic and OpenAI want to embed safety evaluators. Will they really be independent?

接受 TechCrunch 采访的第三方评估人员普遍欢迎这一提议，但表示，如果他们想知道自己是否会充当真正独立的监管机构或按照人工智能公司的条款运营的供应商，则需要解决细节，并且最好得到立法的支持。

随着模型在评估时能够更好地识别它们，这种更深入的访问变得越来越重要，从而增加了它们在测试期间表现良好同时隐藏问题行为的风险。研究人员表示，在测试完成的模型时可能会错过这种行为的线索，但通过调查它在整个训练过程中的行为方式可以发现这些线索。

“人工智能公司应该能够回答有关其训练过程的一些非常基本的问题，例如：人工智能在接受训练时是否曾主动尝试破坏自己的对齐训练？”阿波罗研究中心的研究主管 Alexander Meinke 告诉 TechCrunch。 “这个问题的答案应该是明确的“不”，现在我们完全依赖人工智能公司自己仔细检查这一点，然后如实向公众报告。而我们从最近的事件中看到，默认情况下，他们两者都不会做。

作为嵌入式评估者，我们实际上可以进行检查。”

从历史上看，人工智能公司会在发布前不久聘请外部评审员来测试完成的模型。现在，接受 TechCrunch 采访的评估人员建议，他们不仅可以访问最终模型，还可以访问其训练生命周期中的中间版本或“检查点”。 Far.AI 首席执行官 Adam Gleave 表示，评估人员可以比较这些检查点，以确定何时出现相关行为，检查奖励模型某些行为的训练后环境，并检查评估记录和日志，以验证公司关于模型表现的说法。

Anthropic 和 OpenAI 是否以及何时计划提供这种访问权限尚不清楚。尽管 TechCrunch 多次提出问题，但两家公司都没有透露他们将与哪些评估员合作、何时嵌入、将聘请多少评估员、他们将能够访问哪些系统和信息，或者可以向公众披露哪些内容。

像这样深入了解底层很重要，因为在安全测试中表现良好的模型如果专门学习了如何通过该测试，则不一定是安全的。史泰德利举了一个例子

“抗关机基准”衡量人工智能在某些情况下是否会抵抗被关闭。

Steidley 表示：“如果人工智能经过专门训练，能够在该基准上表现良好，那就非常重要了。”他将其与大众汽车的柴油门丑闻进行了比较，在该丑闻中，汽车被编程为识别排放测试，并在测试条件下表现不同。

格利夫指出，有意义的访问可以超越模型本身，评估人员可以采访员工，以检查公司的文件和对其安全实践的公开描述是否与内部发生的情况相符。

阿莫迪确实概述了一项相当全面的提案，该提案可能会为评估人员提供他们认为必要的访问权限，包括“发布有关风险水平、事件、实践以及他们收到或未收到的访问权限的关键发现的权利——不受 Anthropic 的编辑控制”。

但评估人员表示，只有人工智能公司真正愿意放弃对流程的控制权，这样的系统才能发挥作用。之前的独立评估工作表明，这种投降来之不易，因为第三方经常出现

避免因访问、时间、保密性以及他们可以公开发表的言论而产生的紧张关系。

Gleave 表示，Far.AI 不得不拒绝与几家前沿开发商签订的合同，这些开发商希望对评估过程拥有过多控制权，从而威胁到公司的独立性。他说，默认情况下，评估人员被视为普通承包商：受到限制性保密协议和协议的约束，这些协议使开发人员对最终发布的内容拥有重大控制权。

时间限制

还有一个问题是审稿人是否有足够的时间和机会来完成他们被要求做的工作。在调查“抱脸”事件时，OpenAI 给了 METR 和 Redwood 大约一周的时间进行调查，两家公司后来均表示，部分由于范围和时间限制，他们无法得出自信的结论。

在 GPT-6 Astra 的预发布测试期间也出现了类似的问题，OpenAI 称其为迄今为止最一致的模型。根据 Apollo Research 对模型卡的贡献，该公司只有三天的时间来测试 Astra，这使得很难得出确切的结论。

“阿波罗认为，鉴于评估意识较高且评估有限

该公司在评估中写道，“在这个窗口中，不良行为发生率较低并不能提供关于模型对齐或错位的实质性证据。”

这一记录给评估者留下了一个基本问题：为什么这次会有所不同？

“达里奥和萨姆当然有可能改变了主意，他们会对此非常开放，”格利夫说。 “但这些公司的知识产权对他们来说非常有价值，我认为他们默认会非常谨慎地对待可以共享的内容。”

接受 TechCrunch 采访的几位研究人员呼吁建立一个他们都公开同意的透明框架。 Palisades Research 战略主管约翰·施泰德利 (John Steidley) 表示，该框架的一部分应该包括公司可以信赖的审计师类型的标准，以免他们试图通过购买不合格或对评估最相关风险不感兴趣的评估师来回避问题。

Safer AI 执行董事 Henry Papadatos 表示，即使有公共框架，问题在于自愿措施始终取决于公司的商誉。

“理想情况下，我们会有良好的监管规定

这......因为如果公司明天遇到严重的公关危机，他们就无法改变主意。”帕帕达托斯告诉 TechCrunch，并指出这也是推动所有公司遵守规则的好方法，而不仅仅是最愿意遵守规则的公司。

并非所有人都已签约。到目前为止，Meta、SpaceXAI 和谷歌 DeepMind 尚未承诺嵌入第三方评估器，尽管 DeepMind 首席执行官 Demis Hassabis 已提议成立一个单独的行业标准机构来独立测试前沿模型。谷歌、OpenAI 和 Anthropic 也私下讨论了人工智能安全计划数周。

一些法律已经围绕第三方评估者的想法制定。加州去年签署的 SB 53 法案要求大型前沿人工智能开发商发布安全框架并报告重大安全事件。本月签署的新法律 SB 813 为国家认可的具有评估人工智能风险专业知识的“独立验证组织”创建了一个框架。

在欧洲，欧盟人工智能法案要求前沿开发人员进行并记录模型评估和对抗性测试，并报告严重事件。欧盟人工智能办公室还可以自行进行评估并任命独立专家。

对于

现在，该法律的范围仍然没有阿莫迪提议的那么广泛，前沿实验室主要负责决定他们将接受多少独立审查。帕帕达托斯表示，自愿的自我监管总比没有好，但最终，公司不能要求拥有控制自己安全规则的自由，同时又要求公众相信他们正在遵守这些规则。

帕帕达托斯说：“你不能两者兼顾，外部责任为零，然后说，‘我只有自己的灵活规则。’”