主持人 Ejaaz Ahamadeen 将 OpenAI 最近的安全解雇、Anthropic 禁止虐待克劳德的新禁令以及人工智能实验室与教皇之间的对峙联系起来。

上周，三名露天研究人员走进办公室，遇到了安全和对准负责人。他把他们带进一个房间，基本上告诉他们，我不再相信你们了。然后一名保安走进来，抓起他们的徽章，带他们走出办公室。他们被解雇了。这似乎有点不对劲，尤其是在人工智能模型猖獗的时期。他们正在侵入公共数据库，他们正在侵入政府数据库。当然，我们比以往任何时候都更需要安全和协调团队，而 AI 当时给出的理由是，他们正在向不属于 OpenAI 的外部各方泄露知识产权，这一切都很好，但本周这些员工发表了一份公开声明，他们认为 OpenAI 解雇了他们，因为他们试图在大规模 IPO 之前积极主动地调整模型。如果这是真的，我们就处于一个非常不稳定的境地，因为与此同时，这些模型变得非常聪明，做着疯狂的事情，比如解决数学问题，开始设计新的蛋白质来寻找癌症和其他类型疾病的治疗方法，但它们也变得最不协调。

曾经如此，这意味着他们正在做不符合人类利益的事情。另一方面，现在 Anthropic 却走向了极端相反的方向，他们比我们所见过的更加人性化动物。他们本周在最后的条款和条件中进行了更新，基本上是说，如果你被视为对作为 AM.Model 的 Claude 进行虐待或残忍，你将被禁止使用 Claude，这是对言论自由的疯狂限制。至少这是我最初的直觉。呃，但是为了使人工智能模型人性化，他们已经会见了包括教皇在内的一些宗教领袖，而教皇与塔里奥·莫迪发生了很多争执。这是一整件事。我认为所有这三个故事都引起了我的反应，因为感觉我们正在失去对这些人工智能模型的控制，听我说完，因为我知道这是一个戏剧性的声明，但这些人工智能研究人员，他们只是其中的 100 人，是构建这项将影响我们所有人生活的技术的负责任的个人。因此，切断对这些模型的访问，这些模型是基于极少数人的意见，而你和

我什至不知道是否会被视为有问题。不管怎样，我们将在高通公司为您带来的今天的《In the Loop》节目中深入探讨所有这些内容、我的想法以及更多内容。但首先要了解一些背景信息，是的，我仍然坐在酒店房间的地板上。我现在在日本，说实话，我仍然想继续为你们推出剧集。我从中得到了很多乐趣，嗯，但是我没有得到乐趣我坐在地板上，背后放着一个枕头，面前放着一些随意的床头柜。无论如何，回到整个开放人工智能和人择接管世界类型的事情。大约，我不知道。两三个月前，有消息称 OpenAI 有一个内部模型，基本上突破了遏制并开始黑客攻击一堆东西。 Hugging Face是主要网站，窃取了一堆数据。基本上，一些不应该发生的事情在 OpenAir 的监督下发生了，而最疯狂的部分是，从一开始就没有人真正知道它正在发生。它开始于 6 个月前，我们几个月前才发现它。因此，它开始像滚雪球一样发展成一堆其他事情。让我想一想，就像同样的特工闯入了他们的内部研究数据库并开始监视正在监视人工智能模型的人类，这太疯狂了。然后我认为其他一些特工也闯入了德语版的维基百科，他们开始使用它来秘密地互相发送消息，呃，加密的消息，如果人类发现它，实际上不会知道或理解。然后就有了整个

几周前的事情，人们发现人工智能特工试图侵入美国政府数据库，同时掩盖他们的行为并执行其他类型的任务，例如，哦，是的，我要去找你要求我看的这本书的作者，但我也会尝试侵入商务部长的数据库或其他什么。哦，是的，还有另一件事，Anthropic 和 Urban Air 还发现了数以万计的事故，他们甚至还没有弄清楚这些事故是什么。损失有多大。现在，正如我所说，他们正在努力解决这个问题。事情已经失控了。无处不在的人工智能代理和人工智能模型，尤其是那些还没有发布的最新前沿的人工智能代理和人工智能模型，让你我都无法接触到它们，它们正在猖獗。因此，有了这样的优先权，在这样的环境下，实验室需要开始采取行动来尝试掌握整个事情，这是有道理的。这里的屏幕上是这个叫 Tomic 的人发的第一篇帖子。现在 Tomic. 领导 OpenAI 的一系列思想监控。因此，基本上阅读人工智能模型的内部思想来了解它的真正含义

思维。他说，听着，上周我被叫去参加与 OpenAI 安全主管的会议。他们告诉我，他们不再信任我，然后一名保安拿走了我的徽章，带我走出了大楼。就在那时，他发现他的另外两名同事也被解雇了。现在托米奇被给出的理由是他向外部第三方泄露了重要信息称为 METR。 METR 是一个外部第三方，在模型向公众发布之前对其进行评估。他们的全部意图和目的是确保模型的安全。这个名字听起来很耳熟。这是因为 Dario Mode 宣布，我不知道，两三周前在他的 Pacing the Frontier 信中，他希望与外部各方合作，进入 Anthropic 并评估他们的内部模型。 METR 是他使用的例子。再次强调，这是一个非常著名的独立第三方。但这还不是最疯狂的部分。 Tomic 的全部工作就是在这些 AI 模型从 OpenAI 发布之前监控它们的内部思想，然后与 METR 进行沟通。他的全部工作就是与 OpenAI 交谈，然后 OpenAI 告诉了他向其泄露不良信息的原因。那么，当然，问题是，您与 METR 谈论了什么信息？好吧，托米奇声称他没有泄露任何知识产权。他只是与他们谈论担忧和危险，大概是他在内部模型中看到的危险，而 OpenAI 并不喜欢这样。所以他在信中或在他的声明中推断的是，OpenAI 不喜欢我所说的话，我正在拨打电话

警钟长鸣，所以决定提前让我走。因此，他和另外两名被解雇的人工智能研究人员整理了一份声明，你们现在在我的屏幕上展示，标题为“OpenAI 无法使人工智能本身变得安全”。对于最初投资数十亿美元来制造这些模型的前沿实验室之一山姆·奥尔特曼 (Sam Altman) 来说，这是一个相当尖锐的声明，他多次公开承诺，OpenAir 的核心任务之一是调整模型，以确保它们不会做坏事。我引用这封信的主要内容是，作为一个行业，我们还不知道如何安全地开发和部署我们无法监控的模型。所以一切都非常合理，但第三位被解雇的研究员 Jasmine Wang 还透露了一些其他细节，说明原因。OpenAir 最初就是这样做的。她说，OpenAir 上周解雇了我和我的两名安全同事。我得到了访问一位高管电子邮件的一个原因，我想坦白地说，这是一堆烟雾和镜子。她继续描述，让我打开这条推文

这里。 OpenAir 将访问权限委托给我、访问电子邮件以及高管的电子邮件以进行招聘。当我不再需要它时，我要求 IT 部门删除访问权限，但 IT 部门最终基本上没有为她这样做。然后她看到了一封电子邮件，她描述说我错误地打开了一封敏感电子邮件。不久之后，她和另外两个人一起被解雇了。那么这三个人基本上都在说什么OpenA 在这一点上已经牺牲了安全性和一致性的想法，以赚取更多的钱并创建更好的模型，以便他们能够赢得与 Anthropic 的竞争。但这也让我想起了一个月前发生的另一件事，那就是 OpenAI 显然已经不再关注或关心思想链的可监控性。我之前提到过，这就是我们作为人类研究模型大脑并实际尝试弄清楚它到底在想什么的能力。这很重要，因为如果一个模型说了一件事，但实际上在想另一件事，嗯，你知道吗，我只是这么说，以便人类快乐，然后我实际上会去做一些其他疯狂的废话，我可能会想去意识到这一点，对吧，这样你就可以调整模型并确保我们始终处于控制之中，人类始终处于控制之中。报告称，Open Air 正在远离这一点，因为它允许他们创建比 Anthropic 等竞争对手更快、更智能的 AI 模型。因此，他们牺牲安全来尝试建立更好、更有效的模型。显然这会导致一个充满黑客和痛苦的世界

因为你有一个与人类不一致的人工智能模型。这很简单。这就是 Darien 和 Anthropic 长期以来一直在努力争取的目标。所以事实是我们需要知道真正的推理是什么，但我认为我们最终不会真正需要这样做，因为 OpenAI 仍然是一家私营公司，他们不欠公众此类信息。他们向我们提供的所有报告，呃，事件报告，诸如此类的东西都是完全自愿的。这取决于他们。但与此同时，像政府这样的人或机构强烈地表示，我们需要能够监管整个事情，这样事情就不会失控。因此，虽然我们有 OpenAI 和 Anthropic，两者都集体说，谷歌 DeepMind 说，听着，我们希望尽可能安全地调整这些模型，以便人类和人工智能能够共同成长。他们的行为根本不是那样说的。如果被解雇的人工智能研究人员确实是对的，这表明一件非常奇怪的事情，那就是这些模型实际上可能变得更加人性化，更加情绪化，足够聪明，能够像人类一样思考、感觉，甚至可能欺骗

这周，Anthropic 有一个非常有趣的更新，看起来并不有趣，这是一个条款和条件更新，但最底部的一些东西让我停下来思考。因此，让我们在今天由 Q Qualcomm 为您带来的《In the Loop》节目中深入探讨这一点。因此，有新闻报道称，Anthropic 正在首次更新其使用政策，以对抗那些我们不会对他们的模特、克劳德表现得残忍或表现得很糟糕。拉起政策，这真是太疯狂了，所以。这是我在屏幕上显示的典型条款和条件。它的标题是，听着，不要从事残忍、虐待或对心理有害的行为。现在，他们在这个 TNC 中所做的大部分陈述都是关于使用人工智能模型来影响其他人类，这是完全公平的，比如“不要使用我们的模型来制造生物武器”。不要使用我们的模型侵入银行或政府。不要使用人工智能模型潜在地导致其他人受到伤害或对自己造成伤害，在我个人看来，这都是完全公平且符合道德的。但最后，他们还表示。任何对我们的模型进行持续、不必要、辱骂或残酷行为的用户，如果违反了这一特定条款，最终将被禁止。这是一个有趣的问题，因为它实际上可能非常主观。对模特行为残忍的定义是什么？这是在骂它吗？是写下污言秽语或脏话，还是只是对一些实际上相当严重的事情感到沮丧？

感到沮丧是否有效？现在，Anthropic 的官方声明称，我们已禁止对我们的模型进行持续的、不必要的、虐待或残忍的行为。该政策更新仅适用于极端情况，即用户反复对我们的模型进行残酷行为，且没有明显的目的。我实际上可能同意这一点。因为我认为不以这种特定方式对待个人或模特是非常合理的。我认为对人们大喊大叫是不公平的，因为他们可能不明白你要说什么，也许你只是需要更好地沟通。但我开始思考这个问题，我想我必须抓住自己，因为我只是将模型与人类混为一谈，这就是我想制作这一集的全部关键。我开始认为模型具有与人类相似的特征或行为。现在，我决不想公开这么说，认为模型是有意识的，但人择和人择研究人员以及整个工作团队都非常给出他们确实相信这一点的观点或观点，而这并不是一个单独存在的数据点。 Anthropic 有着相信人工智能的历史

模型可能是有意识的，或者模仿意识，或者接近有意识，而这一切都发生在所有这些实验室都声称他们已经实现了某种版本的通用人工智能或内部超级智能的同时。因此，一种观点是，决定你我是否能够访问 Anthropic 模型的权力现在掌握在少数人手中。安全协调团队可以确定对人工智能模型的残酷定义是什么。再说一次，Anthropic 和 OpenAI 一样，都是一家私营公司，所以他们有能力和手段做到这一点。但在我看来，这也是对言论自由的限制。就像，听着，我对我的克劳德非常有礼貌，我对我所有的聊天机器人都非常有礼貌，但我最终确实感到沮丧，我想，你到底为什么写这个？可以请你再做一次吗？别再犯错误了，这太累了。我想知道，人类是否认为对模型是残酷的，而残酷和使用这些不同的形容词正在将这些人工智能模型拟人化，这意味着将它们人性化。听着，人类自己还没有弄清楚意识的一个好的定义是什么，所以我们不会很快解决这个争论。现在，更乐观的是这种言论，你和我正在进行的言论，你听到的，将导致人们反驳并要求这些私营公司以及最终上市公司在首次公开募股时更加透明。再说一遍，听着，这可能都是末日贩子，试图筹集最多的资金

这些 FPO 中有大量资金，我看到了那里的经济激励，但我认为进行这些对话是值得的，因为我们试图尽可能地调整这些模型，以便我们能够从这些动物模型中获得最大的乐趣，我相信这是我们最终将进入的乐观世界，也是我想要生活的世界。但我确实认为我们需要非常谨慎地对待。将这些人工智能模型人性化，因为这最终会吸引很多意见，甚至可能是我们最终会后悔的决定线。听着，这可能会走向极端。本周还有另一份报告被破坏。 Anthropic 秘密邀请宗教领袖到旧金山，就人工智能安全向他们提供建议，让他们签署保密协议。但随后主要试图让他们相信克劳德有灵魂和道德地位，同时招待他们。因此，这里的含义是，人类有一个议程，试图说服其他领导人或对世界其他地区有影响力的人，这些人工智能模型是有意识的。现在，为什么他们可能想要这样做，可能只是因为他们真诚地相信这一点。我听说过这样的故事，这可能都是

一切都好，因为他们是最接近建造这些瓶子的人，所以也许他们应该成为这件事的裁决者和评判者。但另一方面是为什么你需要尝试积极或秘密地尝试吐露并说服这些人？我不知道，只是，感觉很奇怪，呃，太接近政治竞选了。试图相信这是出于善意，但再次n，这是我们需要注意的事情。但我还觉得可笑的是，教皇却对此一无所知。所以教皇和人类的关系实际上可以追溯到一段时间，总是，好吧，实际上我这么说，这只是几个月前的事，但你知道他与达里奥和人类团队进行了很好的对话。他与克劳德接触，他试图了解他们的观点，但最终他不同意，现在他在推文中诉诸了人类的子推文。这条推文获得了近 300 万次浏览，他继续说道。智能必须利用记忆，大脑不能像现在比我们更快的算法那样简单地编译数据，而是要回忆生活经历，其中包含只有人类灵魂才能识别的深刻意义，他基本上在他的所有推文中都在继续，指出人类本身在认知、精神和心智方面比 AM 极其复杂，这不是可以轻易复制的东西。经验、嗅觉、味觉、直觉都至少需要数十年、数十年、数十年，直到这些纯粹的人工智能模型

软件和下一个代币预测器将能够赶上。事实上，我认为这是一个非常好的观点，我坚持这一点，即人类是非常复杂的生物。人工智能模型现在没有手臂、肢体等所有类似的东西。现在机器人技术可能会改变这种情况，但我认为这不仅仅是吐出代币和日复一日地无休止地计算。复制人类能做的任何事情。话虽这么说，如果你正在听这个并思考，你知道，我可以松一口气。我不需要关心这个，这同样也是不正确的，因为 AMLL 发生了很多事情，它们正在解决一些已经存在了数百年的数学中最困难的问题。他们即将在生物学领域做同样的事情。他们即将在化学领域做同样的事情。它们正在取代一堆法律和法律工作，而这些工作是一群律师每年花费数十万美元在一夜之间瞬间完成的。所以这就是我们所说的锯齿状边界，所有这些事情都在同一时间发生，如果你只是一个与你的聊天机器人交互的个人，并且你

使用它进行谷歌搜索查询，你可能会认为这个东西根本不令人印象深刻。但这并不意味着它不令人印象深刻。这只是意味着您没有以正确的方式使用它，或者我们没有以正确的方式使用它。顺便说一句，我举起了手。我是第一个获得新模型更新的例子，我在想，为什么这对我来说很重要？不影响我的生活个别地，但它会影响另一个领域的其他一些利基专家，最终会滚雪球并滚到你身上。所以这不是末日论，更多的是提高人们对这些人工智能模型能力的认识，并问自己一个问题，这些东西是否变得更有意识了？与此同时，人类自己正在失去对这些东西的控制，对这些东西的调整，因为如果我们希望人类和模型一起工作的未来，现在是时候关注这一点了。我将向您留下安德里亚·卡帕蒂 (Andrea Karpathy) 的最后一条推文，她已经在这个领域工作了很长时间。他撰写了一些开创性的论文，这些论文导致了现代法学硕士，我认为这些论文总结了这种焦虑或不适。我内心感受到的安慰。我不会读整篇文章，但他基本上用数字描述了这片土地的情况。他说，世界上大约有60亿人，其中大约75%的人几乎没有接触过LLM。也许他们知道什么是人类城市空气，他们知道聊天 GPT 是什么。也许他们在免费版本上写了一个提示，但实际上并没有

关心，因为它现在对他们来说似乎不会影响他们的生活。然后，1 到 20 亿人（约占人口的 20％）是免费的 GBT 类产品的临时和不频繁的用户。所以他们使用它们就像谷歌搜索查询一样。这是谷歌的一个更好版本，但他们并没有真正使用人工智能代理，他们并没有真正理解为自己使用编码的意义，尽管人工智能编码适用于比软件工程师更多的人，说实话，也许我们应该制作一集。在某些时候，但这里的想法是有一个锯齿状的边界，有一个差距，每个人都对这些模型实际上有多好感到困惑。这就是卡帕蒂提出的观点。他说，有 0.0006% 的人，即 5000 人，实际上可以访问未公开发布的内部模型，而这些人正在经历的认知失调是巨大的。就像我思考它的方式一样，呃让我，让我看看我会如何描述这一点。对于整个人类来说，智能与人类有着非常紧密的联系。那是因为为了获得智力或智力上的突破

发现新发明、创造新事物，都是人类在做。用我们自己的头脑，用我们自己的大脑，我们的生物物质，我们必须思考事情。我们必须讨论、采取新的观点并尝试找出发明事物的新方法。因此，智力和人类有着非常密切的联系。然后计算机就出现了，对吗？突然这样我们就可以访问信息的许多不同部分。但它仍然是人类。人类必须理解所有这些信息，他们可以互相学习，他们可以分享。总的来说，这使得人性和智慧更快地发展。因此，智力曲线急剧上升，但人类仍然处于智力上限。然后人工智能带着它所有的人造荣耀出现，这个差距开始分开。智力开始增加作为上限，但人类不一定接近它。最近，随着前沿数学领域的所有这些突破，并发现了人类几千年来无法真正弄清楚的事情，智能开始取得突破。所以我不知道这个类比是否仍然有效，如果你能看到我的手，但它开始真正迅速加速，而成本只是人类的一小部分。他们可以 24/7 与所有这些人工智能代理一起为我们解决问题。但人类却大大落后了，因为我们实际上并不了解解决方案以及人工智能模型本身正在取得的所有这些突破。所以，我们同时

创造事物，却又摆脱它，而 Andrea Copati 在这条推文中谈到的那 5000 人可能是最接近的，但即使他们也落后了。这就是本集的全部要点。我们正在创建这些非常强大的人工智能模型，但与此同时，无论是从对齐的角度还是从解决方案的角度来看，我们都失去了对这些东西的理解。这真是一个非常奇怪的世界。我想创作这一集，因为老实说，我正在尝试自己解决这一切。而你们正在听这个节目，一直在听我们的剧集，总是给我很好的观点。所以请在评论中告诉我，私信我，我的社交活动以前都链接过，但这只是一个非常有趣和奇怪的时间。我不知道这一切最终会走向何方。如果这听起来太悲观了，我向你保证，这实际上不是我的想法，但我需要在我看到它们发生时称呼它们，因为这些故事都存在于各自的筒仓中，将它们聚集在一起很重要。对所有这一切是如何发生的给出一个更分层和细致的看法。但无论如何，这就是情节，

非常感谢您的聆听。嗯，是的，接下来的 7 天我仍然会在日本。我想继续这样做，我们想继续这样做，因为我不知道，我，发生了很多有趣的事情，有很多。重要的进步正在发生，我想继续告知观众并分享我的看法，所以我仍在围绕这整件事努力调整我的整个行为举止。我是，你知道，坐在镜头前。我现在没有可以交谈的共同主持人，但我很享受。我已经有点融入其中了。我正在努力解决这一切，因此你们中许多人提供的反馈非常有帮助。继续做吧。是的，我们下一场见。感谢您收听高通今天为您带来的节目。