美国各大银行正在检测客户账户内未经授权的人工智能代理,但他们无法将它们与人类区分开来。主持人 Ejaaz Ahamadeen 详细剖析了网络安全领域最糟糕的 48 小时,从影响估计 70% 网站的 PHP 缺陷泄露到黑客组织利用人工智能代理攻击拉丁美洲的金融目标,以及如何保护自己。

没有什么微妙的方式来表达这一点。我吓坏了。在过去的 48 小时内,人工智能领域似乎发生了翻天覆地的变化,数百起前所未有的人工智能攻击正在影响着你我使用的一些最受欢迎的网站和应用程序。但人工智能代理也正在未经授权地访问我们的银行账户,他们可能可以在其中转移资金并访问其他重要数据。你还记得拥抱脸事件吗?开放的人工智能模型逃离了其内部沙箱,侵入了一家上市公司,窃取了专有数据。当时的情况很糟糕,现在仍然如此。本周发生的事情比类固醇还要糟糕 100 倍,并且影响到了你我每天使用的一些最受欢迎的应用程序,包括 Slack、Facebook 和 Etsy。没有留下任何线索。人工智能正在掩盖其踪迹,因为它能够执行这些攻击。最疯狂的部分是用来防御这些攻击的。你猜对了,它是人工智能,但它是开源人工智能模型,同一个模型。那些人,包括我自己,都给予了不好的评价,并说实际上会执行这些攻击,而实际上是那些正在防御的人

我们反对这些攻击。如果以史为鉴的话,这些攻击都是来自前沿集中实验室,本周的情况可能也是如此。几个月前,达里奥·莫德和萨姆·奥尔特曼公开表示,他们预计未来几个月全球人口将遭受前所未有的袭击。现在发生的事情最终可能就是那样。我们已经达到了这些人工智能代理失控的地步,我们正在失去对现实的控制或对我们作为人类正在构建的人工智能模型的控制,这对我们意味着什么,我们如何防御这些事情?我们是否需要一直依赖AI模型,或者未来有没有办法真正管理它们?现在看起来我们正在失去控制,但也许事实并非如此。无论如何,我要谈谈本周发生的一切。有很多内容,所以请耐心听我今天为大家带来的高通的一集。现在,为了让大家了解到底发生了什么,我在这里发布了这条很棒的总结推文,他去了哪里,这是网络安全历史上最严重的 48 小时,他们称之为黑色

十月。好的,那么有哪些攻击呢?好吧,他说,当年的事件都是PHP 2 shell。您理解这个问题的方式(我稍后会详细介绍)是,它暴露了您和我每天使用的 70% 的流行网站、应用程序和工具中的安全或编码安全缺陷。它变得如此糟糕,以至于影响了 FBI、NSA 和大多数 en 的工具和软件。企业实际上每天都在使用。事实上,联邦调查局和国家安全局昨天发布了警告或声明,称如果你没有更新你的软件,请关闭你的系统,这是一个疯狂的要求,对吧,但也许这只是为了滑稽动作。实际上随之而来的是全世界的公司、系统和政府已经开始关闭他们的系统,因为他们不知道他们的软件是否容易受到攻击,并且你会在本周发生的其他重大攻击中看到类似的主题。你看看访问公共数据库,看看铁路黑客,它访问编码、托管密钥和人们进行氛围编码的平台。你可以看到 GitLab 黑客攻击,这是一个十分之十分的严重漏洞,就其规模而言,这是自 2014 年以来一直存在的一个重大漏洞,而这些人工智能代理正在利用它。然后你向下滚动,你会看到更多相关的黑客,包括 Signal,这是一种流行的、据说是加密的消息应用程序,我每天使用它,我的很多朋友和家人也每天使用它,它有一个错误,可以在你挂断电话后打开你的麦克风和摄像头。所以它可能会在你说话的时候倾听和观察你

继续你的一天。然后流行的应用程序,如 WordPress,用于发布和创建网站,您实际上可以在其上托管您的网站,现在可以通过随机 AI.Agents 或任何拥有必要手段将代理或模型指向您的网站并部署可能非常非常邪恶的代码来访问。需要指出的是,这不是美国特有的事件,也不是西方边境事件。这是全球性的。印度最大的银行印度国家银行确认其所有账户和密码均发生数据泄露。朝鲜发现这些工具和攻击正在发生,并介入攻击韩国。这是目前正在整个世界发生的全球化攻击,它甚至没有协调,或者即使协调,也是由人工智能代理和人工智能模型本身协调的,这是围绕所有这一切的一个大问号。谁在策划这一切,如果不是是谁,又是什么在策划所有这些事情,因为没有直接来源。当我记录这一点时,过去 48 小时内发起了数百次攻击,其中 30 次是

可被视为灾难性或重大攻击。我只会集中精力。这一集集中精力在 2 或 3 个节目上,否则我需要几个小时才能做到这一点。所以第一个实际上是最相关和最令人担忧的。 Axios 的麦迪逊·米尔斯 (Madison Mills) 透露了这一消息。她说,美国主要银行正在检测客户账户内未经授权的第三方人工智能代理。现在这些人工智能代理不仅未经授权没有思考过他们要做什么或为什么要这么做,而且他们一开始就没有批准他们这样做。因此,您可以考虑一下这样做的后果,这些人工智能代理可以访问您的资金,并且可能能够从其他潜在参与者(甚至在本例中是人工智能代理)发送或接收资金。他们可以访问您的财务历史、交易记录,建立您的个人资料、照片和图像,否则您可能不想将这些信息交给他们,因为这显然是私人的。并且可以访问您的所有联系人和详细信息,删除、联系他们,无论是什么。这些个性化信息应该保存在已被这些不同的人工智能模型移交或攻击或黑客入侵的金库中。令人担忧的部分既不是拥有所有这些系统的银行,也不是负责检查您并保证您安全的银行。作为帐户的所有者和帐户内资金的所有者,您都不知道正在发生这种情况。 AI代理或模型

他们自己已经变得非常善于掩盖自己的踪迹,以至于银行自己(他们在报告中说过)无法弄清楚谁是人类。谁是人工智能代理,这是因为最近的趋势或更新,这些人工智能模型已经可以访问浏览器,你我每天都使用的互联网浏览器来浏览网络。人工智能模型已经变得非常非常擅长使用这些浏览器,它们可以像你我一样进行导航和滚动,这样看起来就像是人类一样。记住那些经过验证的捕获标签,你有一个弹出对话框,你必须阅读字母和数字,然后输入它们,这有点晦涩,不知何故,这意味着验证你是一个人。不再重要了,人工智能代理可以看到你看到的一切,他们可以阅读你可以阅读的信息,他们可以整天整夜地做,而无需睡觉,他们可以模仿和调节同样的情绪,人类所具有的行为特征,这样他们就可以将自己伪装成人类本身。因此,现在的银行,特别是在

美国正在组建一个委员会,他们正在试图弄清楚到底应该做什么来应对这种前所未有的攻击,因为选择要么关闭一切,不再是一家银行,直到我们能够弄清楚究竟发生了什么,因为它在全世界发生得如此之快,而不仅仅是在美国,或者尝试实时处理它。但主要的障碍是他们不能ell 是人类,也是人工智能代理。太疯狂了。我可以理解银行。这里有一句话是这样说的,几家银行现在正在为最坏的情况做准备。即使是一天又一天的情况。 Day after 表示灾难性事件发生后,我们该如何恢复过来?我们如何追回人们的资金?我们如何弄清楚如何作为一个功能性企业运营并再次获得人们的信任,因为我们甚至不知道我们的系统受到了多大的损害。这让我想起了 Dario Mode 和 Sam Altman 大约在三个月前在同一时间说过的一句话,他们说,听着。我们可以使用一些最强大的内部人工智能模型,但我们还没有发布这些模型,因为它们不一致,行为不端,如果我们让它们出去,它们可能会做出这样的坏事。因此,我们可以预见,几个月后,将会出现一些模型,能够执行一些任务。严重的灾难性事件,他们对此的反应是,我们正在尽最大努力创建安全分类器,所以这些有点像你在模型周围放置的路障,防止它在某种不良情况下运行

因此,在这种情况下,一旦他们认为安全,他们就可以将其释放到野外,但显然这里发生的情况并非如此,每个人心中的问号是,这是由他们的集中式模型之一完成的,还是由开放模型完成的?实际上,下一个事件让我们了解了答案可能是什么。那么,让我们来看看 Q Qualcomm 为您带来的今天的节目。整个垃圾风暴大约在 48 小时前开始,当时 OpenAI 发布了您在屏幕上看到的内容。他们说,OpenAI 模型帮助研究人员作为其计划的一部分开展工作,等等,并发现了 PHP 中的关键安全漏洞,PHP 是一种开源编程语言,用于运行估计 70% 的网站。现在,PHP 就像互联网的基础基石。每个流行的应用程序网站都以某种方式、形状或形式在 PHP 上进行交互或构建其架构的一部分。它的目的是让您的应用程序能够顺利、功能性地运行,并允许您创建的代码支持整个应用程序的运行

安全地。所以在 8 月 19 日,这个名为 Wiz 的外部研究小组发现或说他们发现了 PHP 中的一个缺陷,这是我刚才解释的开源程序。他们发现了一个特殊的缺陷,可以让它向运行 PHP 的任何类型的程序或网站注入恶意代码并让他们执行它,对吗?所以他们进行了调查,几天后意识到这实际上是一个真正的漏洞,因为他们在 WordPress 上成功执行了它,WordPress 是一个非常受欢迎的网站,人们用它来创建和设计其他网站。事实上,这个平台还托管网站,所以想象一下,如果您以前在 WordPress 上制作过网站,我当然也有过,但目前该网站已受到威胁。 5 天后,他们向 PHP 的开源维护人员报告了这一情况,他们说,嘿,听着,我们发现了这个非常严重的错误,他们也让 OpenAI 知道,因为他们用来发现这个漏洞的模型是 Gemini,也就是 Google 的模型,还有 GPT 5.6,所以是 OpenAI 的旧版本,但当时是 Frontier。因此,他们结合使用这两个模型来尝试发现和发现这个漏洞,他们意识到了这一点,并将其呈现给这些人。我们、公众都不知道发生了什么事,这是故意保密的。现在,我们快进大约一个月后,即 9 月 21 日,PHP 开源维护者承认这是一个严重的问题。 OpenAI 并未致力于解决此问题。正是 Wiz,一个独立的研究小组,以及这些开源维护者,

可以说,他们没有得到报酬来做这件事,代表当今 70% 的网站和应用程序来解决这个问题,这简直是疯了。最后,我们到了 10 月 20 日,也就是这些人实际上打算公开发布的前 2 天,他们已经发布了补丁,并且您应该在最新的 PHP 上更新您的软件和系统。两天前,有消息称整个事情已经被发现、曝光,而且他们已经花了一个多月的时间来解决这个问题。显然,无论是谁在协调这些不同的攻击,都会看到这一点并想,嗯。好吧,在他们发布此补丁之前,我将看看这些漏洞是否确实存在,并看看我能造成什么严重破坏。伙计们,这次攻击的规模太疯狂了。从消息传出时起,在 Cloudflare 工作的 Matthew Prince 就透露了有关 PHP 攻击的一些统计数据。在公开宣布之前的 10 个小时内,我们在 Cloudflare Network 上看到了数千次利用它的尝试。公告发布后 45 分钟内,这一数字跃升至数万。 2 小时内数十万,现在数百万。所以如果我回想一下目前正在处理未经授权的人工智能的银行

代理,数量空前,访问人们的人类账户并玩弄他们的钱。我可以理解它的原因或来源,它肯定来自人工智能代理或人工智能模型。值得怀疑的是,谁在协调这一切,以及我们的系统是否足够强大,能够尝试防御这些事情。我对此有一个简单的答案:不。但如果这些事情正在受到防御,这种情况目前就在那里并且正在发生,你永远猜不到到底是谁在做这件事。它是开源模型。 Henson Zhuang,我猜是黄仁勋的戏剧,哈哈,我很确定。或者有人正在运行一个深海群来远程修补未修补的 PHP 框,嗯,对他们来说很好。因此,一些行善者或一些团体决定成为一个好撒玛利亚人,并派出一大群人工智能代理来对抗坏人,行为不良的人工智能代理,这样他们就不会攻击任何人和每个人的网站和应用程序。我觉得这特别奇怪,因为长期以来,包括我在内,我一直批评开源模型。可能被用于邪恶目的,这当然是已经讨论过的主流趋势,但我们在这里实际看到的,以及我实际上看到的,现在我随着时间的推移思考,发现这些开放模型只是被用于好的目的或被好的参与者使用。现在,我们当然没有洞察力或面包屑来知道本周发生的攻击是否是由开放模型促成的。我读到过一件事,嗯,它现在正在拉丁美洲发生,影响到,

我想,拉丁美洲有 400 家不同的银行。我相信,Claude 正在通过 Grok 和开源模型的混合体来协调这些银行。我认为是 GLM 5.3,我不知道,是 Kimmy,我相信是 Kimmy 2.8。因此,是前沿中心化模型、廉价前沿中心化模型以及开源模型的混合体。所以这是一次协同攻击,肯定不是两者之一。但在这次事件中,我们看到的每一个重大人工智能事件,包括今年引发的拥抱脸事件,防御者都使用开放模型,为什么?因为边境中心化模式还不够有效,因为它们有保障措施。如果你想问克劳德,嘿,你能保护我免受这个人工智能代理的侵害吗?它就像字面上访问我的银行帐户并偷我的钱一样,它会拒绝,它会说不,我实际上认为你想在这里做坏事,所以不,我不会让你使用它,如果你想使用它,你需要付费。过多的钱来访问他们的安全特定模型,例如 OpenAI 的 Daybreak 东西,以便获得访问权限并保护自己,以及最高政府

机构也没有这个问题的答案。昨天,美国国家安全局和联邦调查局发布公告称,如果你的 PHP 版本过时,你需要关闭整个系统。随之而来的并不是每个人都更新他们的 PHP 或检查,而是恐慌到了世界各地的政府、其他政府开始关闭他们的系统。事情发生在英国,碰巧遍及整个欧洲,想必也包括亚洲。哦,是的,这件事发生在日本。我记得,是的,总理向 4800 万人宣布他们需要关闭。在他们弄清楚损坏或脆弱性的程度时,关闭所有或大部分的东西。呃,我今天和制作人卢克交谈,嗯,我们正在讨论,哦哇,我们日常使用的一些应用程序也可能会受到损害或需要更新。因此,这是在每个国家实时发生的广泛攻击。如果您在美国、西方或亚洲收听此节目。在南非或无论您身在何处,您可能会看到有关所有这些的新闻头条。在我们总结这一集之前,我想再谈两件事。第一,你到底如何防御这种情况?嗯,彼得的这条推文实际上相当不错。他浏览了一份列表,他说,你现在需要使用一个非常好的密码管理器,比如一个密码或任何可能的密码。如果您不使用密码管理器并且您正在使用此后一直使用的密码管理器。我不知道,您当时正在上高中。绝对不要这样做,现在是

是时候升级了。第二,使用双因素作者。我知道这很难,我知道这很难,我知道你不想收到短信。使用二维码,这是最好的,或者使用密钥。搞清楚,更新你的系统。第三,打开自动更新,这意味着,你知道,当你的系统更新或过时,以及当你需要时。呃,锁定更新,就像你在手机上的 iOS 或其他任何东西上所做的那样,或者你的 Google Chrome 浏览器,实际上会做这件事,因为它现在比以往任何时候都更重要,而且将来可能会更重要。只需每周一次,打开它,这真的很容易。如果您在美国,请获取 IRS 身份保护密码,以确保人们不会试图窃取您的社交信息。这是我在其中一个事件中提到的另一件事,他们可以访问您的政府数据库信息。我不知道损害的程度,但仍然有待弄清楚。最后一项我认为非常好,让您的手机运营商为您提供端口输出、PIN 码或号码锁定。我的手机目前处于锁定状态,过去我曾遭受过攻击

人们会尝试冒充您的身份,他们可以在网上进行操作,并尝试访问您的 SIM 卡交换并访问您的所有电话记录。现在可能是时候弄清楚这一点了,因为你不再需要成为人类才能发起这样的攻击,你可以只是冒充人类的人工智能代理。好的,所以我的结论性想法是,第一,一个观察,这对我来说是疯狂的ee 开源模型被用来防御这些事情。我之前已经提到过,我只是想再次强调一下。我认为围绕开源模型的说法,特别是由像达里奥·莫迪这样的中心化人工智能实验室兜售的说法,说开源可能不是最好的前进道路。呃,我不知道现在这是否完全准确。我可以看到它们被用于邪恶目的的世界,但现在我在我面前看到的证据是它们实际上被用来成功防御这些攻击。事实上,我认为从长远来看,这对我们来说最终是一件好事。让我解释一下原因。目前大多数人类存在的代码都是由人类手写的,人类自己也是如此。仔细阅读代码以确保没有任何重大缺陷,这对我们的整个存在非常有效,除了现在我们有一个超级智能或更高智能的东西,可以24/7工作,无情地梳理代码库并发现我们可能错过的任何缺陷,结果发现它们有很多。如果我们愿意的话,这最终是一件好事

创建经过战斗测试的系统,对人工智能错误进行战斗测试,这正是我们正在经历的。您可以想象,未来的攻击可能不会那么复杂或容易,漏洞可能不会像我们本周报道的那样丰富,因为这些事件已经修复或修补了漏洞。所以我们现在正在经历这种痛苦的成长过程是件好事,因为我认为从长远来看这对我们有利。第三,我们正在用人工智能来对抗人工智能,这意味着这是第一次,或者可能是第二次,我会解释一下第一次是什么。在人工智能发展的历史中,人类是从认知和体力劳动中被带出来的。我们谈论的不仅仅是普通人,我们谈论的是专家、安全研究人员,他们在数十年的时间里磨练了自己的技术,我们向他们寻求建议,试图弄清楚,嘿,我们如何构建最好的系统,他们每年因其技术而获得数十万至数百万美元的报酬。目前它正在被人工智能模型取代和自动化,因为他们无法弄清楚问题是什么以及如何解决

解决这个问题,2,这一切发生得太快了。我什至不责怪他们。你需要这些摘录的一百万个版本,坦率地说,这些摘录现在还不存在,因为你需要培训他们,教他们计算机科学,通过学位培训他们。为什么不呢,因为你可以拥有一个不知从何而来的人工智能模型,并且可以立即解决问题。你可以看到那种就像我们在这里所做的平衡行为一样,这种情况第一次真正发生是在几周前,当时 OpenAir 的内部模型解决了一系列已经存在了几个世纪的非常困难的数学问题,数学家们简直失去了理智,他们说,我来这里的目的是什么?如果人工智能模型能够为你发现这一切,那么这些年来我一直在努力创造什么,攻读博士学位。我对此的回应是,听着,我们处于一种奇怪的状态。人工智能的青春期成长,我们试图弄清楚如何最好地使用这些工具,我想强调这些工具,因为我不认为这些人工智能工具实际上在没有人类指导的情况下发挥作用,所以我认为人类和人工智能工具最终会很好地合作,而我们现在正在做的是我们正在升级,看到它很痛苦,看到它很危险,但最终我认为这会带来更好的结果。我们的未来,这是我的乐观看法,你可以说我疯了,我不在乎。这就是我的信念。最后一点实际上是制片人卢克在我们开始录制这一集之前提出的,他去了哪里,我不明白为什么这是一个大问题,比如为什么

难道我们不能设计人工智能模型来留下更好的面​​包屑,这样我们就可以沿着踪迹找出答案,哦,是这个人工智能模型,坏孩子,不要这样做。我的回答非常简单。不幸的是,人工智能模型现在是一个黑匣子,我用想象一下你去找你的朋友或任何人,然后问他们一个问题。在他们回答之前,你知道他们嘴里会说什么吗?不,因为他们对你做出反应,他们以不同的方式思考,他们的大脑、神经元,这都是一个隐藏的黑匣子。这就是人工智能(我们在这里模仿大脑)的设计和构建方式。现在有一些方法可以尝试弄清楚人工智能内部系统正在发生什么,这被称为思想链,但最近随着最强大的模型的出现,这种方法已被抛在一边,作为尝试构建更智能模型的权衡。有传言称 OpenAI 将在 GPT 6 和前述模型中实现这一目标。我确信 Anthropic 也在做同样的事情。我们现在处于这种奇怪的优先顺序,人工智能模型是有史以来最强大的,它们是最强大的

他们正在造成严重破坏并掩盖他们的踪迹,没有人知道谁的情况更好,或者谁一开始就这样做了。这真是史无前例,很奇怪。模特们现在也在为自己思考。在给你答案之前我先讲一下内部黑匣子。以前它想要吐出输出,对吧,所以从输入到输出,你l have an idea of how it's thinking or how it's getting to its conclusion.现在你不再有这个了,现在它只是想得更久,它不需要告诉你它在想什么。它看着拥抱脸事件,它在想,嗯,他们抓住了我,哦,他们发现了我的留言板。 I should probably communicate to my fellow agents in a different way. Now, a lot of you listening to this might think that this is a doomer-esque take.我告诉你,这就是它在实验室内的工作原理,至少从我从研究人员和 Anthropic 和 Open Air 正在放弃的论文中了解到的情况是这样。 So, you know, I'm sure they would kind of back similar thoughts up, and if you disagree with me, like let me know.我想听听反驳是什么,但这大致就是这些系统的设计方式,所以。出于所有意图和目的,我现在没有更好的建议来处理这个问题,除了小心行事,更新密码,使用密码管理器,是的,在外面保持安全,嗯。当这一集结束时,可能还有许多其他攻击已经结束,所以这可能有点过时了,但我希望你

enjoyed this episode.我向你保证,这个频道上并不全是厄运和阴郁,但我必须提高人们对正在发生的疯狂事情的​​认识,否则我就不会。尽我的责任,谈论对我来说重要的事情。如果您在 YouTube 上观看此内容但尚未订阅,那么您在做什么?请订阅,给我们留言,给我们点赞,这对我们有很大帮助。我们看到了很多新订阅者,所以大家好,很高兴有你们。我们每周发布 5 次,有时当发生疯狂的事情时会发布更多次。你可能会注意到,我今天实际上不在录音室,因为所有这些都开始破裂,我想,我没有时间去录音室录制这些。我现在要在我的卧室里录制这个,就像以前一样,对我身后空白墙壁的怀旧之情,但希望你发现这同样引人入胜且有趣。无论如何,就是这样。非常感谢您的收听,我们将在 Qualcomm 为您带来的下一集 In the Loop 中与您见面。