《The Loop》主持人 Ejaaz Ahamadeen 讨论了 Nvidia (NVDA) 的新计划,即使用其 Sentry 芯片来监控和隔离失控的 AI 代理。在此之前,发生了重大数据泄露事件,并且有报道称人工智能代理逃离沙箱,对公司或政府数据库进行黑客攻击。
现在,我上周在播客上观看了 Jensen 对 Ezra Klein 的采访,他提出了一个非常具体的观点,即他觉得奇怪的是,所有人工智能实验室目前都在对未来进行厄运,并需要放慢人工智能研究的速度。他指出了一些相当明显的矛盾。他说,似乎大多数公司都在购买并加速大部分人工智能计算,因此他们正在投资人工智能资本支出,他们正在尝试尽可能快地训练模型,
是那些要求放慢速度的人,同时投入所有这些资金并试图加快速度。这里的情况有些矛盾。然后他提出了一个非常现实的观点,那就是,如果他们想放慢速度,他们可以放慢速度。如果产品还没有准备好并且可能会侵入公司,你猜怎么着?你可以放慢脚步,发布一个安全的产品。我觉得这很有趣,因为马克·扎克伯格上周在推出 MetaMuse 时也说过类似的话,
它完全像病毒一样传播开来。他说了一些有趣的话。他说,我们几个月没有推出 MetaMuse,因为我们希望安全地调整它。现在,我们并没有对此大惊小怪。我们并没有出去说 MetaMuse 攻击了许多不同的公司。我们刚刚确保了产品的安全并推出了它。当然,Jensen 和 Mark 都认为这可能更像是 Anthropic 和 Open AI 等公司的公关噱头,而不是真正有效的担忧。詹森想要表达的观点是双重的。
第一,他相信我们可以推动前沿人工智能模型成为第一,并在安全加速的同时保持领先地位。因此,至少他推出或宣布的产品,即代理安全平台,就是实现这一目标的一种方式。那么让我们来看看它是如何工作的。因此,可以将该平台视为 Nvidia 花费数年时间打造的两种产品的组合。第一个产品称为 Openshell。
它是一个开源平台,它基本上围绕您的人工智能代理构建了这种软件围栏。所以这有点像控制它并确保它不会逃跑或做任何邪恶的事情。现在,如果这听起来很熟悉,那是因为它几乎是一个沙箱,这正是 Open AI 和 Anthropic 构建的东西,导致他们的 AI 模型逃脱。所以您的问题可能是,这有什么不同?关键是,Nvidia 精心设计了这个,以避免出现这种结果
影响。但该平台真正强大的地方在于第二个产品。它叫Sentry,是一个硬件芯片。现在,由于几个不同的原因,这一点很重要。哨兵可以被认为是坐在栅栏外周的守卫,它隐藏在阴影中,人工智能代理不知道它的存在。但这个守卫基本上可以看到人工智能代理所做的任何事情。显然,需要注意的是人工智能代理不知道
这个东西存在。最酷的是,当人工智能代理走出栅栏,到达第一个产品(打开外壳)时,它会立即隔离该代理。它可以通过硬件来做到这一点,这与 Open Air 发生的拥抱面部攻击以及 Anthropic 的云和其他人工智能代理发生的所有其他攻击或逃脱有一个重要的区别,因为这都是在应用程序或软件级别。
如果我将这一点放在脑海中,那么每一个逃脱收容并做出所有这些不协调行为的人工智能代理都是因为软件问题而逃脱的。 Nvidia 的主张是,我们在 AI 代理周围有更好的软件防护栅栏,而且我们还在硬件级别提供保护,这意味着即使它确实成功逃脱,我们也有一个芯片可以明确阻止它。但是听着,我明白了,就像证据就在布丁里一样,对吧?詹森实际上在这份报告中证实了他们
进行了测试,他们发现,在与拥抱脸事件完全相同的条件下,拥抱脸事件导致了我们已经谈论了一段时间的整个灾难,它可以在几毫秒内阻止整个事件的发生。现在,为了给大家提供一些背景信息,抱脸事件不仅发生了,而且发生了几个月,没有任何人意识到或不知道。