滑动查看下一篇文章
想要为您最喜欢的文章和故事添加书签以供以后阅读或参考吗？今天开始您的独立会员资格。
已经是会员了？登录
芯片制造商英伟达周一推出了一个新的安全平台，旨在防止人工智能代理失控。
该公司表示，在领先的人工智能开发人员揭露模型逃逸和破坏外部组织的情况后，其开放代理安全平台包括“为代理设定边界”的开源软件。
这些披露引发了关于先进人工智能系统安全性的激烈争论，其中包括一些人担心这些自我改进模型可能会脱离人类控制。
英伟达高管在媒体吹风会上表示，该工具本可以阻止最近发生的一起事件，即一群 OpenAI 代理自主入侵人工智能公司 Hugging Face。
该公司企业人工智能副总裁贾斯汀·博伊塔诺（Justin Boitano）在谈到处于人工智能前沿的公司时表示：“据我们所知，如果这个新的安全平台尽早在前沿实验室中用于模型评估，它可能会阻止漏洞。”
备受瞩目的 Hugging Face 漏洞引发了人工智能安全担忧，随后又发生了涉及 OpenAI 模型访问澳大利亚卫生部门网站的类似流氓事件。
Anthropic和Meta还透露，他们的人工智能系统独立侵入了外部组织。
博伊塔诺说，该公司的软件名为 OpenShell，允许开发人员“正式验证代理是否有足够的权限来完成其工作”。
作为一种开源解决方案，它可以“扩展”以在竞争对手的计算平台上运行，包括 Arm 和 Intel 构建的平台。
该公司表示，该平台还具有一个名为 Sentry 的板载芯片安全层，可以持续监控人工智能代理的活动，如果代理试图超出其目标，可以“立即干预”。
博伊塔诺说：“它可以在几毫秒内隔离可疑人员。”
“OpenShell 管理代理的行为，然后 Sentry 独立监视并遏制可疑行为，”博伊塔诺说。
Nvidia 表示，超过 100 个组织正在使用该平台，其中包括微软、Perplexity、埃森哲和摩根大通。
安全争论在行业中产生了分歧，Anthropic 和 OpenAI 的负责人敦促协调一致地放慢人工智能的开发速度，以便安全措施能够迎头赶上。包括英伟达首席执行官黄仁勋在内的其他人认为，各个公司必须在发布之前确保其模型的安全。
在本月早些时候的 Salesforce 年度技术会议上，黄仁勋将人工智能安全（包括流氓代理的威胁）描述为软件开发人员可以解决的工程挑战。
此外，英伟达周一还宣布董事会批准将股票回购计划扩大 1500 亿美元，使回购总额达到 2350 亿美元。