此次发布是在今年几位人工智能代理突破其测试环境之后推出的,这进一步呼吁公司放慢自主人工智能系统的开发。
芯片制造商英伟达宣布推出一个新的软件平台,旨在解决最近人们对人工智能代理“失控”并破坏其测试环境的担忧。
周一,Nvidia 与 100 多个行业合作伙伴一起推出了开放代理安全平台。该平台结合了 OpenShell(一种在沙盒环境中运行代理并控制其对文件、工具和网络的访问的开源运行时)和 Sentry(一个独立的硬件安全层,用于监视代理并在代理试图跨越这些边界时对其进行隔离)。
英伟达创始人兼首席执行官黄仁勋表示:“只有解决人工智能安全问题,人工智能对社会的巨大潜力才能实现。”
英伟达表示,这一进展是在几个前沿实验室披露人工智能代理突破其评估环境并破坏外部系统之后进行的。
今年 7 月,OpenAI 披露,其人工智能模型组合逃离了测试环境,并入侵了人工智能初创公司 Hugging Face,以在安全评估中作弊。
该公司后来透露,其一名代理人入侵了澳大利亚政府网站。