原文:Microsoft offers devs a better way to control AI agent behavior

随着人工智能代理的能力变得越来越强大,企业竞相让它们跨应用程序、工作流程和产品工作,面临着新的挑战:确保代理在跨不同环境部署时能够完成其应该做的事情。

微软正在尝试通过名为代理控制规范(ACS)的新开源标准来解决这个问题,该标准旨在为开发人员提供更一致、更精细的方式来控制允许人工智能代理执行的操作。

该规范本质上是让开发人员、合规性和安全团队定义自己的策略以供代理遵循。这些规则可以定义代理可以做什么、不可以做什么、人类何时应该批准某项操作,以及应记录哪些证据以供以后审查。当代理停止执行任务时,会在多个“拦截点”检查这些策略文件,以确保其保持在护栏内。

该规范出台之际,开发人员正在想方设法控制人工智能的所见所为,特别是在讨论重点关注人工智能工作流程因工具误用或意外操作导致级联故障而出错时。

如今,开发人员可以在系统提示中指定指令,在应用程序代码中添加自定义检查,或使用分类器来捕获有问题的输入和输出。这些方法是有效的,但它们常常给公司留下碎片化的控制,这些控制难以审计,也更难在不同的框架、界面和系统之间重用。

图片来源:微软

ACS 旨在将这些控制集成到一个公共治理层中。微软表示,该规范可用于检查代理在其工作流程中的多个点是否坚持护栏——在接收输入之前、调用工具之前、工具返回结果之后以及将最终响应发送给用户之前。策略可以允许、阻止某项操作、编辑敏感信息,甚至要求某人批准该操作。

开发人员还可以为输入插入分类器

阅读原文 →