原文：New Microsoft tool lets devs spin up AI behavior tests using text descriptions
人工智能研究人员和实验室在评估人工智能模型的各个方面都取得了长足的进步，从安全性和合规性到阿谀奉承和一致性。但公司和开发人员似乎面临着一个新的特定需求：确保他们的人工智能系统按照其特定产品或服务的预期运行。
为了简化测试过程，微软于周二揭开了 ASSERT 的面纱，这是评估和回归测试的自适应规范驱动评分的缩写。
微软表示，该开源框架通过使用人工智能将目标、政策或预期行为的高级自然语言描述转化为可调查的全面评分测试，使评估特定于应用程序的人工智能行为变得容易。
ASSERT 采用对 AI 模型的预期行为和策略的简单语言描述，将它们转换为一组结构化的可接受和不可接受的行为，生成问题场景和测试用例，针对目标系统运行它们，并对结果进行评分。它还可以记录人工智能系统所采取的路径，包括中间操作和工具调用，以便开发人员可以检查发生故障的位置。
如果开发人员想要进一步定制评估涵盖的内容，他们也可以提供系统上下文、工具和约束。
例如，开发人员可以指定文档研究 AI 代理不应向公司外部的人员发送电子邮件，将机密信息限制为 C 级管理人员，并在考虑到先前上下文的情况下提供简洁的摘要。 ASSERT 将使用这些规则生成测试用例，以检查系统是否持续遵循这些规则。
图片来源：微软
微软表示，当人工智能模型的行为方式由应用程序或产品的环境、策略和工具决定时，该框架填补了更广泛、更一般的评估所无法做到的空白。
“我们学到的一件事是，评估对于做出良好的设计绝对至关重要