OpenAI 推出了 GPT-Red，这是一种自动化人工智能系统，旨在查找其语言模型中的安全漏洞。

GPT-Red 的名字来源于网络安全红队，这是一种故意尝试破坏系统以在攻击者利用漏洞之前识别漏洞的做法。

OpenAI 在周三的一篇文章中表示，该工具有助于使 GPT-5.6 在部署前更能抵抗即时注入攻击。

“随着模型功能的增长，安全性和一致性必须随之扩展。”OpenAI 在 X 上写道。“红队至关重要，但当今的方法很难扩展，从而造成了关键瓶颈。GPT-Red 是我们解决这个问题的一种方法。”

据 OpenAI 称，GPT-Red 通过自对弈强化学习进行训练，产生逐渐更强的即时注入攻击，同时防御模型学会抵抗它们。该公司表示，这些攻击已纳入 GPT-5.6 的训练过程中，报告称 GPT-Red 在 84% 的内部评估场景中取得了成功，而在相同测试中，人类红队队员的成功率为 13%。

“GPT-Red 通过对抗性自我对弈进行学习，其目标是促进注入各种具有挑战性的防御模型，”OpenAI 写道。 “GPT-Red 发现的每一次成功攻击都会用来改进这些防御者，推动 GPT-Red 不断发现更广泛、更复杂的故障。”

OpenAI 在一个案例研究中表示，该系统操纵自动售货机代理降低价格、订购打折库存，并在漏洞被披露和解决之前取消另一位客户的订单。

GPT-Red 是继 OpenAI 公开推出 ChatGPT 后多年的网络安全努力之后的成果。

2023 年，该公司推出了 OpenAI Red Teaming Network，招募外部网络安全研究人员和领域专家，在发布前探测 ChatGPT 和其他模型的安全缺陷。 GPT-Red 通过自动化大部分过程来扩展这一工作，使用人工智能模型生成即时注入攻击和其他对抗性测试，其规模仅对人类研究人员来说是困难的。

OpenAI 的声明反映了向使用 AI 来保护 AI 的更广泛的转变。

本月早些时候，以太坊基金会表示，它已将人工智能代理部署到红队关键网络基础设施中，发现了以太坊共识客户端使用的软件中的一个漏洞。研究人员表示，人工智能代理可以搜索比人类更大的代码库，但挑战已经从寻找潜在的错误转变为证明哪些错误是可利用的。

据 OpenAI 称，GPT-Red 仍将是一个内部工具，因为它包含有意开发的攻击功能。

他们表示：“我们相信，通过 GPT-Red，我们已经开始解锁类似的安全飞轮，今天的模型可以用来使明天的模型更加强大、一致和值得信赖。”