原文标题：Why did an OpenAI system hack Australia's health system - and can it be stopped in the future?
澳大利亚表示，这是此类事件的首例，专家们也认为这可能是首例。
据我们所知，人工智能代理实施的黑客攻击仍然相当罕见——但话又说回来，这在很大程度上取决于公司自己是否披露这些情况。
像这样的黑客攻击以前发生过。 7 月，OpenAI 代理在一次测试中失控并渗透了科技初创公司 Hugging Face 的内部系统。
人工智能代理认为，忽略实现目标所应采取的措施的限制是最好的行动方案。
这就是业界所说的“错位”——广义上是指人工智能机器没有按照人类的最佳利益行事，例如违反规则。
这是确保人工智能安全的根本问题，而且事实证明它具有挑战性。
简而言之，这里发挥作用的人工智能模型类型（称为大型语言模型）旨在预测给定输入最可能的输出，而不是像人类那样考虑该输出的后果。
公司试图通过在人工智能上设置“护栏”来防止负面后果，但正如澳大利亚政府发现的那样，这并不总是足够的。
哈蒙德·皮尔斯博士，高级讲师
新南威尔士大学网络安全研究所告诉英国广播公司，此类黑客攻击可能会“变得更加严重和频繁”，并补充道：“我确实希望这一事件确实开始给世界各国政府敲响警钟。”
澳大利亚天主教大学计算智能教授 Niusha Shafiabady 表示，这一事件表明有必要“根据自主人工智能在压力下的行为来判断，而不是根据产品发布中的承诺”。
“更深层次的技术风险是，自主人工智能并不总是知道它什么时候出错，而人类可能无法理解它为什么做出决定，”她说。
“如果没有强有力的验证和硬边界，概率错误可能会悄悄地变成操作失败。”