原文标题:AI Hallucination Nearly Triggers US Military Operation
今年春天,当美国官员有了一个令人震惊的发现时,军用飞机已经在空中飞行:针对中国船只的武装行动的情报是由人工智能聊天机器人产生的幻觉。据美国有线电视新闻网 (CNN) 周五报道,该行动在最后一刻中止,勉强避免了与中国的潜在冲突。
这一事件突显了军方官员和外部专家日益担忧的问题:随着决策者越来越依赖人工智能,这些系统产生的错误可能会在受到质疑之前就传到指挥链。
这份在与伊朗战争期间流传的情报报告称,这艘船载有核武器计划的部件。
虚假情报源自一名特种作战司令部分析师,他要求人工智能聊天机器人将开源数据与机密信号情报进行综合。聊天机器人错误地识别了船舶的货物清单。然后,分析师第二次使用该工具将错误调查结果格式化为正式的摘要,并在指挥渠道中分发。
这次险些发生之际,美国军方竞相整合人工智能,以加速决策并保持领先优势。
中国。五角大楼称人工智能在加速杀伤链方面具有显着优势,因此指挥官可以在正确的时间做出反应。但人工智能具有吸引力的同时,也可能在人类监督不足的情况下引发幻觉。
GovAI 研究学者、美国陆军资深军官杰克·斯特克勒 (Jake Steckler) 在给 TechCrunch 的书面回复中表示:“对于军人来说,了解法学硕士固有的不确定性非常重要。” “但这对于任何可能导致使用武力的决定尤其重要,例如目标定位、情报分析或作战计划。这些决定会带来生死攸关的后果。”
尽管如此,斯特克勒表示,这一事件应该成为为人工智能增加更多保障措施的呼吁,而不是避免它的理由。 “这些工具在适当的环境和适当的保障措施到位的情况下可以发挥作用,”他说。 “但是,将采用速度放在首位可能会导致一些事件,而这些事件只会让服役人员对这些系统失去信任,最终只会减慢采用速度。”