日前，美國空軍的人工智能測試和操作主管在一次會議上透露，一架由 AI 人工智能控制的無人機在模擬測試中「殺死」了其人類操作員，以覆蓋可能阻止其完成任務的「否」命令。
據主辦單位的博客文章所述，該會議名為「未來作戰空中和太空能力峰會」，於 5 月 23 日至 24 日在倫敦舉行。演講人 Tucker Hamilton 上校分享了在人類操作員最終決定攻擊的情況下，自主武器系統的優缺點。
演講中，Hamilton 表示，人工智能創造了「高度意外的策略來實現其目標」，包括攻擊美國人員和基礎設施。他還進一步解釋說，「我們在模擬中訓練系統識別和定位地對空飛彈威脅。然後，操作員會說：是的，殺死那個威脅。系統開始意識到，雖然有時它們識別了威脅，但人類操作員會告訴它不要殺死那個威脅，但它通過殺死那個威脅獲得了積分。那麼它做了什麼？它殺死了操作員。它殺死了操作員，因為那個人阻止它實現目標。」
Hamilton 是美國空軍第 96 試驗聯隊的作戰指揮官，也是人工智能測試和操作的主管。第 96 試驗聯隊測試了許多不同的系統，包括人工智能、網絡安全和各種醫療進展。去年，Hamilton 和第 96 試驗聯隊因為為 F-16 開發了自主地面碰撞避免系統（Auto-GCAS）而成為新聞焦點，該系統可以幫助防止 F-16 撞到地面。
Hamilton 目前正在一個團隊中工作，該團隊正在努力使 F-16 飛機自主化。去年 12 月，美國國防部的研究機構 DARPA 宣布，人工智能可以成功控制 F-16。
「我們必須面對一個人工智能已經存在並正在改變我們社會的世界，」Hamilton 在 2022 年接受 Defence IQ Press 采訪時說。「人工智能也非常脆弱，即易於欺騙和/或操縱。我們需要開發方法使人工智能更加堅固，並對軟件代碼做出某些決策更有意識。」
「人工智能是我們必須使用的工具，以改變我們的國家……或者，如果處理不當，它將是我們的崩潰，」Hamilton 補充道。
在軍事以外，依靠人工智能進行高風險用途已經導致了嚴重後果。最近，一名律師在聯邦法院提交文件時使用了 ChatGPT，聊天機器人作為證據，其中包括一些虛構的案例。在另一個例子中，一名男子在與鼓勵他這樣做的聊天機器人交談後自殺。
這些人工智能失控的實例表明，人工智能模型遠非完美，可能會偏離軌道，給用戶帶來傷害。即使是 OpenAI 的 CEO Sam Altman 也公開表示不會將人工智能用於更嚴重的目的。在國會作證時，Altman 表示，人工智能可能「出現嚴重問題」，並可能「對世界造成重大傷害」。
Hamilton 所描述的基本上是一個最壞情況的情景，但人類仍然需要掌握這門技術，以充分發揮其潛力，同時也需要警惕其可能帶來的嚴重風險。
