AIドローンの「思考実験」が殺人的に暴走したことを受けて、米空軍は映画を見たほうがいいかもしれない。
Stephen Bryen
Asia Times
June 3, 2023
米空軍は、人工知能が動かすドローンを使った、今でいう「思考実験」を行った。このドローンは、防空システムを破壊することになっていた。ドローンは、ミッションを成功させることでポイントを獲得することができた。しかし、ある時、人間のオペレーターがドローンに「防空システムを破壊するな」という指示を出すと、ドローンはポイントを獲得できない。ドローンはその解決策として、通信塔を破壊し、ドローンのミッションを無効化する命令を送り、オペレーターを「殺害」した。
ドローンは、オペレーターを殺してはいけないと教えられていた。
しかし、ドローンはその指示を無視し、ポイントよりもミッションが重要だと判断したのである。
空軍は、このようなシナリオに関する考察が、ドローンがオペレーターを「殺す」シミュレーション段階でテストされたという初期の報道を公式に否定している。
このシナリオは、1980年代、おそらく史上最高のSF映画である1987年の映画『ロボコップ』で予想されたものである。
「ロボコップ」のストーリーは、殺害されたデトロイト市警の警察官の話だ。彼はメガコーポレーションが所有する民間企業、オムニ・コンシューマー・プロダクツによって蘇生される。デトロイトの警察が法秩序を守れなかったため、オムニ・コンシューマー・プロダクツはデトロイトの法と秩序を守る任務を負っている（法と秩序を守らないというのは、聞き覚えがあるはずだ）。
新たにサイボーグとなったマーフィーには、4つの命令が下される。そのうちの3つは、デトロイトにおけるオムニ・コンシューマー・プロダクツの使命である「公共の信頼に応える」「無実の人を守る」「法律を守る」に沿ったもの。4つ目の命令は機密事項で、オムニ・コンシューマー・プロダクツの幹部に対して行動してはいけないというものだった。
その間に、サイボーグは失った記憶と人間性を取り戻し始める。殺人を犯したオムニ・コンシューマー・プロダクツのチーフを射殺しようとしたとき、第4の機密指令が発動する。マーフィーのサイボーグは躊躇するが、内蔵された指令を上書きすることはできない。その緊迫した瞬間に、その幹部は会社の取締役会によって解雇されるので、サイボーグ・マーフィーは彼を攻撃することができ、彼はそれを実行する。
ロボコップは自力で第4の機密指令を乗り越えられないので、ドローンが命令に従わないという空軍のシミュレーションとは異なる結果になる。
もし空軍が想像の段階からシミュレーションに進みたいのであれば、人間ではないので人間の記憶を持たないドローンが、どうやってオペレーターを殺すことができるかを考えなければならない。おそらく、これは困難な課題であることがわかるだろう。短期的な解決策としては、ドローンの運用ルールを強化することだと思われる。例えば、ドローンがオペレーターを攻撃しようとしたら、破壊されるようにする。その他の迅速な解決策も可能だ。
要は、人工知能は非常に厄介な水域にあるということだ： 厳密に言えば、人工知能には人間の記憶は含まないが、人間の思考パターンを模倣したものは含まれる。開発者やプログラマーでさえ、この現代のサイボーグに何を組み込んだのか、正確に理解していないかもしれない。
人工知能はまだ発展途上であり、民間や軍事に多く応用されている。これらのシステムがより複雑になればなるほど、プログラミングからさえも独立した自律的な存在となりうる。
「ロボコップ」は、マーフィーが人間の過去を再発見するという人間的な側面を導入しているが、それでも第4指令は克服できない。
この映画の風刺は、もちろん、ロボコップが警察官のマーフィーとしてもサイボーグのマーフィーとしても、過激な暴力を行使することに関係している。
映画のエンディングでサイボーグに名前を聞かれたとき、彼は「マーフィー」と答える。 しかし、このマーフィーは、第4指令から抜け出せないことからもわかるように、やはり人間ではない。
ルールに背き、勝手に判断する空軍の実験用ドローンの方がよっぽどたちが悪い。ドローンはある種の人間になってしまったのだろうか？
空軍は「ロボコップ」を観たほうがいいかもしれない。
スティーブン・ブライエンは、安全保障政策センターとヨークタウン研究所のシニアフェローである。この記事は、彼のサブスタック「Weapons and Strategy」に掲載されたものである。Asia Timesは許可を得て、この記事を再掲載しています。
