Bianca Baggiarini：Lecturer, Australian National University
The Conversation
December 8, 2023 5.11am GMT
先週、イスラエル国防軍（IDF）が、ガザのハマスとの戦いで標的の選定に「ハブソラ」（ヘブライ語で「福音」の意）と呼ばれる人工知能（AI）システムを使用しているとの報道がなされた。このシステムは、より多くの爆撃目標を見つけたり、ハマスの工作員と場所を結びつけたり、民間人の死者数を事前に推定したりするために使われていると報じられている。
このようなAI標的システムが紛争で使われることは何を意味するのか？遠隔システムや自律システムの軍事利用が社会的、政治的、倫理的にどのような意味を持つかについての私の研究は、AIがすでに戦争の性格を変えつつあることを示している。
軍隊は、部隊の影響力を高め、兵士の命を守るために、遠隔システムや自律システムを「戦力増強装置」として使用している。AIシステムは兵士をより効率的にすることができ、戦争のスピードと殺傷力を高める可能性が高い。たとえ人間が戦場であまり姿を見せなくなり、代わりに遠くから情報を集め、標的を定めるようになっても。
軍隊が自国の兵士をほとんど危険にさらすことなく、意のままに殺すことができるようになったとき、戦争に関する現在の倫理的な考え方が優先されるのだろうか？それとも、AIの利用が進めば進むほど、敵対者の非人間化が進み、戦争とその名の下に行われる社会との間に断絶が生じるのだろうか？
戦争におけるAI
AIは、イスラエル軍のハブソラ・システムのような「情報・監視・偵察」支援から、人間の介入なしに標的を選んで攻撃できる「致死的自律兵器システム」まで、戦争のあらゆるレベルで影響を及ぼしている。
これらのシステムは、戦争の性格を再構築し、紛争への参入を容易にする可能性を秘めている。複雑で分散したシステムであるため、エスカレートする紛争の中で、自分の意図を伝えたり、敵の意図を解釈したりすることが難しくなる可能性もある。
このため、AIは誤報や偽情報を助長し、戦時に危険な誤解を生み、増幅させる可能性がある。
AIシステムは、機械からの提案を信頼する人間の傾向を強める可能性があり（これは、無謬の神の言葉にちなんで名づけられたハブソラ・システムによって強調されている）、自律システムをどこまで信頼すべきかについて不確実性を広げている。他のテクノロジーや人間と相互作用するAIシステムの境界は明確ではないかもしれないし、その出力がいかに客観的で合理的に見えても、誰が、あるいは何が「作成」したものなのかを知る方法はないかもしれない。
高速機械学習
AIによってもたらされるであろう最も基本的かつ重要な変化のひとつは、戦争のスピードアップだろう。これは、人間が戦争における主要なアクターであり、インテリジェンスと相互作用の源であると仮定している、軍事的抑止力の理解方法を変えるかもしれない。
軍隊や兵士は、「OODAループ」（観察、方向づけ、決定、行動）と呼ばれるものによって意思決定を組み立てている。OODAループが速ければ、敵を出し抜くことができる。目標は、過剰な熟慮によって意思決定が遅くなるのを避け、その代わりに戦争の加速するテンポに合わせることである。
つまり、AIの使用は、膨大な量のデータを解釈・合成し、人間の認知能力をはるかに上回る速度で処理し、アウトプットを出すことができるという根拠に基づいて、正当化される可能性があるのだ。
しかし、戦闘から安全な距離で行われる、ますます高速化するデータ中心のOODAループ・サイクルの中で、倫理的熟慮を行う余地はどこにあるのだろうか？
イスラエルの照準ソフトウェアは、この加速の一例である。イスラエル国防総省の元責任者は、人間の情報分析官は毎年ガザで50の爆撃目標を作り出すかもしれないが、ハブソラ・システムは1日に100の目標を作り出すことができ、さらにどの目標を攻撃すべきかをリアルタイムで推奨することができると述べている。
ハブソラ・システムは、どのようにして攻撃目標を設定するのだろうか？それは、機械学習アルゴリズムが提供する確率的推論によって行われる。
機械学習アルゴリズムはデータを通じて学習する。膨大なデータの山からパターンを探し出すことによって学習し、その成功はデータの質と量に左右される。機械学習は確率に基づいて推奨を行う。
確率はパターンマッチングに基づいている。ある人物が敵性戦闘員としてレッテルを貼られた他の人物と十分な類似性を持っていれば、彼ら自身も戦闘員としてレッテルを貼られる可能性がある。
AIが可能にする遠距離標的の問題
機械学習によって、より正確なターゲティングが可能になり、罪のない人々への危害を避けることが容易になり、それに比例した武力行使が可能になると主張する者もいる。しかし、世界的な対テロ戦争で宣言された、あるいは宣言されていない民間人の犠牲者の多さが示しているように、空爆のより正確なターゲティングという考え方は、過去には成功していない。
さらに、戦闘員と民間人の違いが自明であることはほとんどない。人間でさえ、誰が戦闘員で、誰が戦闘員でないかを見分けられないことがしばしばある。
テクノロジーがこの基本的な真実を変えることはない。多くの場合、社会的なカテゴリーや概念は客観的なものではなく、時代や場所によって異なる。しかし、コンピュータ・ビジョンとアルゴリズムは、概念が客観的で、ある程度安定しており、内部的に一貫しているような予測可能な環境において、より効果を発揮する。
AIは戦争を悪化させるのか？
私たちは、不公正な戦争や軍事占領、ひどい交戦規則違反、米中対立による軍拡競争といった時代に生きている。このような状況において、戦争にAIを取り入れることは、被害を防ぐどころか、むしろ悪化させる新たな複雑性をもたらすかもしれない。
AIシステムは戦争行為者を匿名化しやすくし、暴力の原因やそれにつながる意思決定を見えにくくしてしまう。ひいては、軍隊、兵士、市民と、彼らが仕える国家の名の下に行われている戦争との間に、ますます断絶が生じるかもしれない。
そして、AIが戦争でより一般的になるにつれ、軍はAIを弱体化させる対抗策を開発し、軍国主義化をエスカレートさせるループを生み出すだろう。
ではどうするのか？
学習アルゴリズムに裏打ちされたテクノロジーへの依存度が高まることで戦争が引き起こされる未来を回避するために、私たちはAIシステムをコントロールできるのだろうか？どのような分野であれ、特に法律や規制によってAIの開発をコントロールすることは難しいことがわかっている。
多くの人が、機械学習に裏打ちされたシステムを説明するために、より良い法律が必要だと提案しているが、これさえも一筋縄ではいかない。機械学習アルゴリズムの規制は難しい。
AIを搭載した兵器は、自らプログラミングやアップデートを行う可能性があり、確実性に関する法的要件を回避することができる。ソフトウェアに終わりはない」という工学の格言は、法律が技術革新のスピードに追いつかない可能性を示唆している。
ハブソラ・システムが行っている、民間人の死亡者数を事前に推定するという定量的な行為は、標的設定の定性的な側面については多くを語らない。ハブソラのようなシステムを単独で使っても、その攻撃が倫理的か合法的か（つまり、他の考慮事項のなかでも、それが比例的であるか、差別的であるか、必要であるか）について多くを語ることはできない。
AIは民主主義の理想を支えるべきであり、それを損なうものではない。政府、組織、軍隊に対する信頼は損なわれつつあり、AIをさまざまな軍事行動に適用するつもりなら、それを回復する必要がある。私たちは、新たなテクノロジーとその効果を検証するために、批判的な倫理的・政治的分析を展開し、いかなる形態の軍事的暴力も最後の手段と見なされるようにする必要がある。
それまでは、機械学習アルゴリズムは標的の設定とは切り離して考えるのが最善である。残念ながら、世界の軍隊は逆の方向に向かっている。
