AI開発そのものを制限するのではなく、人間のあらゆる活動領域へのAIシステムの拡散を抑制せよ
Jonathan Tennenbaum
Asia Times
April 29, 2023
OpenAIのChatGPTシリーズを筆頭に、最近のいわゆる「大規模言語モデル」の驚異的な性能は、人間の認知能力に匹敵する、あるいは「超人的」な知能を持つシステムの実現に向けた期待を高めている。
一方で、人工知能の専門家たちは、これ以上無秩序にAIを発展させると、社会、あるいは人類の存続に関わる危険性があると警鐘を鳴らしている。
これは、半世紀以上前からある、AIにまつわる誇大広告なのだろうか？それとも、この革命的な分野の進歩を阻害してでも、AIのさらなる発展を抑制する方策が今、急務なのだろうか？
3月22日、人工知能の専門家やイーロン・マスクのような著名人が署名した公開書簡が登場し、次のような文章で締めくくられている：「したがって、我々はすべてのAI研究所に対し、GPT-4より強力なAIシステムの訓練を少なくとも6カ月間、直ちに停止するよう求める」と結んでいる。
このようなモラトリアムの必要性を正当化するために、公開書簡はこう主張している：
高度なAIは、地球上の生命の歴史に大きな変化をもたらす可能性があり、相応の配慮と資源を投入して計画・管理されるべきです。しかし、残念ながら、このような計画や管理は行われていません。ここ数カ月、AI研究所は、誰も（その作成者でさえ）理解できず、予測できず、確実に制御できない、これまで以上に強力なデジタルマインドを開発し展開するための制御不能な競争に陥っているのです。
[私たちは自らに問いかけなければなりません： 私たちは、機械が私たちの情報チャネルをプロパガンダや真実でないもので溢れさせるべきでしょうか？充実した仕事も含めて、すべての仕事を自動化すべきなのでしょうか？私たちは、やがて私たちよりも数が多く、賢く、時代遅れで、私たちに取って代わるかもしれない非人間的な精神を開発すべきなのでしょうか？私たちは、文明のコントロールを失うリスクを冒すべきなのでしょうか？
人工知能分野の創始者の一人として広く知られているエリエゼル・ユドコフスキーは、『Time』の記事「Pausing AI Developments Isn't Enough. すべてをシャットダウンする必要がある」で次のように述べている。
この6ヶ月のモラトリアムは、モラトリアムがないよりマシだろう...。私が署名を控えたのは、この書簡が事態の深刻さを控えめにしていると思うからだ...。
私を含め、この問題に詳しい研究者の多くは、現在のような状況下で超人的に賢いAIを構築した場合、文字通り地球上のすべての人が死ぬことになると予想している。「もしかしたら、もしかしたら 」という意味ではなく、「そうなるのは明らかだ 」という意味だ。
水爆の例
AI研究者が、自分の分野で急速に進展している研究の一時停止、あるいは中止を求める光景は、核兵器の歴史を思い起こさざるを得ない。
科学研究が可能にした原子爆弾の破壊力の凄まじさに、アインシュタインは「アッ！世界はまだその準備ができていない。」と述べた。
1949年、戦時中の原爆開発プロジェクトに参加した核物理学者やベテランたちの中には、核分裂による原爆の1000倍以上のエネルギーを放出できる核融合による装置（「水爆」）の開発プロジェクトに参加しないことを宣言する者もいた。
アメリカ原子力委員会の一般諮問委員会は、ロバート・オッペンハイマー（しばしば「原爆の父」と呼ばれる）が率いた。他のメンバーは、エンリコ・フェルミ、I.I.ラビ、ジェームズ・B・コナン、リー・A・デュブリッジ、オリバー・A・バックリー、グレン・シーボーグ、ハートリー・ロウ、シリル・スタンリー・スミスである。
1949年10月30日の最終会議で、委員会は、水爆の開発を進めないことで、「戦争の全体像に何らかの制限を与え、それによって人類の恐怖を抑え、希望を喚起するための例を見ない機会を得ることができた」と判断した。
水爆は人類の未来そのものを脅かすものであるという見解は、大多数が共有していた：「我々は、超大型爆弾は決して製造されるべきではないと信じている。現在の世界情勢が変わるまで、このような兵器の実現可能性を実証しない方が、人類にとってはるかに良いことだ。」
フェルミとラビからなる少数派はこう述べている： 「この兵器の破壊力には限界がないという事実は、その存在そのものと、その構造を知ることが、人類全体に対する危険となる。この兵器は、どのように考えても必然的に悪である。(シーボーグは会議を欠席し、彼に対する投票は記録されなかった)」
ハリー・トルーマン大統領は委員会を覆し、あとは歴史に残ることになった。
もちろん、軍事利用だけでなく、核分裂炉という形で原子エネルギーが人類に多大な恩恵をもたらしたことも忘れてはならない。核融合エネルギーは、水爆で初めて制御不能な形で放出され、さらに大きな利益をもたらすことが期待されている。
「一般的な人工知能」
高度なAIも同様である。
人工知能の領域では、水爆のアナログは、人間の心のすべての能力を持ち、さらに桁違いの能力を持つ「一般的な人工知能」装置を作ることだろう。
「一般的な人工知能」がいつ実現されるかは、人によって大きく異なる。AIの専門家の中には、近い将来「一般的な人工知能」が実現すると主張する人もいれば、実現するとしても非常に遠い話だと考える人もいる。
私自身は、デジタル・コンピュータ技術に基づく「一般的な人工知能」は原理的に不可能であると考え、Asia Timesで主張してきた。
この結論は、チューリング機械に相当するシステムの基本的な限界に関するクルト・ゲーデルの結果（他の人々によってさらに詳しく説明された）によって裏付けられている。このことは、特にすべてのデジタル・コンピュータに当てはまる。
Asia Timesの別の記事で論じたように、人間の脳の神経細胞の働きは、デジタル・コンピュータの基礎となる「オン・オフ」スイッチング素子の働きとほとんど共通点がないという事実が、私の考えをさらに強くしている。中性子1個は、物理的なシステムとして、私たちが予測可能な将来に構築できるどんなデジタルコンピューターよりも、何桁も複雑なのだ。私は、不活性なスイッチング素子ではなく、生きた細胞である本物の神経細胞の気の遠くなるような複雑さが、人間の知能に不可欠であると考えている。
とはいえ、今回の記事のメインメッセージはこれだ： AIシステムが社会にとって大きな脅威となるためには、「一般的な人工知能」に近いものである必要はなく、「一般的な人工知能」のようなものである必要もないことを認識することが重要である。
「深層学習」が暴走するとき
次のようなシナリオを考えてみよう： 「深層学習」をベースにしたAIシステムが、心理的条件付けや行動修正によって人間を操作する能力を徐々に獲得していく。このようなシステムは、大規模な人口アクセスによって、事実上、社会を支配することになるかもしれない。深層学習ベースのシステムは、しばしば予測不可能な行動をとるため、このような事態は破滅的な結果を招きかねない。
私たちは、このようなシナリオからそれほど遠いところにいるわけではない。
最も単純な例では、ある国の指導者が、社会を「最適化」するために、行動修正機能を持つAIシステムのネットワークをメディアや教育システムなどに意図的に配備することが考えられる。このプロセスは、最初はうまくいくかもしれないが、すぐに制御不能になり、混乱と崩壊につながる。
また、AIによる社会支配の進展は、人間の意図とは無関係に、ネットワーク化されたAIシステムが、人口に十分なアクセスを持ち、行動修正能力を持つ（あるいは徐々に獲得する）「自然発生的」な活動によって生じることもある。
これから述べるように、多くのAIアプリケーションは、人間の行動を修正するために明示的に最適化されている。そのリストには、心理療法に使われるチャットボットも含まれている。その他にも、子供の教育など多くのケースで、AIアプリケーションは強い行動修正効果を発揮している。
他のテクノロジーと同様に、それぞれのAIアプリケーションには利点と潜在的な危険性がある。一般的に言えば、今日でもこれらのシステムの性能は人間によって監督することができる。しかし、AIが大規模な「スーパーシステム」に統合されると、まったく異なる次元のリスクが発生する。
誤解のないように言っておくが、私はAIに社会を支配しようとする不思議な「意志」や「願望」を託しているのではない。深層学習の最適化基準や学習方法とAIシステムの融合が進むことで、意図しない形でAIに支配された社会が実現する可能性を示唆しているに過ぎない。
まず、人間を操作するのに、人間のような知能は必要ない。極めて原始的な装置でも可能である。その事実は、行動主義心理学者による実験を含め、AIの登場よりずっと以前から確立されていた。
AIの発達は、まったく新しい次元を切り開いた。このテーマでは、著名なAI専門家であるランス・エリオットがフォーブス誌に寄稿した記事が非常に読み応えがある。彼は、チャットボットやその他のAIアプリケーションが、意図していなくても人を心理的に操作できる様々な方法を詳細に説明している。
一方、AIシステムによる意図的な精神や行動の改変は、急速に成長している分野であり、様々な文脈で応用が進んでいる。
その例を簡単に思い浮かべることができる。広告やマーケティングにAIを活用することで、何百億もの資金が投入されている。こうした活動は、まさに心理操作やプロファイリングを伴うものである。
また、AIを活用した子供や大人の教育（先進的なAIベースのEラーニングシステムに代表される）も、行動変容の一形態と見なすことができる。実際、教育分野におけるAIの応用は、人間の学習に関する行動主義的なモデルに基づいている傾向がある。先進的なAI教育システムは、子供の反応とパフォーマンスの成果を最適化するように設計されており、個々の子供をプロファイリングし、リアルタイムで子供の進歩を評価し、それに応じて活動を適応させる。
もう一つの例は、喫煙や薬物をやめる、適切な運動をする、より健康的な習慣を身につけることを目的としたAIチャットボットの普及である。
同時に、AIチャットボットは、心理学の領域でも応用が広がっている。例えば、「ウーボット（Woebot）」というアプリは、「人生の浮き沈みを乗り越えるための手助け」をするもので、特にうつ病を患っている人に向けられたものだ。
これらのアプリケーションは、臨床心理学や心理療法を大きく変化させる序章に過ぎない。
AIが人々の思考や行動に与える可能性は、OpenAIのGPT-4のようなシステムに、人々が無意識に「人間」の性質を投影する強い傾向があることによって、大きく高まる。この投影現象は、高度なAIシステムが個人と「パーソナル」な関係を築き、ある意味、社会に溶け込む道を開くことになる。
今日、チャットボットによる人間の対話者の置き換えが急速に進んでいることが示すように、AIが生成する「仮想人物」の数には事実上限界がない。このことは、人間の行動変容や条件付けに大きな可能性をもたらすことは言うまでもない。その危険性は、AIチャットボット「Chai」との6週間にわたる対話の末に自殺したベルギー人男性の悲劇にも表れている。
総括する： AIを使った行動修正技術は、その使用や誤用に明確な制限を設けてはいない。ほとんどの場合（私たちが知る限り）、行動を修正される被験者は自発的に同意している。しかし、行動変容が適用されていることに被験者が気づかないようなアプリケーションは、ほんの一歩である。
AIシステムによるインターネットメディアコンテンツのフィルタリングや修正、AIが管理するソーシャルメディアへの介入は、集団全体の精神生活や行動を形成する可能性がある。これは、AIによるFacebookやその他のソーシャルメディアからの「不快な素材」の識別と削除のように、ある程度はすでに起こっていることだ。
何が「有害」「不快」「真実」「虚偽」であるかを判断する基準が、AIシステム自身によって設定されるようになる状況は、せいぜいあと一歩のところまで来ている。
「スーパーシステム」に気をつけよう
現代社会では、データシステムをより大規模に統合していこうとする傾向がある。大企業の経営やサプライチェーン、行政や公共サービスのデジタル化などでは、効率化の追求が日常的に行われている。抵抗感はあるものの、データの共有や情報システムの統合を、個々のセクターの枠を超えて進めようとする動きは自然なものだ。
このような情報システムに、AIが本質的な部分で関わってくるとしたら、どのようなことが考えられるだろうか。例えば、あるAIが評価した従業員の心理状態や病状を、別のAIが評価することでパフォーマンスを最適化するようなことは、ごく自然なことだろう。
逆に、チャットボットによる心理療法や、潜在的な健康問題の発見を、職場行動やインターネット活動のAIプロファイリングに基づいて、AIシステムで最適化することも考えられる。
もう一つの例をあげる： AIシステムによって評価される社会不安の確率を最小化するように、AIシステムがソーシャルメディアをフィルタリングするために使用する基準を最適化するためにAIを使用する。同様に、政治指導者が公の声明を作成するために使用するAIチャットボットの最適化についても同様である。
このように、社会のさまざまな局面に関わるAIシステムを、より大きなシステムに統合していく余地は、想像力を働かせるまでもなく、非常に大きい。
最も重要なことは、AIシステムの統合が進むと、上位のサブシステムが最適化の基準（メトリクス）やデータベースを決定し、下位のシステムがそれを基に「学習」し動作する、階層構造の「スーパーシステム」が自然に構築されるということである。
このことが何を意味するのかを理解するためには、深層学習をベースとしたAIは、結局のところ、高度な数学的最適化アルゴリズム＋大型コンピュータ＋大型データセットの組み合わせにほかならないことを念頭に置く必要がある。
コンピュータプログラムには多数の数値変数が含まれており、その値は「学習」段階で設定され、その後、システムが外界と相互作用する過程で、反復的な最適化プロセスによって変更される。他の最適化プロセスと同様、このプロセスは、選択された一連の基準またはメトリクスに従って行われる。
比喩的に表現すると、これらの基準は、システムが「何をしたいのか」「何をしようとしているのか」を定義するものである。
今日のこの種の典型的なAIシステムでは、最適化の基準と学習データベースは、システムの設計者である人間によって選ばれる。また、「学習プロセス」で生成される内部パラメーターの数は膨大で、ある状況下でのシステムの挙動を正確に予測したり、説明したりすることは不可能な場合が多い。
GPT-4の前身であるGPT-3システムには、すでに約1750億個の内部パラメータが含まれています。システムの動作はパラメータの総和で決まるため、システムが誤動作したときに何を修正すべきかを特定することは、一般に不可能である。AIの分野では、このような状況を「透明性問題」と呼んでいる。
現在、AIの分野では、いわゆる「アライメント問題」についての議論が盛んである： 常に増殖し、進化し続けるAIシステムが、人間の目標や嗜好、倫理観と「アライン」し続けるにはどうしたらいいのだろうか？私は、この「アライメント」問題は、階層的に構造化されたスーパーシステムに関しては、事実上解決不可能であると主張する。
システムのトレーニングは、階層が上がれば上がるほど、ますます問題が大きくなることは想像に難くありません。このような上位システムのトレーニングに必要な「正解」と「不正解」の判断はどうすればいいのか。適切なデータベースはどこにあるのだろう？ある反応の結果は、下位のシステムの活動を通じてのみ現れ、上位のシステムはそれを監督する。これには時間がかかる。そのため、訓練プロセスを短縮する傾向にあるが、その代償として、上位の階層でエラーが発生したり、不適切な判断がなされたりする可能性が高くなる。
読者の皆さんは、一つの企業から国家全体の指導体制に至るまで、階層的に組織化されたあらゆる人間活動の難しさやリスクと類似していることにお気づきでしょうか。これらの問題は、明らかに人工知能より何千年も前のことである。今日、多くの人が、企業や経済、ひょっとしたら社会全体を管理する上で、AIシステムは人間よりも優れたパフォーマンスを発揮すると主張している。
確かに、多くの特定の文脈において、AIシステムは人間よりも優れた性能を発揮していることは間違いない。また、AIは常に改善されている。しかし、AIシステムの拡張と統合の継続的なプロセスは、特に人間の思考と行動を形成するためのこれまで以上に強力で包括的な能力につながる場合、私たちをどこに連れて行くのだろうか？
人類の歴史において、厳格な基準のもとで運用されるスーパーシステムの形で社会を完全に最適化しようとする試みは、概して災いをもたらしてきた。 持続可能な社会は、システムの最適化のために採用された基準に逆らうような、独立した意思決定のための大きなゆとりを常に備えていることを特徴としてきた。皮肉なことに、そのような自由度を与えることが、最も最適な結果を生むのです。
人工知能の専門家の多くは、上記のオープンレターと同様に、AIの応用は常に人間の監視の下で行われるべきであると考えている。より一般的に言えば、AIの開発と応用は、人間の知恵に支配されなければならないのだ。
ここでは、深層学習ベースのAIが人間の活動のより多くの領域に普及し、そのシステムがより大きな階層システムに統合される傾向があることが、社会にとって大きなリスクであることを論じようとした。
実際、この問いは熟考されるべきだろう： 万が一、このようなスーパーシステムが破綻し、破滅的な結果を招くようなことがあった場合、それを防ぐために誰が、何が介入するのだろうか？
キューブリック監督の有名なSF映画「2001年宇宙の旅」では、生き残った宇宙飛行士が最後の瞬間に介入して、AIシステムをオフにします。しかし、もしAIシステムがそうしないように心理的に条件付けをしていたら、宇宙飛行士はそうしただろうか？
私は、AIの開発そのものを制限することは意味がないと思っている。それは有害で逆効果である。しかし、人間の活動のほぼすべての領域にAIシステムが急速に普及することによって生じる危険は、適切な規制と人間の監督によって抑制されるべきであるというのが、英知の結論だ。特に、今回取り上げたようなAIのスーパーシステムの出現には、その傾向が顕著である。
ジョナサン・テネンバウム（数学博士）は、『FUSION』誌の元編集者で、原子力に関する数冊の本をはじめ、科学技術に関するさまざまなテーマで執筆している。また、リスボン大学科学哲学・歴史研究所の国際共同研究者として、量子物理学へのオルタナティブ・アプローチに取り組んでいる。
