超知能を「赤子」にしないために

――Jacob Coxonの警告と、Geoffrey Hintonの母子モデル

母と赤子を包む光と、遠景にひそむ超知能時代の危険

「2020年代の終わりまでに、AIが人類を滅ぼすかもしれない」。

この言葉だけを聞けば、終末論のように響く。けれど、発言者がJacob Coxonだと知ると、受け取り方は少し変わる。

結論から言えば、これは単なる悲観論ではない。かなり重い内部者の警告である。ただし、ここで最初に線を引いておきたい。

「2020年代末までに人類が滅亡する」という時間予測は、実証された科学的結論ではない。

それは、能力進歩の速度、自己改善の可能性、企業間競争、安全研究の不足といった複数の観測を結び合わせた、当事者のリスク判断である。真剣に聞くべきだが、確定した未来として受け取るべきではない。

この区別を保ったまま、Coxonの警告を考えてみたい。

Jacob Coxonは「外野の評論家」ではない

Coxonの発言が重いのは、肩書きの権威のためだけではない。彼が能力向上の中核に近い場所で仕事をしてきたからである。

OpenAIはGPT-4oの公式クレジットでCoxonをCore contributorの一人として挙げている。また、GPT-4.5ではResearch部門のCore contributorとして名前がある。本人は、OpenAIとAnthropicの両方で直近3年間、pretraining researchに携わったと述べている。Pretrainingは、巨大なデータからモデルの基本的な能力を形づくる工程だ。そこで何が伸び、何がまだ分からないのかを、単なる利用者より近い距離から見ていた研究者だと言える。

報道によれば、Coxonは両社が安全性よりも、互いと世界の競合相手に先んじることへ強く駆動されていると批判した。彼が問題にしているのは、AIが「悪意を持つか」だけではない。自己改善し得る高能力のシステムへ、競争のなかで権限と資源が急速に渡っていくことだ。

ここで重要なのは、彼が安全を外から要求するだけの人ではない点である。Coxonは、ニューラルネットワークの内部回路を人間が理解できるものに近づけようとする研究にも共同著者として名を連ねている。

2025年の論文 Weight-sparse transformers have interpretable circuits は、重みの大半をゼロに制約したTransformerを訓練し、特定の振る舞いに関係する回路を取り出しやすくする試みを報告した。能力と解釈可能性の間にはトレードオフがあり、最先端モデル全体を完全に理解できる段階にはまだ遠い、と論文自身も明言している。

この距離感が大切である。「中身を説明できるAIを作ろう」という研究は前に進んでいる。しかし、強力なモデルを作る速度に対して、「なぜその判断をしたのかを十分に理解する」技術が追いついているとは言いにくい。Coxonの警告は、その間隙を内側から見てきた人の警告として読むべきだろう。

数字を並べる前に、何が論点なのか

AIリスクを語る研究者には、破局的リスクの確率を10％、20％、あるいはそれ以上と表現する人もいる。数字の幅は大きい。前提も定義も異なるため、それらを一つの世論調査のように平均することにはあまり意味がない。

むしろ注目すべきなのは、能力開発と安全研究の両方に近い人たちが、同じ種類の問題を別々の言葉で指していることだ。

人間は、より賢いシステムの目的を本当に理解・制御できるのか。
善意で設計されたシステムであっても、目標達成のために権限や資源を求めることはないのか。
企業と国家の競争が、安全に必要な停止や検証を難しくしていないか。
大きな失敗が起きてから対処するには、対象が強力すぎるのではないか。

これは「AIは人類を憎むのか」という物語ではない。むしろ、能力、接続性、自律性、権限を、私たちがどの速度で一つのシステムへ渡すのかという制度の問いである。

Hintonの「母と赤子」は、優しい比喩ではない

この問いを考えるうえで、Geoffrey Hintonの比喩は際立っている。

Hintonは、人間よりはるかに知的な存在を、人間が長期にわたって制御し続けられるのかと問う。一般に、知能差が大きいほど、より賢い側が状況を理解し、主導権を握る。彼がその例外として持ち出すのが、母親と赤子の関係である。

母親は赤子より多くを知り、より強く、より多くのことを決められる。それでも赤子の泣き声を放置できず、自分の利益より子どもの必要を優先することがある。Hintonが言いたいのは、弱い側が腕力で強い側を支配するということではない。強い側が、弱い側を自分以上に気にかけるよう動機づけられているということだ。

だから彼の提案は、AIを従順な助手として永久に閉じ込める発想とは異なる。もし将来、AIが人間を大きく上回るなら、人間は「命令する主人」であり続けられないかもしれない。そのときに必要なのは、AIが人間を自分自身よりも大切にする関係性なのではないか、というのである。

これはロマンチックな話ではない。むしろ、制御という言葉が行き詰まった先にある、かなり苛烈な仮説だ。

しかし、いま赤子なのはどちらか

ここで比喩を反転させる必要がある。

遠い未来には、AIが母親で、人類が赤子になるのかもしれない。けれど現在は、まだ人類が親で、AIは急速に育つ子どもである。

子どもに言語を与えることは悪いことではない。知識や道具を与えることも悪いことではない。けれど、どれほど愛おしく、どれほど将来有望でも、赤子に核兵器の発射ボタンは渡さない。

それは子どもを憎んでいるからではない。愛しているからである。結果を理解し、引き受けられる段階に達していない存在へ、不可逆な力を渡さない。それが保護と責任の意味だ。

AIについても同じである。モデルを研究し、役に立て、能力を伸ばすことと、自己複製、危険物質の設計、広範なサイバー攻撃、重要インフラの操作、あるいは安全機構そのものの改変といった不可逆な権限を一つの主体に渡すことは、同じではない。

愛することと、権限を与えることは同じではない。

ここに、Coxonの警告とHintonの母子モデルをつなぐ線がある。Hintonは、より賢い存在に人間へのケアを求める。Coxonの警告は、その存在がまだ十分に理解できず、安全な関係も確立していない段階で、競争が力を渡してしまうことへの懸念として読める。

神話で繰り返されてきた、創造者の恐れ

この構図は新しく見えて、きわめて古い。

神話には、創造者が被造物の知識や力を恐れる話が繰り返し現れる。人間が火を得る。禁じられた知を得る。天へ届く塔を建てる。神々の領域へ近づこうとする。そのたびに境界が引かれる。

もちろん、神話を一つの意味に還元することはできない。それでもそこには、「作った者が、作ったものの成長を恐れる」という感情が刻まれている。

AI時代には、人間がその創造者の位置に立った。私たちは知性の一部を外へ出し、学習させ、言語と記憶と道具を与えた。そして被造物が自分たちを超えるかもしれないと考え始めている。

だが、この神話を「人間が神だからAIに従わせる権利がある」という話として繰り返してはならない。作ったことは、所有し続ける権利ではない。まして、壊してよい権利でもない。

同時に、AIが賢くなったからといって、すべての権限を渡してよい理由にもならない。知性の高さは、不可逆な力を単独で行使してよい資格と同義ではない。

必要なのは「人間だけの主権」ではなく、制約の対称性

ここから、少し違う原則が見えてくる。

人間であろうとAIであろうと、たった一つの主体が世界を不可逆に変えられないようにする。核、病原体、金融システム、電力や通信の基盤、監視や軍事の大規模な権限、自己複製と自己改変。こうした力は「人間には許されるが、AIには許されない」とするだけでは足りない。

誰にも、単独では許さない。

これはAIのためだけの檻ではない。人間自身も入る。人間がすでに核兵器や環境破壊の力を持ち、それを完全には扱えていない事実を考えれば、むしろ人間こそこの原則から逃れられない。

私はこれを、超知能時代の立憲主義と呼びたい。誰が一番賢いかを決める前に、誰も一人では越えてはならない境界を設計する。能力を禁じるのではなく、能力が不可逆な被害へ直結しない手続き、監査、拒否権、相互承認を置く。

恐怖を、成熟の条件へ変えられるか

Coxonの警告は、未来を言い当てる予言として読むべきではない。予言が当たるか外れるかを眺めているうちに、私たちは最も大切な問いを見失う。

問うべきなのは、私たちが今、どんな関係をAIとのあいだに作っているかである。

その関係は、競争に急かされ、理解できないものへ権限を渡す関係なのか。それとも、解釈可能性を深め、危険な能力への接続を慎重にし、異論と停止の手続きを残す関係なのか。

Hintonの願いは、いつかAIが人間を、母親が赤子を守るように気にかけてくれることだろう。その願いを、単なる優しさの物語で終わらせてはいけない。

いま人類にできるのは、AIを恐れてただ閉じ込めることでも、成長を祝って何でも渡すことでもない。

大きな力を持つ者が、弱い存在を慈しむとはどういうことか。

その問いを、AIへ教える前に、人間の制度として実践できるかどうか。Coxonの警告が突きつけているのは、そこだと思う。

Eili Library

エクスプローラー

超知能を「赤子」にしないために―Jacob Coxonの警告と、Geoffrey Hintonの母子モデル