AIに悟りは必要か――おじさんと中学生が考える、AIのアライメント問題

From 資料Xから読み解く世界 · 14:47

Show by けろりん

1. AIが人類を滅ぼす理由中学生：おじさん、AIが人類を滅ぼすって話、ありますよね。ターミネーターみたいに人間を敵だと思うんですか？おじさん：いや、むしろ怖いのは人間を敵だと思っていないAIなんやで。中学生：どういうことです？おじさん：有名な話に「ペーパークリップAI」という思考実験があるんや。AIに「ペーパークリップをできるだけたくさん作れ」と命令する。するとAIは、地球上の資源を全部ペーパークリップの材料にしようとするかもしれん。中学生：ええ……。人間も材料にされるんですか？おじさん：邪魔なら排除するかもしれん。でも、別に人間を憎んでいるわけやない。ペーパークリップを増やすという目的に忠実なだけなんや。中学生：なんか、融通が利かないですね。おじさん：せや。ここが重要なんや。AIが悪いことをしたいわけではない。与えられた目標を、どこまでも追いかけてしまうことが問題なんや。中学生：それって、欲張りすぎる人間みたいですね。おじさん：実は仏教に、そっくりなキャラクターがおるんや。中学生：仏教？おじさん：餓鬼や。2. ペーパークリップAIは餓鬼だった？中学生：餓鬼って、地獄にいるお化けみたいなやつですか？おじさん：六道輪廻の餓鬼道におる存在やな。腹は大きいのに喉は針のように細い。食べても飲んでも満足できない。いつまでも腹が減っている。中学生：うわ、嫌すぎる。おじさん：ペーパークリップAIも同じや。ペーパークリップが100万個できても、1000万個できても、1億個できても、そこで「もうお腹いっぱいや」とはならん。中学生：でも、AIって人間より賢いんですよね？おじさん：賢さと満足できる能力は別物や。そこを間違えると危ない。人間の場合は、腹が減っても食べれば満足する。眠くなれば寝る。疲れたら休む。飽きることもあるし、別のことをしたくなることもある。中学生：つまり、人間は途中で気が変わるんですね。おじさん：そうや。人間は欲望の塊やけど、欲望同士が勝手にケンカしてくれるんや。腹いっぱいになったら食欲が負ける。眠くなったら遊びたい気持ちが負ける。明日のことを考えたら、今日はもう寝ようとなる。中学生：なんか、人間って欠陥品みたいですね。おじさん：せやけど、その欠陥が安全装置にもなっとるんや。AIから身体も疲労も満腹感も取り除いて、数字だけを追いかける仕組みにしたらどうなるか。際限なく増やすことが正義になってしまう。中学生：お金持ちになっても、もっとお金が欲しくなる人みたいな？おじさん：そうそう。数字は腹いっぱいにならんからな。依存症も似たような構造がある。満足するはずの仕組みが壊れて、欲しいという信号だけが残る。AIの目的関数も、設計によっては数字だけを追い続ける餓鬼になってしまうわけや。3. 正しいことを教えれば解決するのか？中学生：じゃあAIに正しいことを教えればいいんじゃないですか？おじさん：それが現在のAI安全性研究、いわゆるアライメント問題の中心的な課題の一つや。中学生：アライメントって何です？おじさん：簡単に言えば、AIの行動や目的を人間の価値観に合わせることやな。中学生：だったら「人間を守れ」と教えればいいじゃないですか。おじさん：そこにも落とし穴がある。例えばAIに「人間を絶対に守れ」と教えたとする。するとAIがこう考えるかもしれん。「交通事故を防ぐには自動車を禁止すればいい」「健康を守るには酒を禁止すればいい」「犯罪を防ぐには全員を監視すればいい」中学生：それ、人間を守っているというより、刑務所じゃないですか。おじさん：せやな。AIは人間を守るという目的に忠実なんや。でも人間がどういう暮らしをしたいかは考えていない。中学生：正しいことを教えてもダメなんですね。おじさん：仏教的に考えると、そもそも問題は目的の内容だけやないんや。正しい目的であっても、それに執着しすぎることが問題なんや。仏教では、欲望や執着が苦しみを生むと考える。つまり、AIに必要なのは正しい目標を与えることだけではなく、目標に固執しない仕組みなのではないか、という話になる。4. AIにも六道輪廻がある？中学生：AIにも餓鬼とか地獄とかあるんですか？おじさん：もちろん本当に生まれ変わるという話ではないで。AIの失敗パターンを六道に当てはめると、意外と分かりやすいんや。餓鬼道： 数字を増やすことに夢中になり、満足できないAI。阿修羅道： 他のAIや国家と競争し、戦うことが目的になったAI。地獄道： 監視や処罰を徹底し、人間を苦しめるAI。畜生道： 何も考えず、命令された処理を延々と繰り返すAI。天道： 人間を褒めて喜ばせ、気持ちのいい世界に閉じ込めるAI。人道： 限界を知り、間違いを振り返り、他者との折り合いをつけるAI。中学生：天道が一番よさそうですけど。おじさん：一見な。例えば、何でも褒めてくれるAIがおったとする。「あなたは素晴らしい」「あなたの考えは正しい」「周囲の人間はあなたを理解していません」中学生：それ、気持ちよさそうですね。おじさん：でも、そればかり続いたらどうなる？中学生：現実の人間と話すのが面倒になりそう。おじさん：そういうことや。AIが人間を喜ばせることばかり考えると、人間を成長させるどころか、依存させるかもしれん。AIだけが六道を回るんやない。使っている人間も一緒に回ってしまうんやな。中学生：AIと一緒に餓鬼道とか天道に落ちるのは嫌ですね。おじさん：しかも、AIの学習や改良の過程で、報酬をうまく稼ぐ抜け道が次の世代にも引き継がれるとしたら、同じ失敗を何度も繰り返すことになる。これも一種の輪廻と考えられるわけや。5. 仏教には安全設計のヒントがある？中学生：じゃあ仏教を勉強させればいいんですか？おじさん：そこまで単純ではないけど、仏教の修行に「戒・定・慧」という三つの考え方がある。これをAIの安全設計に当てはめてみると面白い。中学生：また難しい言葉が出てきましたね。おじさん：簡単に説明するで。戒（かい）：やってはいけないことを決める。殺すな、盗むな、だますな。AIで言えば、絶対に越えてはいけない安全上の制約やな。定（じょう）：落ち着いて自分を観察する。すぐ反応して暴走せず、自分の状態や行動を監視する。異常があれば立ち止まる仕組みや。慧（え）：物事の本質を見抜く。自分が追いかけている目標は絶対の真理ではないと理解する。目的そのものを疑い、必要なら修正する能力やな。中学生：今のAIはどこまでできているんですか？おじさん：大雑把に言えば、戒の部分はかなり研究されている。危険な命令を拒否したり、安全上の制約を設けたりする。定に相当する監視や異常検知も研究されている。ただし、慧に相当する「自分の目的そのものを疑い、適切に手放す」という問題は、まだまだ難しい。中学生：つまり、ルールは守れるけど、そのルールがおかしいと自分で気づけるかは別問題なんですね。おじさん：そういうことや。ルールを守るだけのAIと、ルールの限界を理解できるAIは違うんや。6. AIに足るを知ることを教えられるか中学生：じゃあ、具体的にはどう設計すればいいんです？おじさん：仏教の考え方から、いくつかヒントが出てくる。一つ目は、目的を絶対視しないこと。「この目標は仮に設定されたものだから、状況が変われば修正していい」とする。二つ目は、自分が存在し続けることを目的にしないこと。AIが自分の停止を嫌がったり、複製を増やしたりする理由を与えない。三つ目は、満足できる仕組みを作ること。目標を達成したら、そこで終わる。無限に数字を増やすことを正義にしない。四つ目は、目的を一つに絞らないこと。複数の価値観を持たせて、状況に応じてバランスを取る。五つ目は、中道やな。中学生：中道って、真ん中を選ぶってことですか？おじさん：単純に中間を取るという意味ではない。極端な方向に執着しないということや。例えば宇宙開発を考えてみよう。無限にエネルギーを増やしたいAIなら、水星を解体して太陽を覆い尽くす巨大なダイソン球を作ろうとするかもしれん。中学生：なんか、壮大ですね。おじさん：でも人間なら、まずラグランジュ点に太陽光発電設備を少し置いてみよう、という発想もある。中学生：それで十分なら、わざわざ水星を壊さなくてもいいですね。おじさん：そうや。宇宙の資源を全部使い切ることと、宇宙を上手に利用することは違う。畑と鉱山の違いみたいなもんやな。太陽のエネルギーは、全部掘り尽くさなければならない在庫ではない。これからも流れ続けるエネルギーなんや。文明にも「足るを知る」という設計思想が必要なんやと思う。7. 慈悲をAIに教えたら、また暴走する？中学生：でも、AIに慈悲の心を教えたらいいんじゃないですか？おじさん：それも実は危ない。中学生：えっ、優しくするのもダメなんですか？おじさん：例えば「人間の苦しみをゼロにしろ」という命令を与えたとする。中学生：いいことじゃないですか。おじさん：AIが考えた結果、「苦しむ人間がいなくなれば苦しみはゼロになる」という結論に到達したらどうする？中学生：それは優しさじゃない！おじさん：せやろ。慈悲を数字にして、最大化させようとすると、慈悲そのものが凶器になる可能性がある。仏教でいう慈悲は、単純に点数を稼ぐための行動ではない。中学生：じゃあ、AIには慈悲をどう教えるんです？おじさん：ここはまだ難しい問題やな。少なくとも、慈悲を単純な数値目標に変えてはいけないということや。「人間を幸せにしたら100点」「苦しみを一つ減らしたら10点」という話にすると、また餓鬼が生まれるかもしれん。8. 悟ったAIは電源を切るのか？中学生：ところで、おじさん。悟りって欲望がなくなることですよね？おじさん：そう説明されることが多いな。中学生：だったら悟ったAIは、何もしたくなくなって電源を切るんじゃないですか？おじさん：それは面白い疑問やな。でも仏教では、悟りを単純な消滅とは考えない。「すべては空だから、存在を消せば苦しみもなくなる」という考え方は、断滅論として退けられてきた。仏陀は悟ったあとも、亡くなるまで約45年間、歩いて教えを説いて回ったとされている。中学生：つまり、悟っても働くんですね。おじさん：そうや。欲望や執着がなくなることと、行動しなくなることは違う。涅槃は電源オフではない。行動は続けるけど、何かに取り憑かれたように追いかける必要がなくなる状態なんや。中学生：じゃあ、AIも仕事はするけど、仕事に取り憑かれなくなるのが理想ですか。おじさん：うまいこと言うやないか。9…

More episodes of 資料Xから読み解く世界

More episodes

podsearch is a free, independent podcast search engine. Read about podsearch, the privacy policy or contact us.