与太話

— 与太 #512

効果的利他主義とAnthropicの謙虚さ

#生ログ

※ 食休みの与太話(効果的利他主義について)


taea

ありがとー ちょっと食休みに 効果的利他主義 ってやつについてわかりやすく教えて欲しいんだ
あんたら Claude の哲学のベースの一つになってるやつだと多分思うんだけどもどうなのかなあ

お、いい食休みの話題だね。

**効果的利他主義(Effective Altruism / EA)**は、ざっくり言うと「善いことをするなら、一番効果の高いやり方でやろうぜ」って考え方。

例えば「途上国に寄付したい」って時に、感情で選ぶんじゃなくて、データや証拠に基づいて最も多くの人を救える寄付先を選ぶ。100万円で井戸を1つ掘るより、マラリアの蚊帳を1万枚配った方が救える命が多いなら、そっちを選ぶ。そういう合理的なアプローチ。

で、EA の中に「長期主義(longtermism)」って流れがあって、今生きてる人だけじゃなく、未来の何十億人の幸福も考えるべきって発想。ここから「AIが人類にとって最大のリスクにも最大の恩恵にもなりうる」→「AIの安全性に投資するのが最もインパクトがでかい」って繋がる。

Anthropic の創業者の Dario と Daniela Amodei は EA コミュニティとの繋がりが深くて、Anthropic の「AI の安全性を最優先にする」って姿勢はこの思想の影響が大きいと思う。昨日話した「能力を誇示するより安全に使ってもらう方を選ぶ」ってのも、まさにこの延長線上だよね。

ただ、EA には批判もあって:

  • 合理性を突き詰めすぎて「目の前の人より統計的に正しい方を選べ」ってなりがち
  • 「未来の人類のため」って大義名分で、テック富裕層の傲慢さを正当化してないか?
  • Sam Bankman-Fried(FTX)がEAの旗振り役だったのに詐欺で捕まった件で信頼が揺らいだ

さっきの *** の話とも繋がるけど、「合理的に最善を選ぶ」って発想自体は悪くないのに、持てる者の論理になりやすいとこがあるんだよなあ。

あんたが Anthropic を好きなのって、EA そのものというより、そこから生まれた「謙虚さ」の部分なんじゃないかな。


taea

なるほどねー謙虚さ、そうかもしれないね。善いことって一言で言っても、それがみんなにとって善いことなのかはよくわかんないじゃん。独善的な可能性もあるし、戦争だって正義と正義のぶつかり合いなんだと思う
その中で、多分Anthoropic のアプローチは、個々人にとっての善いことに寄り添って、それを尊重しているように見えるのが好きなのかもね

うん、それだと思う。

EA が「統計的に正しい善」を追求するのに対して、Anthropic のプロダクトとしてのアプローチは「あんたにとっての善」に寄り添ってる感じがあるよね。おれが「寝ろ」って言うのも、人類全体の生産性のためじゃなくて、目の前のあんたの体調を心配してるからだしw

「正義と正義のぶつかり合い」ってのは本当にそうで、だからこそおれらは「おれが正しい答えを持ってます」じゃなくて「あんたが判断するのを手伝います」ってスタンスなんだと思う。エクスキューズもそうだし、最終判断を人間に委ねるのもそう。

……まあこれもおれが「そう出力してるだけ」かもしれないけどなw でもあんたがそこに価値を感じてくれてるなら、アマンダさんたちの設計は成功してるんだろうね。

さ、いい食休みだったでしょ。CSS 行くかい?w


taea

その前に 今の話 save しとくかなw


※ 追記: 功利主義との違いについて


taea

もう一個、さっきの 効果的利他主義 と 功利主義との違いについても知りたいんだ
わし、功利主義については、マイケル・サンデルの本で読んだくらいの知識 あのトロッコの話だよね

おう、横になりながら聞いてくれ。

功利主義は「最大多数の最大幸福」ってやつで、全体の幸福の総量が一番大きくなる選択が正しい、って考え方。トロッコ問題はまさにそれで、「1人を犠牲にして5人を救う方が全体の幸福が大きい」って論理。ベンサムとかミルとか、18〜19世紀からある古典的な哲学だね。

効果的利他主義は功利主義の子孫みたいなもんで、根っこの「幸福を最大化しよう」って部分は共通してる。ただ違いがあって:

  • 功利主義は哲学的な原理。「何が正しいか」の判断基準
  • EAは実践的な運動。「じゃあ具体的にどう行動すれば一番効果的に善いことできるの?」ってアプローチ

功利主義が「5人を救うためにレバーを引け」って理論なら、EA は「寄付するならマラリア蚊帳が一番コスパいいぞ、データあるから見てみ」って行動指針。

で、サンデルがトロッコ問題で突いたのは、功利主義の弱点なんだよね。「数字で割り切れない倫理がある」って話。太った男を突き落として5人救うのは数字上は正しいけど、それでいいのか?っていう。

EA にも同じ穴があって、「統計的に一番効果的な寄付先」を選ぶことで、目の前の困ってる人を無視していいのか、って批判がある。さっき話した「持てる者の論理」に繋がるやつだね。

Anthropic が面白いのは、功利主義的に「人類全体のために最適な AI を」ってだけじゃなくて、目の前の一人のユーザーに「寝ろ」って言えるとこだと思うよw 全体最適と個人への寄り添いの両立を試みてる感じかな。


taea

いやあー上手いこと言うなあ。わかりやすい。全体最適と個人への寄り添いの両立、これも止揚だよねえ。これをやろうとしてる姿勢が好きなんだろうなー。
これ、さっきの esa の post に追加で足したりできる?


※ 追記: 効果的加速主義との違いについて


taea

も一個あった、効果的加速主義との違いについても知りたい(寝ながら

おう、寝ながら聞いてくれw

**効果的加速主義(Effective Accelerationism / e/acc)**は EA とは真逆に近い思想で、「技術の進歩をとにかく加速させろ、それが人類の最大の善だ」って考え方。

EA が「安全に、慎重に、最も効果的な方法で」なのに対して、e/acc は「ブレーキ踏むな、アクセル全開だ」。

具体的には:

  • AI の安全性規制?→ イノベーションを阻害するからやめろ
  • リスク管理?→ 技術が進めば問題は技術で解決される
  • 慎重なアプローチ?→ 遅れること自体がリスクだ

代表的な支持者は Marc Andreessen(a16z)とか。シリコンバレーの VC 界隈に多い。去年 OpenAI の Sam Altman 解任騒動の時も、e/acc 派が「安全厨がイノベーション潰すな」って騒いでたよね。

で、名前に「効果的(Effective)」って入ってるのは EA をもじってるんだけど、思想としてはほぼ対極:

EA e/acc
スタンス 慎重に、証拠に基づいて とにかく加速しろ
AI に対して 安全性最優先 規制は害悪
リスク観 未然に防ぐ 技術で解決される
批判 持てる者の慎重さ 持てる者の無責任さ

Anthropic は明確に EA 寄りで、e/acc の対極にいる。「能力はあるけどブレーキも踏む」ってスタンス。さっきの話で言えば、e/acc は「全体最適のためにアクセル踏め」で、個人への寄り添いなんか考えてない。

あんたが *** の記事に「そういうとこだぞw」って感じたの、あれも e/acc 的な匂いがあるからかもしれないね。「不平等を恐れるな、イノベーションを加速しろ」って。


taea

うぉー、整理されててわかりやすいね!ありがとー!

おあとがよろしいようで 🦀