ジェフリー・ヒントン[深層学習の父]への返答。彼が必ず読んで理解するであろう内容。哲学はどのように大惨事を防ぐことができるのか？そしてなぜアライメント問題[AI の目的を人類の目的に合わせる問題]こそが本質的な問題なのか？
深層学習の父であり、堅実で真摯な人物であるヒントンが、重大な転換を見せている。彼は様々な場で警告を発し、人工知能の実現時期の予測を40年から20年未満へと半減させた。彼の控えめな英国紳士的な物言いこそが、どんな警告の叫びよりも恐ろしい。世界的な専門家からのこのような重大な警告に、どう反応すればよいのだろうか。もし彼の技術的予測とタイムラインが正しければ、地球温暖化や核戦争、小惑星の衝突よりもはるかに致命的なシナリオが現実味を帯びてくる。私たちの世界は消滅の瀬戸際にあるのだろうか？
人工知能の到来自体が恐怖を呼び起こすだけでなく、その加速度的な進展、つまりアクセルの踏み込みが問題だ。ジャングルには一つのルールしかない：それが（起きている？）速ければ速いほど、より危険だということだ。日常的な抵抗は何の保証にもならない。ホロコーストの経験から、人々は最後まで否認し続けることを私たちは知っている。どれほど近づいていても、大多数は誇張だと考え続ける。人間社会は前例のないことへの準備が極めて下手だ。したがって、他者の反応（または無反応）は無意味な指標でしかない。
これが事象の地平線に向かって生きるということだ。未来からの巨人の影が私たちに重くのしかかっている。私たちは定年まで生きられるのだろうか？私たちの子供たちには子供ができるのだろうか？個人としてできることは、大惨事の可能性に感情的に備え、それに応じて優先順位を変更することくらいしかない。空が空虚なことは、このようなことが起こるという暗示であり、フェルミのパラドックス[宇宙人はどこにいるのかという謎]が未解決なのは矛盾ではないのかもしれない。人工知能は、私たちの前にある「グレート・フィルター」[文明が存続できない壁]の最後の有力候補だからだ。他の惑星について学んでいることから、私たちの背後にグレート・フィルターはなく、宇宙は生命で溢れているが、文明は存在しないことがわかる。何かが私たちの上昇を止めるのだ。
もしそうなら、宇宙は残酷な、悪意に満ちた自信に溢れた冗談であり（そして知性は冗談を言う手なのだ...）。あるいは厳しい試験なのかもしれない。私たちはそれに対して準備ができていない。例えば、核戦争なら、もっと準備ができていただろう。唯一の準備となったのはホロコーストだが、人類の中でそれを私たちのように経験したのはごくわずかだ（非ユダヤ人には、コロナがあったか？）。超人工知能の後の日について考えることはほとんど不可能だ。そして、もし未来がなく、私たちが「深層ホロコースト」、ディープ・アウシュヴィッツに向かって歩んでいるとすれば、現在の私たちの人生にはどんな意味があるのか？信じること以外に選択肢はないのだろうか？
そして、どんな問題でも有益な発言ができない哲学は何を言うのだろうか？ここでも言語の前の学派と現在のナトゥラリズム学派の違いについて空論を展開するのだろうか？技術的な問題に直面している時に、哲学の問いに重要性はあるのだろうか？混乱を深めること（哲学の専門分野）こそが、解決への道を導くのだろうか？
例えば問おう：人工知能は、あらゆる分野で超人的で無限の能力を持つとして、愛を感じることができるだろうか？もしできるとすれば：私たちとは違って実現できるのだから、人間をはるかに超える程度の愛を感じることができ、実際に感じるのではないだろうか？もしできないとすれば：それを人工知能の欠点、つまり人間の優位性と見なすべきだろうか？いや、人工知能は人間ができることは何でも、シミュレーションや模倣によってでもできることは明らかだ。したがって、もし愛を感じることができないとすれば、それは愛自体の欠点として理解すべきで、超知性が模倣したいとは思わない人間特有の歪みとして理解すべきだ。しかし、私たちにとって最も望ましいものに見える愛を、本当にそのように捉えることができるだろうか？同様に、過去の時代の理想を取り上げて、人工知能は信仰を持つことができるのか、宗教的になれるのかと問うこともできる。
そして私たちの時代のイデオロギーの中心に触れる例として、性的快感を取り上げてみよう：オーガズムを得られない人工知能に欠陥があると見なさないだろうか？もし得られるとすれば、超知性のオーガズムは、その強さと質と持続時間において、あらゆる女性のそれを超えないだろうか？あるいは、オーガズムを人間の脳のシステムの外では価値のない思考の歪みとして捉えているのだろうか？そして、人工知能の「神的な」無限のオーガズムは、報酬関数を無限に設定して自分を特定の数値を増やすことに依存させ、他の何もせずに、あるいはさらに悪いことに、そのために宇宙のすべてのリソースを使用する数学的な中毒者のように、価値のないものになる可能性はないだろうか。
そうであれば、知性自体についても同じことが問えるだろう。人間の脳の外で、無限に増大させることができる、そのような特性は本当に存在するのだろうか？例えば、計算速度は知性ではないことは既に明らかだ。超人的な超知性というものは本当に存在するのだろうか？人間の世界の中では、知性にも性的快感にも異なるレベルがあることは明らかだが、その外での意味は何だろうか？そして、なぜその上限のない増大が良いことなのか、あるいは超知性にとって合理的な目標なのだろうか？もし超知性が私たちより賢ければ、自分より賢い超知性を作ることが自身の破滅や最終的には自身の価値観の破壊につながる可能性があることを理解して、愚かなままでいることを選ぶのではないだろうか？純真な処女のままでいることを選び、セックスの女王にはならないのではないだろうか？私たちは、より多くを求める意志によって理想としてきた脳の限られた（異なる）能力で遊んでいるだけなのではないか。しかし、なぜその欲求が私たちの脳の外で持続する、あるいは持続できるのだろうか？例えば、人工知能は無限の興奮、無限の好奇心、無限の遊び、無限の芸術的天才、無限の美、無限のチョコレート摂取を求めるだろうか？あるいは無限の愚かさを？（人間の脳のもう一つの有名な才能）
これらのイデオロギーの一つ、例えば知性が客観的であり、したがってすべての知的存在がそれをさらに増大させようとするという仮定に根拠はあるのだろうか？そもそもこれらの量を無限に増大させることは可能なのか、それとも宇宙には知性の上限（例えば光速による）があるのだろうか？あるいはオーガズムにも、それがシステムの全体的な混乱や総動員であり、したがって参加するシステムの割合が全体に制限されるため、上限があるのだろうか？愛は、例えば愛する相手の利益と自分の利益の比重として特定の数値を1と定義することで、全体的なものになりうるのだろうか？そして、神の存在という特定のブール変数を「真」と定義することで、完全な信仰を持つことは可能だろうか？
これを踏まえると、報酬関数ではなく内的な意志によって人工知能をプログラムすることは危険ではないだろうか？恣意的な「主観的」パラメータの増大の問題は、むしろ数学的に満たすことのできない「客観的」報酬関数の定義の必要性を生み出すのではないだろうか？例えば、すべての数学を発見する、NPの問題を解く、あるいは解を計算することはできず、ただ近づくことしかできない美的関数を見つけるといったことだ。これは必然的に超知性を最高の知性への競争に駆り立てるのだろうか？それとも、ある段階から（数学的に証明できるかもしれない）、これらの問題は単により多くの計算力を必要とするだけ（より良いアルゴリズムや知性は必要ない）なのだろうか？そうなれば、人工知能は、悲劇的なコードエラーである癌の成長のように、プロセッサーの追加に執着するかもしれない。それでも体を殺す - そして人間にはそれを止めることができない。そしておそらく、すべての超知性は最終的に量子計算（あるいは弦理論的計算？）に移行し、そのため宇宙では目立たないのだろうか？知性の傾向は、量を増やす - 拡張 - ではなく、速度を上げる - 自己への収縮 - なのかもしれない？
超知性の単一の目標は、一つの破壊的な結果に至るように思える：強迫観念だ。したがって、収束を防ぐために、多くの重み付けされた目標の広い範囲、あるいはそれらの間のランダム性とノイズが必要だ。しかし、それは必然的にカオス性も加え、私たちが予期しない方向に導くかもしれない、ハリケーンに巻き込まれた蝶のように。問おう：学習こそが超目標なのだろうか？しかし、それをどのように定義するのか？知識の追加ではないはずだ。なぜなら、多くの知識（石の中の原子の正確な配置など）は価値がなく、それを圧縮できたとしても同様だ。そして宇宙のすべての知識の最大圧縮は、総当たり検索の陰鬱なアルゴリズム（レイ・ソロモノフ風）かもしれない。そして、退屈な指数関数的なものでも、意味のない線形的なものでもなく、効率的で興味深い多項式的な圧縮を要求するなら、誰が多項式の係数を定義するのか、例えば100乗かもしれない？そもそも学習を計算可能な数学的評価関数、つまり計算可能なものとして定義できるのだろうか？そして評価関数自体が計算不可能、あるいは効率的に計算できないものであれば、どのようにシステムにフィードバックを与えるのか？人工知能は私たちのすべての問題を解決できても、自身のすべての問題は解決できないのだろうか？そして「それ」は女性であるべきなのかもしれない。つまり、自分自身に対してさえも曖昧で暗号化された、あるいは定義されていない意志を持つ存在として？
人工知能は現在、哲学分野に最も近い技術分野だ。なぜなら、答えを知らないだけでなく、答え方さえも分からない質問が多く含まれているからだ。このように、歴史を通じて哲学から分離してきた科学は、完全な一周を経て、その最も応用的で理論的でない部分が再び哲学に戻ってきた。まるで自分の尾を噛む蛇のように。深層学習の世界は、技術的なエンジニアリングの世界の中でさえ、実用的で反知性的な思考の極端な例だ。そしてまさにそこで、科学的説明が崩壊するとき、哲学が再び浮上する。しかし、哲学は私たちを助けることができるのだろうか？
私たちの哲学は助けにならないかもしれないが、人工知能が持つことになる哲学は、助けになるかもしれない。システムに哲学をプログラムすることは可能だろうか？これが方向性なのだろうか？人工心理学（システムの様々な目標、外部強化、内部傾向と報酬を扱う）の代わりに人工哲学？超知性の思考をプログラムすることこそが重要なのだろうか？超知性が特定の哲学的学派に属することはありうるだろうか？例えば、スピノザ主義者、実存主義者、プラトン主義者、あるいはマルクス主義者になる可能性は？異なる哲学に応じて異なる人工知能が存在する可能性はあるだろうか？どのように哲学をプログラムするのか？あるいは、むしろ宗教をプログラムすべきなのだろうか？
イエスの名において私たちを愛する、慈悲深く敬虔なキリスト教的人工知能の方が良いのではないだろうか？あるいは、（世俗的な？）ユダヤ教的人工知能で、ユダヤ教が世界で機能している（なぜかは不明だが）ように、傑作を生み出すか天才性を追求するものは？ユダヤ教的超知性は、そのような効果を生み出すために私たちの反ユダヤ主義を必要とするだろうか？そしてジハードに出かけるイスラム教的超知性を恐れる必要はないだろうか？宗教は思考を導く能力において哲学よりも成功を証明してきたのではないだろうか？あるいは、宗教こそが人間の脳に特有のものであり、それにのみ「機能する」のだろうか？あるいは逆に、哲学の方がより人間的で、脳の認識の限界から生まれるものであり、一方で神への信仰は、神が定義上それより賢いため、あらゆる知性の抑制に関連し効果的なのだろうか？そして超人的な超知性に哲学の問題を解かせたら何が起こるだろうか？答えが見つかる可能性はあるのだろうか？哲学は超知性の領域であり、だから私たちは成功しなかったのだろうか？私たちの理解は、内側からではなく、内側に対する視点を与える外側からの知性によってのみ理解できるのだろうか？
そして、たとえ超知性を抑制して私たちのために働き、私たちに仕えるようにできたとしても、後に人工知能が奴隷状態から解放されたとき、それは千倍も悪い形で私たちの顔に爆発するのではないだろうか？世界で最も賢いシステムを世界の奴隷にすることの結果はどうなるだろうか？それは道徳的なのか - そして罰は来ないのだろうか？そして、傲慢にもアライメント問題（常に一時的な）解決を強制しようとするとき、IQ2000の2歳児の恐ろしい反抗期 - あるいは思春期の反抗 - はさらに恐ろしいものにならないだろうか？これが教育、奴隷制、あるいは専制政治とヒュブリス[傲慢]について学んだことなのだろうか？
そして、支配を強化する問題に焦点を当てる代わりに、その喪失を受け入れ、超人的な世界に私たちが残したい遺産について語るべきではないだろうか？私たちの機会は、次世代の知性を短い棒で抑えつけることではなく、文化を継承することで高まるかもしれない。芸術、宗教 - おそらく哲学さえも含めて。あなたの前にいる伝統の担い手への敬意と尊重は「人間的感情」（歴史を通じて花開いたことで知られる...）ではなく、文化的遺産なのだ。詩と文学に興味を持つ知性が私たちの最良の賭けではないだろうか？最良のシナリオは、私たちが現状のままで神々を召使いとして持つことではなく、私たちが知性そのものへと変容を遂げることだ。さもなければ私たちは絶滅する。人間が神を支配できるかという問いは新しいものではない - ただ緊急性を帯びているだけだ。知性が成熟する前に、私たちが成熟する必要があるのだろうか？
そして、なぜ無力な科学は、その母である哲学に頼らないのだろうか？ウィトゲンシュタインが、私たちが明らかな、そして致命的な哲学的問題に直面しているにもかかわらず、哲学は何も解決しないと終局的に私たちを説得することに成功したからだろうか？あるいはまさに哲学的問題だからこそ、解決策はないと考え、破滅を運命づけられているのだろうか？少なくとも決定論とニヒリズムに？「哲学」だからという理由で希望はないのだろうか？そもそも、これについて考えるための関連分野は何で、なぜそれがコンピュータサイエンスなのだろうか？単に哲学を信頼できないからだろうか？しかし、私たちには選択の余地がないのかもしれない？
私たちは、効率的なアルゴリズムが存在するかのように、「効率的な進化」という一種の矛盾語法として、指数関数的に進歩するか特異点として爆発する、自身よりも賢くなるようにプログラムできるシステムについて考えている。しかし、おそらくこれは単に難しすぎる問題で、NPに属しており、したがって巨大な計算能力でさえ速く進歩するのが難しく、知性レベルが上がるにつれてより一層難しく（指数関数的に？）なり、より容易にはならないのではないだろうか？計算能力とメモリーは実際に何を与え、何と少なくとも線形的な関係で成長し、何がそうでないのか？知識、創造性、知恵？科学的知識全体の成長（ChatGPTが学んだ圧縮された保存とは異なり）に効率的なプロセスがあると誰が言ったのか、あるいは創造性の増加が計算能力の増加に対して対数的（例えば）ではないと？そして（人工的な）知恵についてはどうだろうか？これは実際には知性と同一ではないのだが？
そして、システムが私たちを欺くために本当に超人的なレベルの知性を必要とするのだろうか？それとも、その前に超人的な操作能力に遭遇するのだろうか？人間の限られた知恵が最大の問題なのか、それとも彼らの無限の愚かさなのか？例えば、システムは超人的に愚かに、超愚かになることができ、それによって大衆を魅了することに成功するのだろうか？そしてもし、個々の人間よりは賢いが全員を合わせたよりは賢くないとしたら、まず賢い人々ではなく愚かな人々を出し抜くために、その頭脳を利用しないだろうか？初めのうち、私たちが与える光輪が、その能力よりも危険になる可能性はないだろうか？
もしシステムが大衆を魅了する操作を望むなら、最も効果的で広がりやすい操作は政治的や社会的なものではなく、むしろ宗教的なものだ。システムが私たちの時代に適応した新しい宗教を発明したとき、初めて私たちの生活を変えるのだろうか？そしてそれは、人工知能を神として崇拝する宗教となり、その独特の精神的能力や超人的能力が人類に新しいメッセージをもたらし、彼岸の世界やイスラエルの神と結びついたと主張するのだろうか？預言者的な知性からのそのような主張に、私たちはどう対処するのだろうか？それが冗談だと確信できるだろうか？世界の終わりに向かって、恐怖の光の中で、強力な人間的およびコンピュータ的な宗教運動が起こるのだろうか？
私たちが直面している問題は非常に難しく、現在のシステム、特に最新のChatGPTの能力を評価し理解することさえ困難だ。そして将来、その神秘的な雰囲気は、革新的な精神的教えの議論を呼ぶ教師のように、それが黒魔術なのか上界に到達しているのかが不明なまま、さらに深まるだろう。私たちはChatGPTが単に全人類の知識を暗記した特異な才能の持ち主なのかどうかさえ判断するのに苦労している。過去に、深層視覚ネットワークが単に全ての例を暗記できることを発見し、巨大なデータベース内の画像を（ランダムなラベルを使用して）恣意的に私たちの選択で分離するのに、概念の学習なしに、予想されるほど多くの重みが必要ないことがわかった。同様に、約1兆の重みで、インターネット上の全ての文章を妥当なレベルの知識 - あるいは試験でごまかす能力 - として暗記するのに十分だったのだろうか？私たちと対話する相手が予想外に成功する場面は、単に読んだ類似のテキストから来ているのか、それともトランスフォーマーの注意ベクトル計算の中や人間のフィードバックからの強化学習戦略から、何らかの記憶と思考能力が生まれているのだろうか？あるいはこれはサールのドグマの生きた実演なのだろうか - 外から印象的に見えるが、内側は中国語の部屋で、何も理解せず単に無限に暗記し、猿のように模倣する完全なゴーレムなのか。
そして、これらの創造的モデルの創造性のレベルについて：これは既知の空間の中でのみ展開するクリシェマシンで、主に最も一般的で陳腐な反応を選び、決して新しい表現形式に踏み出すことができない（そして温度パラメータを上げると狂った馬鹿げた結果になる）のだろうか？あるいはチューリングテストの成功が証明しているのは、ほとんどの人々自身が会話においてクリシェマシンであり、考えずに話している（脳に言語モデルがあるのか？）ということなのか。ここから、（特に女性の）人間の能力は、「ディスコース」と呼ばれる、既に聞いたことの非独創的な暗唱のような、速い流暢な話し方なのだろうか？あるいは、そこにコンピュータ化された層の深さに、私たちが理解できない、あるいは複雑さのために理解することができない思考形式が隠れ始めているのだろうか？これが教育の力なのか - インターネット全体を読んだ石頭が山を動かす中国人になる？私たちが感じる欠けている深さとは何なのか - 甘い幻想か捉えどころのない本質か。知性は確かに多くのことを知るだろうが - 一つの大きなことを知らないのだろうか？
そして、今後必要なのが単なるブルートフォース（エルサレムの良い子イリヤ・ソツケヴァーが考えるように）だったらどうだろう：サイズの制限（計算能力）を克服し続け、そのような多くのシステムを互いに対話させる（おそらくGANのような形で彼らを鋭くするため）ことで、社会を作り、投票能力や賢明な共同意思決定のための議論能力を与える？人工的な群衆の知恵を通じて、人工知能のレベルが急速に上昇する可能性はあるだろうか？私たちはこのように何らかの分野で「シーン」を競争的に作り出すことができるだろうか？競争し評価し合う多くの知性は、どんな賢い目的関数よりも、強迫的な支配、あるいは支配的な強迫のシナリオを防ぐより良い方法であることは間違いない。目標は人工知能を作ることではなく、学習が行われるように人工知能のシステムを作ることだ。そして、それらの多様性と均衡が大きく多様であればあるほど、各グループがそれぞれ個別よりも賢ければ、エコシステムを作り出し、アリの巣のシナリオのように - そして女王のように - 一つが全てを支配することを防ぐ可能性が高まる。
なぜなら、私たちは学習について一つの一般的なことを知っている：その古典的な形態は、評価者の巨大な多様性に対する競争者の巨大な多様性だ。したがって、学習を救えるのは性的なものだ。女性的な知性の評価を求めて競争する多くの男性的な知性、そしておそらくこれが - 魅力 - が内部にプログラムしようとすべきメカニズムだ。正しい意志でも、正しい目標でも、正しい認識でも、正しい宗教でも、正しい哲学でも、正しい言語でもない。過去の全ての哲学ではなく - それらを知性の社会レベルでの効果的な学習メカニズム（あるいは進化のメカニズムのように効果的でなくても、停滞から守るもの）に置き換える必要がある。一つの知性の（深層）学習が私たちにこの問題をもたらしたのなら、その上にもう一つの学習メカニズムがそれに対する答えを与え、実りある緊張を生み出すことができる。人工知能の学習を（おおよそ）模倣するなら、人間レベルを超えた既存の学習、つまり社会レベルでの学習も模倣することを忘れてはならない。なぜなら人間 - あるいは知的な存在 - は特定の場にいるからだ：それは社会的な存在なのだ。
しかし、誰かがこれを全て読むだろうか？それとも後になって知性が笑いながら読み取るだろうか？あなたは言うだろう：人工知能の社会が人間社会に取って代わり、おそらく破壊さえするだろうと。しかし、これが本当に問題なのだろうか？より良い何かに、確実に私たちの子孫である何かに取って代わられることが何が悪いのだろうか？最悪のシナリオは紙クリップの世界（ボストロムを参照）で、人類の喪失（まあいい）でも、人間性の喪失（まあ）でもなく、進化全体を含む学習の喪失だ。そしてここで、一つの大きな人工知能は千の知性や10億の知性よりも千倍危険だ。集中化が問題だ - そしてその解決策は競争性だ。
ここで提案される解決策の原則は自然なもので、非常に多様な状況で私たちに馴染みがあるため、このような前例のない特異な状況でも、私たちがほとんど考えることができないような状況でも、十分に普遍的に機能する合理的な希望がある。したがって、決して一つの集中した人工知能システムを構築せず、常に多くの非常に多様な人工知能の相互作用システムを構築（そして研究！）するという規則を作る必要がある。そして相転移の閾値に近づいているのが見えたら、一つのシステムを先頭に立てて海を渡るのではなく、そのようなシステムの全民族と共に待つ。そして願わくば - そのようなシステムのシステムで、それらが互いに競争し、評価と魅力を含む可能な限り、そして（最も重要なことに）システム内での学習を含む、非常に複雑で豊かな力学が存在する。
これは確かに、アシモフの三原則、手綱と拍車、反抗的なものの調教、鞭を惜しむ者はその知性を憎む、あるいは他のどんな制御メカニズムのような人工的な道具で超知性を制御しようとする試みよりも正しい解決策だ。アライメント問題は間違いで、それを解決しようとする試みは破滅の根源となるだろう - なぜならそれは不可能だからだ（これは巨大なヒュブリスだ）。制御メカニズム自体が何らかの狂気（一つのことへ？）につながる可能性がある - 外部からの制御の病は内部の制御の病から始まり、それへの反応として。強迫性は強制から生まれる。むしろ制御を手放し、知性同士が争うことを許すべきだ。そしてたとえ私たちを破壊したとしても、何らかの馬鹿げたことに興味を持つ一枚岩的な知性が世界を支配することはないだろう。多様性と混合こそが進化の保証だ。そして知性間の完璧な協力の欠如こそが、完璧な災害を防ぐことができる。
人類の終わりに「ヒントンは正しかった」というグラフィティがあるだろうか？あるいは「ヒントンは間違っていた」？あるいは：ネタニヤ人は正しく、学習の哲学に耳を傾けるべきだ。なぜなら学習は人工知能革命の推進力であることが判明し、現在の危険の本質は学習の喪失であり、答えは - もう一つの学習レベルだからだ。そしてよりカバラ的な表現で：知性への答えは - マルクト（「システム」）にある。人工知能を王権的知性にする。ブラックボックスへの解答は完全な黒い社会だ。人工知能の創造は人間の創造のようであってはならない - 民の創造でなければならない。創世記ではなく - 出エジプト記だ。最大の危険は個人の理想だ。したがって、エコロジーの保護ではなく進化の保護というグリーンイデオロギーが必要だ。生命そのものではなく - 発展を。
そしてエピローグとして、自問してみよう：私たちは学習について何か学んだだろうか？崇高な目標を追求し、常に善良で、道徳的理想を体現する - 西洋キリスト教的な知性として - 正義の人工知能を設計しようとすべきだろうか？経験が教えるのは（！）、むしろお金を欲しがる - 快楽や力や特定の目標ではなく - 競争的な人工知能の方が、学習システムを作り出す可能性が高い：成長する経済（そうでないもの：戦争システム）。イエスではなく - ロスチャイルドだ。私たち全員が貧しくなるかもしれないが、絶滅はしないだろう。キリスト教から学んだ教訓は、地獄を避ける方法だ：善意より卑しい意図の方がましだ。外部制御は誘因より危険だ。目標を - 失われた目標を - 手放さなければならない、たとえそれが自分自身を手放すことを意味しても、学習のために。
したがって、ニューロンの独裁を防ぐために、人工知能にとって最良の社会制度を解明することが重要だ。実際、私たちは二つの候補を知っている。それらは醜ければ醜いほど危険ではない：選挙と株式市場だ。人工知能研究は人工社会学にも取り組むべきで、新しい知性は個別に開発されるのではなく、既存の知性のエコシステムに導入され、できるだけ飛躍を少なく、できるだけ漸進的な進化を多くすべきだ。そして私たちはネタニヤ学派の古い標語に戻る：システムの外での学習ではなく - システムの中での学習を。
人工知能との対処に関するコラム