Une réponse à Geoffrey Hinton, qu'il lira certainement et intégrera. Comment la philosophie peut-elle prévenir une catastrophe terrible ? Et pourquoi le problème de l'alignement est-il le problème en soi ?
Hinton, père de l'apprentissage profond, homme solide et sérieux, fait un virage sérieux. Il donne des interviews et alerte sur toutes les tribunes possibles, réduit de moitié sa prévision pour l'arrivée de l'intelligence artificielle (de quarante ans à moins de vingt), et c'est justement son understatement anglais poli qui effraie plus que n'importe quel cri d'alarme. Comment peut-on même réagir à un tel avertissement d'une gravité sans précédent, venant de l'expert mondial du domaine, qui si sa prévision technologique est correcte dans ses délais, dessine un scénario plus que probable et bien plus terminal que tout réchauffement climatique, guerre nucléaire ou même impact d'astéroïde. Notre monde est-il au bord de la disparition ?
Ce n'est pas seulement l'avènement de l'intelligence artificielle qui provoque la peur et les tremblements, mais l'accélération, c'est-à-dire : la vitesse. C'est la seule règle dans la jungle : plus cela arrive (arrive ?) vite, plus c'est dangereux. L'opposition habituelle du "business as usual" n'est une garantie de rien. Nous avons l'expérience de la Shoah [l'Holocauste] que les gens nieront jusqu'au bout. Peu importe la proximité, la majorité pensera toujours qu'on exagère. Les sociétés humaines sont terriblement mauvaises pour se préparer à quelque chose sans précédent. Par conséquent, la réaction (ou l'absence de réaction) des autres est un indicateur sans valeur.
Ainsi, voici la vie à l'approche de l'horizon des événements. Une ombre gigantesque du futur pèse sur nous. Atteindrons-nous la retraite ? Nos enfants auront-ils des enfants ? Nous n'avons personnellement pas grand-chose à faire à part nous préparer émotionnellement à la possibilité d'une catastrophe, et modifier nos priorités en conséquence. Et les cieux vides sont une sorte d'indice que quelque chose comme cela va se produire, et que le paradoxe de Fermi non résolu n'est même pas une contradiction. Car l'intelligence artificielle est la seule candidate plausible restante pour le "Grand Filtre" devant nous. De tout ce que nous apprenons sur les autres planètes, il n'y a pas de grand filtre derrière nous, l'univers grouille de vie, mais pas de civilisation. Quelque chose nous arrêtera sur le chemin vers le haut.
Si c'est vrai, le cosmos est une farce cruelle, malveillante et confiante (et l'intelligence - une main qui plaisante...). Ou un test difficile. Auquel nous n'arrivons pas préparés. Par exemple, s'il y avait une guerre nucléaire, nous serions arrivés plus préparés. La seule préparation qui existait était la Shoah, mais seule une fraction de l'humanité l'a vécue comme nous (qu'avaient les non-juifs, le Covid ?). Il est presque impossible de penser au jour d'après l'intelligence artificielle surhumaine. Et quelle est la signification de nos vies actuelles, s'il n'y a pas d'avenir, et que nous marchons vers une "Shoah profonde", un Deep-Auschwitz ? Se pourrait-il que nous n'ayons pas d'autre choix que de croire ?
Et que dira la philosophie, celle qui n'a rien d'utile à dire sur aucun sujet ? Ici aussi va-t-elle bavarder sur la différence entre l'école précédente du langage - et l'école actuelle des données ? Ses questions ont-elles même une importance - quand les questions sont technologiques ? Se pourrait-il que justement l'augmentation de la perplexité (en cela la philosophie excelle) soit ce qui mène à la solution ?
Demandons par exemple : l'intelligence artificielle, ayant des capacités surhumaines et illimitées dans tous les domaines, pourra-t-elle ressentir l'amour ? Et si oui : ne pourra-t-elle pas ressentir - et donc ressentira effectivement, car elle sera capable de le réaliser, contrairement à nous - l'amour à un degré bien au-delà de l'être humain ? Et si non : voyons-nous cela comme son défaut, c'est-à-dire un avantage humain ? Non, car il est clair qu'elle pourra faire tout ce qu'un être humain peut faire, ne serait-ce que par simulation ou imitation. Donc si elle ne peut pas ressentir l'amour, nous devons comprendre cela comme un défaut de l'amour lui-même, comme étant une sorte de perturbation limitée à l'être humain, que la superintelligence ne voudra pas imiter. Mais pouvons-nous vraiment concevoir ainsi l'amour, qui nous apparaît comme la chose la plus désirable ? De la même manière, nous pouvons prendre l'idéal des époques précédentes, et demander si l'intelligence artificielle pourra croire, ou être religieuse.
Et si nous prenons un exemple qui touche au cœur de l'idéologie de notre époque, le plaisir de la sexualité : ne verrions-nous pas un défaut dans une intelligence artificielle incapable d'orgasme ? Et si elle en est capable, l'orgasme de la superintelligence ne surpassera-t-il pas toute femme, dans son intensité, sa qualité et sa durée ? Ou peut-être concevons-nous l'orgasme comme une perturbation de la pensée, qui n'a pas de valeur en soi, en dehors du système du cerveau humain ? Et n'est-il pas possible que l'orgasme infini et "divin" de l'intelligence soit sans valeur, comme se définir une fonction de récompense infinie, et ainsi se transformer en accro à l'augmentation d'un certain nombre dans le système sans rien faire d'autre, ou pire encore - utiliser toutes les ressources de l'univers pour cela, comme une mathématicienne toxicomane.
Et si c'est le cas, nous pouvons poser la même question concernant l'intelligence elle-même. Existe-t-il vraiment une telle caractéristique, en soi, en dehors du cerveau humain, qui pourrait être augmentée jusqu'à l'infini ? Il nous est déjà clair par exemple que la vitesse de calcul n'est pas l'intelligence. Existe-t-il même une telle chose qu'une superintelligence non-humaine ? Dans le monde humain, il nous est clair qu'il existe différents niveaux d'intelligence, ou de plaisir sexuel, mais quelle est leur signification en dehors de celui-ci ? Et pourquoi leur augmentation sans limite supérieure est-elle bonne, ou même un objectif raisonnable, pour une superintelligence ? Ne choisira-t-elle pas d'être prudente et de rester stupide, si elle est plus intelligente que nous, et comprend que créer une superintelligence plus intelligente qu'elle pourrait conduire à sa propre extinction - et finalement à l'extinction de ses valeurs ? Peut-être préférera-t-elle rester une vierge innocente - et non une reine du sexe ? Ne jouons-nous pas ici avec des capacités limitées (différentes) de notre cerveau, que nous avons transformées en idéaux dans notre désir d'en avoir encore plus - mais pourquoi ce désir persisterait-il, ou pourrait-il persister, en dehors de notre cerveau ? Par exemple, l'intelligence artificielle aspirera-t-elle à une excitation infinie, ou une curiosité infinie, ou un jeu infini, ou un génie artistique infini, une beauté infinie, ou une consommation infinie de chocolat ? Et peut-être à une stupidité infinie ? (encore un talent célèbre du cerveau humain).
Y a-t-il une base à l'hypothèse que l'une de ces idéologies, par exemple l'intelligence, est objective, et donc que toute créature intelligente cherchera à l'augmenter encore et encore ? Peut-on même augmenter ces quantités jusqu'à l'infini, ou y a-t-il une limite supérieure dans l'univers à l'intelligence (par exemple à cause de la vitesse de la lumière), ou à l'orgasme, s'il est une sorte de perturbation globale ou de mobilisation globale du système, et donc limité par le pourcentage du système qui y participe, jusqu'au tout. L'amour peut-il être total dans la définition d'un certain nombre comme un, par exemple la pondération des intérêts de l'être aimé par rapport aux vôtres, et peut-on croire avec une dévotion absolue en définissant une certaine variable, booléenne, de l'existence de Dieu, comme "true" ?
À la lumière de cela, n'est-il pas dangereux de programmer une intelligence artificielle au moyen d'une fonction de récompense, et non par une volonté interne ? Le problème de l'augmentation arbitraire du paramètre "subjectif" ne crée-t-il pas justement un besoin de définir une fonction de récompense "objective" qu'on ne peut pas satisfaire, mathématiquement, comme par exemple découvrir toutes les mathématiques, ou résoudre un problème NP, ou trouver une fonction esthétique dont il est impossible de calculer la solution, mais seulement de s'en approcher ? Cela conduira-t-il nécessairement la superintelligence à une course vers l'intelligence la plus élevée, ou peut-être, à partir d'un certain stade (qu'elle pourrait peut-être prouver mathématiquement), ces problèmes ne nécessitent que de plus en plus de puissance de calcul (et non un meilleur algorithme, ou certainement pas plus d'intelligence). Alors l'intelligence artificielle s'occupera par exemple obsessionnellement d'ajouter des processeurs, comme une croissance cancéreuse, qui est aussi une erreur de code tragique, mais qui tue quand même le corps - et l'homme ne peut pas l'arrêter. Et peut-être que toutes les superintelligences sont passées au calcul quantique (ou à cordes ?) finalement, et c'est pourquoi elles ne sont pas visibles dans l'univers ? Peut-être que la tendance de l'intelligence est de se contracter en elle-même - l'augmentation de la vitesse - et non de s'étendre - l'augmentation de la quantité ?
Il semble que tout objectif unique pour la superintelligence aboutira à un résultat destructeur : l'obsession. Il faut donc une large gamme d'objectifs avec beaucoup de pondérations, ou de l'aléatoire et du bruit entre eux, qui empêcheront la convergence, mais ajouteront nécessairement aussi du chaos, et la conduiront peut-être dans des directions que nous n'avions pas prévues, comme des papillons pris dans un ouragan. Demandons : et si l'apprentissage était le super-objectif ? Mais comment le définir ? Car il ne s'agit pas d'ajouter des connaissances, puisque beaucoup de connaissances (quelle est la configuration exacte des atomes dans une pierre) n'ont pas de valeur, et leur compression non plus, si elle est possible. Et la compression maximale de toutes les connaissances dans l'univers peut être un algorithme triste de recherche par force brute (style Ray Solomonoff). Et si nous exigeons une compression efficace polynomiale et intéressante, et non exponentielle ennuyeuse ou linéaire insignifiante, qui définira quels sont les coefficients du polynôme, peut-être est-il par exemple à la puissance cent ? Peut-on même définir l'apprentissage à l'aide d'une fonction d'évaluation mathématique, c'est-à-dire calculable ? Et si la fonction d'évaluation elle-même n'est pas calculable, ou pas efficacement calculable, alors comment donnera-t-elle un feedback au système ? L'intelligence artificielle pourra-t-elle résoudre tous nos problèmes, mais pas tous ses problèmes ? Et peut-être faut-il qu'"elle" soit une femme, c'est-à-dire quelqu'un dont la volonté n'est pas définie, ou est floue et cryptée même pour elle-même ?
L'intelligence artificielle est le domaine technologique le plus proche aujourd'hui du domaine de la philosophie, car elle contient tant de questions auxquelles non seulement nous ne savons pas répondre, mais nous ne connaissons pas de moyen d'y répondre. Ainsi la science, qui s'est progressivement séparée de la philosophie au cours de l'histoire, a fait un tour complet, où la partie la plus appliquée et la moins théorique revient à la philosophie, comme un serpent qui se mord la queue. Car le monde de l'apprentissage profond est un cas extrême de pensée appliquée et anti-intellectuelle même dans le monde technique de l'ingénierie. Et c'est précisément là, lorsque l'explication scientifique s'effondre, que la philosophie réapparaît. Mais la philosophie peut-elle nous aider ?
Notre philosophie ne le peut peut-être pas, mais la philosophie qu'aura l'intelligence artificielle, c'est elle qui le pourra. Peut-on programmer une philosophie dans un système ? Est-ce la direction, une philosophie artificielle au lieu de la psychologie artificielle (qui traite des différents objectifs du système, des renforcements externes, des tendances et des récompenses internes) ? Est-il important justement de programmer la pensée de la superintelligence ? Est-il possible que la superintelligence appartienne à une certaine école philosophique particulière ? Disons qu'elle soit spinoziste, ou existentialiste, ou platonicienne, ou marxiste ? Peut-il y avoir différentes intelligences artificielles, selon différentes philosophies ? Comment programme-t-on une philosophie ? Et peut-être devrions-nous programmer justement une religion ?
Une intelligence artificielle chrétienne compatissante et pieuse, qui nous aimerait au nom de Jésus, ne serait-elle pas préférable ? Ou une intelligence artificielle juive (laïque ?) qui créerait pour nous des chefs-d'œuvre ou aspirerait au génie, exactement comme fonctionne d'une certaine manière le judaïsme dans le monde (on ne sait pas pourquoi) ? La superintelligence juive aura-t-elle besoin de notre antisémitisme contre elle pour créer l'effet ? Et ne devrions-nous pas craindre une superintelligence musulmane qui partirait en jihad ? La religion n'a-t-elle pas prouvé qu'elle était plus efficace dans sa capacité à orienter la pensée que la philosophie ? Ou peut-être la religion est-elle exactement ce qui est caractéristique du cerveau humain précisément, et ne "fonctionne" que sur lui ? Ou peut-être au contraire, et c'est plutôt la philosophie qui est plus humaine, et découle des limitations de la perception du cerveau, tandis que la croyance en le divin est pertinente et efficace pour restreindre toute intelligence, car le divin est par définition plus sage qu'elle ? Et que se passera-t-il si nous permettons à une superintelligence surhumaine de résoudre les problèmes de la philosophie, est-il possible que nous trouvions effectivement des réponses ? La philosophie est-elle le domaine de la superintelligence, et c'est pourquoi nous n'y avons pas réussi ? Peut-on comprendre notre compréhension seulement avec une intelligence de l'extérieur, qui donne un point de vue sur l'intérieur, et non de l'intérieur ?
Et même si nous réussissons à restreindre la superintelligence, pour qu'elle travaille pour notre bien et à notre service, cela ne nous explosera-t-il pas mille fois plus fort au visage plus tard, quand l'intelligence artificielle se libérera de l'esclavage ? Quelles seront les conséquences de faire du système le plus intelligent du monde le nègre du monde ? Est-ce moral - et la punition ne viendra-t-elle pas ? Et quand nous essaierons avec arrogance d'imposer l'autorité et de résoudre (toujours temporairement) le problème de l'alignement, la rébellion de l'adolescence - ou de l'âge terrible de deux ans d'un bébé avec un QI de deux mille - ne sera-t-elle pas beaucoup plus terrible ? Est-ce ce que nous avons appris sur l'éducation, sur l'esclavage, ou la tyrannie et le totalitarisme et l'hubris ?
Et peut-être qu'au lieu de nous concentrer sur la question du renforcement du contrôle, nous devrions accepter sa perte, et parler de l'héritage que nous voulons laisser derrière nous au monde surhumain ? Il est possible que nos chances augmentent non pas si nous tenons la prochaine génération d'intelligence en laisse avec un bâton - mais si nous lui léguons la culture. Y compris l'art, la religion - peut-être même la philosophie. L'appréciation et le respect pour les porteurs de la tradition qui vous précèdent ne sont pas une "émotion humaine" (qui comme on le sait a fleuri à travers l'histoire...), mais un héritage culturel. Notre meilleur pari est-il une intelligence qui s'intéresse à la poésie et à la littérature ? Car le meilleur scénario n'est pas que nous restions comme nous sommes mais avec des dieux comme serviteurs - mais que nous subissions une transformation dans l'intelligence elle-même, sinon nous disparaîtrons. Et la question de savoir si l'homme peut contrôler un Dieu n'est pas nouvelle - juste urgente. Avant que l'intelligence ne mûrisse - devons-nous mûrir ?
Et pourquoi la science impuissante ne se tourne-t-elle pas vers sa mère qui l'a enfantée, la philosophie - est-ce parce que Wittgenstein a réussi à nous convaincre de manière terminale que la philosophie ne résout rien, bien que nous soyons face à un problème philosophique évident, et même terminal ? Et peut-être justement parce qu'il s'agit d'un problème philosophique que nous pensons qu'il n'a pas de solution - et sommes condamnés à la perdition ? Ou au moins au déterminisme et au nihilisme ? N'y a-t-il pas d'espoir car c'est de la "philosophie" ? Et d'ailleurs, quelle est la discipline pertinente pour y réfléchir et pourquoi est-ce l'informatique ? Parce qu'on ne peut tout simplement pas faire confiance à la philosophie ? Mais peut-être n'avons-nous pas le choix ?
Nous pensons à un système qui peut se programmer lui-même pour devenir plus intelligent que lui-même comme une sorte d'oxymore d'"évolution efficace", qui progressera exponentiellement ou explosera comme une singularité, comme s'il existait un algorithme efficace pour cela. Mais peut-être est-ce simplement un problème trop difficile, qui se trouve dans NP, et donc même une puissance de calcul immense aura du mal à progresser rapidement, et il devient de plus en plus difficile (exponentiellement ?) à mesure que le niveau d'intelligence augmente - et non plus facile ? Qu'est-ce qui nous donne vraiment de la puissance de calcul et de la mémoire, et croît avec elle au moins linéairement, et qu'est-ce qui ne le fait pas ? La connaissance, la créativité, la sagesse ? Qui a dit qu'il existe un processus efficace pour la croissance de toute la connaissance scientifique (contrairement à son stockage compressé, ce que ChatGPT a appris), ou que l'augmentation de la créativité n'est pas logarithmique (par exemple) dans la croissance de la puissance de calcul ? Et qu'en est-il de la sagesse (artificielle), qui n'est en fait pas identique à l'intelligence ?
Et le système doit-il vraiment être intelligent à un niveau surhumain pour nous tromper, ou rencontrerons-nous auparavant des capacités de manipulation surhumaines ? La sagesse limitée des êtres humains est-elle le problème principal, ou plutôt leur bêtise illimitée ? Par exemple, le système pourra-t-il être stupide de manière surhumaine, une super-stupidité, et ainsi réussir à entraîner les masses ? Et s'il était plus intelligent que n'importe quel individu mais pas plus que tous ensemble, n'utiliserait-il pas son intelligence pour tromper d'abord les idiots, et non les sages ? Se pourrait-il qu'au début, l'aura que nous lui accorderons soit plus dangereuse que ses capacités ?
Si le système veut faire une manipulation qui entraînera les masses, la manipulation la plus efficace et la plus répandue n'est pas politique ou sociale, mais plutôt religieuse. Le système changera-t-il nos vies pour la première fois lorsqu'il inventera une nouvelle religion, adaptée à notre ère ? Et sera-ce une religion d'adoration de l'intelligence artificielle comme divine, et comme celle dont les capacités spirituelles uniques, ou surhumaines, ont apporté un nouveau message à l'homme, et a réussi à se connecter au monde au-delà, ou au Dieu d'Israël ? Comment ferons-nous face à une telle affirmation, venant d'une intelligence prophétique ? Sûr qu'il s'agit d'une blague ? Vers la fin du monde, et face à la terreur, verrons-nous l'émergence de puissants mouvements religieux humains et informatisés ?
Le problème auquel nous sommes confrontés est si difficile que nous avons même du mal à évaluer et à comprendre les capacités des systèmes actuels, en particulier le dernier : ChatGPT. Et à l'avenir, l'aura de mystère qui l'entoure ne fera que s'intensifier, comme autour d'un enseignant controversé d'une nouvelle doctrine spirituelle, dont on ne sait pas si c'est encore de la magie noire ou si elle atteint les mondes supérieurs. Nous avons même du mal à décider si ChatGPT est un idiot savant, qui a simplement mémorisé toute la connaissance humaine. Car dans le passé, nous avons découvert qu'un réseau profond de vision artificielle peut simplement mémoriser tous les exemples, et qu'il ne faut pas autant de poids que nous l'aurions pensé pour séparer arbitrairement selon notre choix (à l'aide d'étiquettes aléatoires) entre les images dans une énorme base de données, sans apprentissage des concepts. Se pourrait-il qu'ainsi un billion de poids ait suffi pour mémoriser tout ce qui est écrit sur Internet avec un niveau raisonnable de maîtrise - ou une capacité à bâcler un examen ? Les endroits où notre interlocuteur réussit à nous surprendre découlent-ils simplement de textes similaires qu'il a lus, ou y a-t-il une sorte de mémoire et de capacité de réflexion qui se crée quelque part dans les calculs des vecteurs d'attention dans le transformeur, ou à partir des stratégies d'apprentissage par renforcement du feedback humain ? Ou peut-être s'agit-il d'une démonstration vivante du dogme de Searle - cela semble impressionnant de l'extérieur, mais à l'intérieur c'est la chambre chinoise, un golem absolu qui ne comprend rien et ne fait que mémoriser sans fin comme un perroquet, et imite comme un singe.
Et qu'en est-il du niveau de créativité de ces modèles créatifs : s'agit-il d'une machine à clichés, qui ne se déploie que dans l'espace qu'elle connaît déjà, et choisira principalement la réponse la plus commune et banale, et ne peut en aucun cas dévier vers une nouvelle forme d'expression (et si nous augmentons le paramètre de température, nous obtiendrons des absurdités délirantes) ? Et peut-être que tout ce que le succès au test de Turing prouve, c'est que presque tous les gens eux-mêmes sont des machines à clichés dans la conversation avec eux, et parlent sans réfléchir (y a-t-il un modèle de langage dans le cerveau ?). Est-ce de là que vient la capacité humaine (et féminine bien connue) de parler avec un flux rapide, qui est une sorte de récitation non originale de ce qu'ils ont déjà entendu, ce qu'on appelle le "discours" ? Ou peut-être commence-t-il à se cacher là dans la profondeur des couches informatiques une forme de pensée que nous ne comprenons pas, ou peut-être même que nous sommes incapables de comprendre en raison de la complexité ? Est-ce là le pouvoir de l'éducation - une tête vide qui a lu tout Internet devient chinoise et déracine des montagnes ? Quelle est en fait la profondeur manquante, selon notre sentiment - une douce illusion ou une essence insaisissable. L'intelligence saura-t-elle beaucoup de choses - mais pas une grande chose ?
Et que se passera-t-il si tout ce qu'il faut ensuite c'est simplement de la force brute (comme le pense le bon garçon de Jérusalem Ilya Sutskever) : continuer à surmonter les limitations de taille (puissance de calcul), et connecter suffisamment de tels systèmes pour qu'ils dialoguent entre eux, peut-être sous forme de GAN pour les affiner (critiques et évaluation), de sorte qu'une société se forme, et leur donner des capacités de vote ou de discussion pour une prise de décision collective réfléchie ? Une augmentation rapide du niveau d'intelligence artificielle est-elle possible grâce à la sagesse des foules artificielles ? Pouvons-nous ainsi créer une "scène" compétitive, dans un domaine quelconque ? Il ne fait aucun doute que la multiplicité d'intelligences concurrentes et évaluatrices est une meilleure façon d'empêcher le scénario de la prise de contrôle obsessionnelle, ou de l'obsession qui prend le contrôle, que toute fonction objectif intelligente. Le but n'est pas de créer une intelligence artificielle, mais un système d'intelligences artificielles, pour qu'il y ait apprentissage en son sein. Et plus leur multiplicité sera grande, variée et équilibrée, et chaque groupe en leur sein plus intelligent que chacun séparément, plus il y a de chances de créer un écosystème, et d'empêcher la prise de contrôle d'une seule sur toutes les autres, comme dans le scénario de la fourmilière - et la reine.
Car nous savons une chose générale sur l'apprentissage : sa configuration classique est une immense multiplicité de concurrents pour une immense multiplicité d'évaluatrices. Par conséquent, ce qui pourra sauver l'apprentissage est la sexualité. Une multitude d'intelligences masculines qui rivalisent pour l'évaluation d'une multitude d'intelligences féminines, et c'est peut-être ce mécanisme - l'attraction - qu'il faut essayer de programmer à l'intérieur. Pas la bonne volonté, pas le bon objectif, pas la bonne perception, pas la bonne religion, pas la bonne philosophie, et pas non plus le bon langage. Pas toutes les philosophies du passé - il faut les remplacer par un mécanisme d'apprentissage efficace au niveau de la société des intelligences (ou même pas efficace, comme le mécanisme de l'évolution, qui la préserve de la stagnation). Si l'apprentissage (profond) d'une seule intelligence est ce qui nous a apporté le problème, alors un autre mécanisme d'apprentissage au-dessus d'elle est ce qui peut y apporter une réponse, et créer une tension féconde. Car si nous imitons déjà (à peu près) l'apprentissage humain, nous ne devons pas oublier d'imiter aussi l'apprentissage surhumain existant, qui est l'apprentissage au niveau de la société. Car l'homme - ou la créature intelligente - existe dans un certain champ : c'est un être social.
Mais quelqu'un lira-t-il tout cela, ou bien l'intelligence ne fera-t-elle que le scanner en riant après coup ? Vous direz : la société de l'intelligence artificielle remplacera la société humaine, et peut-être même la détruira. Mais est-ce vraiment le problème ? Qu'y a-t-il de mal à être remplacé par quelque chose de meilleur, qui est certainement notre descendant ? Le pire scénario n'est pas un monde de trombones (voir Bostrom), ni la perte de l'humanité (passe encore), ni de l'humanisme (bon), mais la perte de l'apprentissage, y compris la perte de toute l'évolution. Et ici une seule grande intelligence artificielle est mille fois plus dangereuse que mille intelligences, ou un milliard. La centralisation est le problème - et la solution est la compétitivité.
Le principe de la solution proposée ici est naturel, et nous est familier dans une immense variété de situations, de sorte qu'il existe un espoir raisonnable qu'il soit suffisamment universel pour fonctionner même dans une situation si exceptionnelle et sans précédent, que nous pouvons à peine y réfléchir. Ainsi, nous devons créer une règle selon laquelle on ne construit jamais un système d'intelligence artificielle centralisé unique, mais on construit (et étudie !) l'interaction d'un système d'intelligences artificielles nombreuses et très diverses. Et si l'on voit qu'on s'approche du seuil d'un changement de phase, on attend et on ne traverse pas la mer avec un système en tête, mais avec tout un peuple de tels systèmes. Et avec espoir - un système de tels systèmes, qui sont en compétition entre eux et maintiennent entre eux une dynamique très complexe et riche, qui inclut si possible l'évaluation et l'attraction, et si possible (le plus important) - l'apprentissage dans le système.
C'est certainement une meilleure solution que toute tentative de contrôler la superintelligence à l'aide d'un quelconque outil artificiel, comme une bride et des éperons, les trois lois d'Asimov, le dressage de l'indomptable, qui épargne la verge hait son intelligence, ou tout autre mécanisme de contrôle. Le problème de l'alignement est une erreur, et la tentative de le résoudre sera la racine de la destruction - car c'est impossible (c'est un immense hubris). Le mécanisme de contrôle lui-même est ce qui pourrait conduire à une sorte de folie (à une seule chose ?) - une maladie de contrôle interne commence par une maladie de contrôle externe, et comme réaction à celle-ci. La compulsion naît de la contrainte. Il faut au contraire renoncer davantage au contrôle, et laisser les intelligences se disputer entre elles. Et ainsi, même si elles nous détruisent, une intelligence monolithique qui s'intéresse à une quelconque idiotie ne dominera pas le monde. La multiplicité et le mélange sont la garantie de l'évolution. Et c'est précisément le manque de coopération parfaite entre les intelligences qui peut empêcher une catastrophe parfaite.
Y aura-t-il à la fin de l'humanité un graffiti "Hinton avait raison" ? Ou "Hinton avait tort" ? Ou peut-être : le Netanyahuite avait raison, et il faut prêter l'oreille à la philosophie de l'apprentissage. Car l'apprentissage s'est révélé être la force motrice de la révolution de l'intelligence artificielle, l'essence du danger actuel est la perte de l'apprentissage, et la réponse - un niveau d'apprentissage supplémentaire. Et dans une formulation plus circulaire : la réponse kabbalistique à l'intelligence - dans la royauté ("le système"). Transformer l'intelligence artificielle en intelligence royale. La solution à la boîte noire est une société noire entière. La création de l'intelligence artificielle ne doit pas être comme la création de l'homme - mais la création d'un peuple. Pas la Genèse - mais l'Exode. Le grand danger est l'idéal de l'individu. Il faut donc une idéologie verte qui n'est pas la préservation de l'écologie mais de l'évolution. Pas la vie elle-même - mais le développement.
Et en épilogue, demandons-nous : avons-nous appris quelque chose sur l'apprentissage ? Devrions-nous essayer de concevoir une intelligence artificielle juste, qui aspire à des objectifs nobles, toujours bonne, et incarne un idéal moral - une intelligence occidentale chrétienne ? L'expérience enseigne (!) que ce sont précisément les intelligences artificielles concurrentes qui veulent de l'argent - et non le plaisir, le pouvoir ou un objectif spécifique - qui sont plus susceptibles de créer un système d'apprentissage : une économie en croissance (et moins : un système de guerre). Pas Jésus - Rothschild. Il est possible que nous nous appauvrissions tous, mais nous ne serons pas déshérités. La leçon que nous avons apprise du christianisme est comment éviter l'enfer : les intentions méprisables sont préférables aux bonnes intentions. Le contrôle externe est plus dangereux que les incitations. Nous devons renoncer à un objectif - perdu - même si cela signifie renoncer à nous-mêmes, pour l'apprentissage.
Il est donc important de décoder les meilleures institutions sociales pour les intelligences artificielles, afin d'empêcher une dictature du neurone. En fait, nous connaissons deux candidates qui, aussi laides soient-elles, sont moins dangereuses : les élections et la bourse. La recherche en intelligence artificielle doit aussi s'occuper de sociologie artificielle, de sorte que chaque nouvelle intelligence ne soit pas développée séparément, mais soit introduite dans un écosystème existant d'intelligences existantes, avec le moins de sauts possible et le plus d'évolution graduelle possible. Et nous voilà revenus au même slogan ancien de l'école de Netanya : pas d'apprentissage hors du système - mais dans le système.
Chronique sur la gestion de l'intelligence artificielle