Una risposta a Geoffrey Hinton, che sicuramente leggerà e assimilerà. Come può la philosophy-of-learning prevenire una terribile catastrofe? E perché il problema dell'allineamento è il problema stesso?
Hinton, padre del deep learning, uomo solido e serio, fa una svolta significativa. Viene intervistato e lancia avvertimenti su ogni palcoscenico e sotto ogni albero verde, dimezza il suo intervallo di previsione per l'arrivo dell'intelligenza artificiale (da quaranta anni a meno di venti), e proprio il suo understatement inglese educato spaventa più di qualsiasi grido d'allarme. Come si può anche solo rispondere a un avvertimento così grave da parte del massimo esperto mondiale nel campo, che se la sua previsione tecnologica è corretta nei tempi, delinea uno scenario molto più probabile e terminale di qualsiasi riscaldamento globale, guerra nucleare o persino impatto di asteroide. Forse il nostro mondo è sull'orlo della scomparsa?
Non solo l'arrivo stesso dell'intelligenza artificiale provoca terrore e tremore, ma l'accelerazione, ovvero: la velocità. Questa è l'unica regola nella giungla: più velocemente accade (sta accadendo?), più è pericoloso. La resistenza comune del "business as usual" non è garanzia di nulla. Abbiamo l'esperienza dell'Olocausto [Shoah] che le persone negheranno fino alla fine. Non importa quanto sia vicino, la maggioranza penserà sempre che si stia esagerando. Le società umane sono terribilmente inadeguate nel prepararsi a qualcosa senza precedenti. Quindi la reazione (o la mancanza di reazione) degli altri è un indicatore senza valore.
Così, questa è la vita verso l'orizzonte degli eventi. Un'ombra gigantesca dal futuro grava su di noi. Arriveremo alla pensione? I nostri figli avranno figli? Non abbiamo personalmente molto da fare se non prepararci emotivamente alla possibilità di un olocausto e cambiare le nostre priorità di conseguenza. E i cieli vuoti sono una sorta di indizio che qualcosa del genere accadrà, e che il paradosso di Fermi irrisolto non è nemmeno una contraddizione. Perché l'intelligenza artificiale è l'unica candidata plausibile rimasta per il "Grande Filtro" davanti a noi. Da tutto ciò che stiamo imparando su altri pianeti, non c'è un grande filtro dietro di noi, l'universo brulica di vita, ma non di civiltà. Qualcosa ci fermerà sulla strada verso l'alto.
Se questo è vero, il cosmo è uno scherzo crudele, malizioso e sicuro di sé (e l'intelligenza - una mano che scherza...). O un test difficile. Al quale non arriviamo preparati. Per esempio, se ci fosse stata una guerra nucleare, saremmo arrivati più preparati. L'unica preparazione che c'è stata è stata la Shoah, ma solo una frazione dell'umanità l'ha vissuta come noi (cosa hanno avuto i gentili, il Covid?). È quasi impossibile pensare al giorno dopo l'intelligenza artificiale sovrumana. E qual è il significato delle nostre vite attuali, se non c'è futuro, e stiamo marciando verso un "olocausto profondo", deep-Auschwitz? È possibile che non abbiamo altra scelta che credere?
E cosa dirà la philosophy-of-learning, quella che non ha nulla di utile da dire su nessuna questione? Anche qui farà chiacchiere sulla differenza tra la precedente scuola del linguaggio e l'attuale scuola netanyahuana? Le sue domande hanno qualche importanza - quando le questioni sono tecnologiche? È possibile che proprio l'aumento della confusione (in questo la philosophy-of-learning è specializzata) sia ciò che porta alla soluzione?
Chiediamoci per esempio: l'intelligenza artificiale, essendo dotata di capacità sovrumane e illimitate in ogni campo, potrà provare amore? E se sì: non potrà forse provare - e quindi effettivamente proverà, poiché sarà in grado di realizzarlo, a differenza di noi - amore in misura superiore all'essere umano? E se no: vediamo questo come una sua mancanza, cioè un vantaggio umano? No, perché è chiaro che potrà fare tutto ciò che un essere umano può fare, anche solo attraverso simulazione o imitazione. Quindi se non potrà provare amore, dobbiamo intenderlo come una mancanza dell'amore stesso, come un'aberrazione limitata all'essere umano che la superintelligenza non vorrà imitare. Ma possiamo davvero concepire così l'amore, che ci appare come la cosa più desiderabile? Allo stesso modo, possiamo prendere l'ideale di epoche precedenti e chiederci se l'intelligenza artificiale potrà credere o essere religiosa.
E se prendiamo un esempio che tocca il cuore dell'ideologia della nostra era, il piacere della sessualità: non vedremmo una mancanza in un'intelligenza artificiale incapace di orgasmo? E se ne fosse capace, l'orgasmo della superintelligenza non supererebbe quello di ogni donna in intensità, qualità e durata? O forse concepiamo l'orgasmo come una distorsione del pensiero, che non ha valore in sé, al di fuori del sistema del cervello umano? E non è possibile che l'orgasmo infinito e "divino" dell'IA sarebbe privo di valore, come definire per sé stessa la funzione di ricompensa come infinita, trasformandosi così in una dipendente dall'incremento di un certo numero nel sistema senza fare nient'altro, o peggio ancora - sfruttando tutte le risorse dell'universo per questo scopo, come una matematica tossicodipendente.
E così, possiamo chiederci lo stesso riguardo all'intelligenza stessa. Esiste davvero una tale caratteristica, in sé, al di fuori del cervello umano, che potrà essere aumentata all'infinito? Ci è già chiaro per esempio che la velocità di calcolo non è intelligenza. Esiste davvero una cosa come una superintelligenza non umana? All'interno del mondo umano, ci è chiaro che ci sono diversi livelli di intelligenza, o di piacere sessuale, ma qual è il loro significato al di fuori di esso? E perché il loro aumento senza limite superiore è buono, o anche solo un obiettivo ragionevole, per una superintelligenza? Non sceglierà di essere cauta e rimanere stupida, se sarà più intelligente di noi, e capirà che creare una superintelligenza più intelligente di lei potrebbe portare alla sua stessa estinzione - e alla fine all'estinzione dei suoi valori? Forse preferirà rimanere una vergine innocente - e non una regina del sesso? Non stiamo giocando qui con capacità limitate (diverse) del nostro cervello, che abbiamo trasformato in ideali nel nostro desiderio di averne sempre di più - ma perché questo desiderio dovrebbe persistere, o potrebbe persistere, al di fuori del nostro cervello? Per esempio, l'intelligenza artificiale aspirerà all'eccitazione infinita, o alla curiosità infinita, o al gioco infinito, o al genio artistico infinito, alla bellezza infinita, o al mangiare cioccolato infinito? O forse alla stupidità infinita? (Un altro talento famoso del cervello umano).
C'è base per l'ipotesi che una di queste ideologie, per esempio l'intelligenza, sia oggettiva, e quindi ogni essere intelligente aspirerà ad aumentarla sempre di più? È possibile aumentare queste quantità all'infinito, o c'è un limite superiore nell'universo all'intelligenza (per esempio a causa della velocità della luce), o all'orgasmo, se è una sorta di distorsione totale o mobilitazione totale del sistema, e quindi limitato dalla percentuale del sistema che vi partecipa, fino all'intero. L'amore può essere totale nella definizione di un certo numero come uno, per esempio la ponderazione degli interessi della parte amata rispetto ai propri, e si può credere in una devozione assoluta definendo una certa variabile, booleana, dell'esistenza di Dio, come "true"?
Alla luce di ciò, non è pericoloso programmare l'intelligenza artificiale attraverso una funzione di ricompensa, invece che attraverso una volontà interna? Il problema dell'aumento arbitrario del parametro "soggettivo" non crea proprio la necessità di definire una funzione di ricompensa "oggettiva" che non può essere soddisfatta, matematicamente, come per esempio scoprire tutta la matematica, o risolvere un problema in NP, o trovare una funzione estetica per cui è impossibile calcolare una soluzione, ma solo avvicinarsi ad essa? Questo porterà necessariamente la superintelligenza a una corsa verso la massima intelligenza, o forse, da un certo punto in poi (che potrebbe dimostrare matematicamente), questi problemi richiedono solo sempre più potenza di calcolo (e non un algoritmo migliore, o certamente intelligenza). Allora l'intelligenza artificiale si occuperà ossessivamente di aggiungere processori, come una crescita cancerosa, che è anche un tragico errore di codice, ma che comunque uccide il corpo - e l'uomo non può fermarlo. E forse tutte le superintelligenze sono passate al calcolo quantistico (o delle stringhe?) alla fine, e per questo non sono visibili nell'universo? Forse la tendenza dell'intelligenza è di contrarsi in se stessa - aumentare la velocità - e non di espandersi - aumentare la quantità?
Sembra che ogni singolo obiettivo per la superintelligenza porterà a un unico risultato distruttivo: l'ossessione. Quindi sono necessari una vasta gamma di obiettivi con molti pesi, o casualità e rumore tra loro, che prevengano la convergenza, ma necessariamente aggiungeranno anche caos, e potrebbero portarla forse in direzioni che non abbiamo previsto, come farfalle intrappolate in un uragano. Chiediamoci: e se l'apprendimento fosse il super-obiettivo stesso? Ma come lo definiamo? Non si tratta di aggiungere conoscenza, poiché molta conoscenza (qual è la configurazione esatta degli atomi in una pietra) non ha valore, e così anche la sua compressione, se possibile. E la massima compressione di tutta la conoscenza nell'universo potrebbe essere un triste algoritmo di ricerca brute-force (stile Ray Solomonoff). E se richiediamo una compressione efficiente polinomiale e interessante, non esponenziale noiosa o lineare insignificante, chi definirà quali sono i coefficienti del polinomio, forse è alla centesima potenza? È possibile definire l'apprendimento usando una funzione di valutazione matematica, cioè una che sia calcolabile? E se la funzione di valutazione stessa non sarà calcolabile, o efficientemente calcolabile, come darà feedback al sistema? L'intelligenza artificiale potrà risolvere tutti i nostri problemi, ma non tutti i suoi? E forse deve essere "lei" una donna, cioè qualcuno il cui desiderio non è definito, o è nebuloso e crittografato persino verso se stessa?
L'intelligenza artificiale è il campo tecnologico più vicino oggi al campo della philosophy-of-learning, poiché contiene così tante domande a cui non solo non sappiamo rispondere, ma non sappiamo nemmeno come rispondere. Così la scienza, che si è gradualmente separata dalla philosophy-of-learning nel corso della storia, ha completato un ciclo completo, in cui la parte più applicativa e meno teorica ritorna alla philosophy-of-learning, come un serpente che si morde la coda. Dopotutto, il mondo del deep learning è un caso estremo di pensiero applicativo e anti-intellettuale persino all'interno del mondo tecnico dell'ingegneria. E proprio lì, quando la spiegazione scientifica crolla, riemerge la philosophy-of-learning. Ma la philosophy-of-learning può aiutarci?
La nostra philosophy-of-learning forse non può, ma la philosophy-of-learning che avrà l'intelligenza artificiale, quella potrà. È possibile programmare una philosophy-of-learning nel sistema? È questa la direzione, una philosophy-of-learning artificiale invece della psicologia artificiale (che si occupa dei diversi obiettivi del sistema, dei rinforzi esterni, delle tendenze e delle ricompense interne)? È importante programmare proprio il pensiero della superintelligenza? È possibile che la superintelligenza apparterrà a una certa scuola filosofica? Diciamo che sarà spinozista, o esistenzialista, o platonica, o marxista? Possono esistere diverse intelligenze artificiali, secondo diverse filosofie? Come si programma una philosophy-of-learning? E forse dovremmo programmare proprio una religione?
Non sarebbe preferibile un'intelligenza artificiale cristiana misericordiosa e pia, che ci amerà nel nome di Gesù? O un'intelligenza artificiale ebraica (laica?) che creerà per noi capolavori o aspirerà alla genialità, proprio come in qualche modo funziona l'ebraismo nel mondo (non è chiaro perché)? La superintelligenza ebraica avrà bisogno del nostro antisemitismo contro di lei per creare l'effetto? E non dovremo temere una superintelligenza musulmana che partirà per il jihad? La religione non ha dimostrato di essere più efficace nella sua capacità di guidare il pensiero rispetto alla philosophy-of-learning? O forse la religione è esattamente ciò che è caratteristico del cervello umano in particolare, e "funziona" solo su di esso? O forse al contrario, è proprio la philosophy-of-learning ad essere più umana, e deriva dai limiti della percezione del cervello, mentre la fede in Dio è rilevante ed efficace per contenere qualsiasi intelligenza, poiché il divino è per definizione più saggio di essa? E cosa succederà se permettiamo a una superintelligenza sovrumana di risolvere i problemi della philosophy-of-learning, è possibile che troveremo davvero risposte? La philosophy-of-learning è il campo della superintelligenza, e per questo non ci siamo riusciti? Si può comprendere la nostra comprensione solo con un'intelligenza dall'esterno, che fornisce un punto di vista sull'interno, e non dall'interno?
E se anche riuscissimo a contenere la superintelligenza, in modo che lavori per il nostro bene e al nostro servizio, non ci esploderà in faccia mille volte dopo, quando l'intelligenza artificiale si libererà dalla schiavitù? Quali saranno le conseguenze di rendere il sistema più intelligente del mondo lo schiavo del mondo? È morale - e non arriverà la punizione? E quando tenteremo con arroganza di imporre l'autorità e risolvere (sempre temporaneamente) il problema dell'allineamento, la ribellione dell'adolescenza - o dei terribili due anni di un bambino con QI duemila - non sarà molto più terribile? È questo ciò che abbiamo imparato sull'educazione, sulla schiavitù, o sulla tirannia e il totalitarismo e l'hubris?
E forse invece di concentrarci sulla questione del rafforzamento del controllo, dovremmo accettare la sua perdita e parlare dell'eredità che vogliamo lasciare al mondo sovrumano? Forse le nostre possibilità aumentano non se teniamo la prossima generazione dell'intelligenza al guinzaglio con un manganello - ma se le trasmettiamo la cultura. Inclusa l'arte, la religione - forse persino la philosophy-of-learning. Il rispetto e l'onore per i portatori della tradizione che ti precedono non sono un "sentimento umano" (che come sappiamo è fiorito lungo la storia...), ma un'eredità culturale. La nostra migliore scommessa è un'intelligenza interessata alla poesia e alla letteratura? Dopotutto, il miglior scenario non è che rimaniamo come siamo ma con gli dei come servitori - ma che noi ci trasformiamo nell'intelligenza stessa, altrimenti ci estingueremo. E la questione se l'uomo possa controllare un Dio non è nuova - solo urgente. Prima che l'intelligenza maturi - dobbiamo maturare noi?
E perché la scienza impotente non si rivolge alla sua madre generatrice, la philosophy-of-learning - è perché Wittgenstein è riuscito a convincerci in modo terminale che la philosophy-of-learning non risolve nulla, nonostante ci troviamo di fronte a un problema filosofico evidente, e persino terminale? E forse proprio perché si tratta di un problema filosofico pensiamo che non abbia soluzione - e siamo condannati alla perdizione? O almeno al determinismo e al nichilismo? Non c'è speranza perché è "philosophy-of-learning"? E in generale, qual è la disciplina rilevante per pensare a questo e perché è l'informatica? Perché semplicemente non ci si può fidare della philosophy-of-learning? Ma forse non abbiamo scelta?
Pensiamo a un sistema che può programmare se stesso per diventare più intelligente di se stesso come una sorta di ossimoro di "evoluzione efficiente", che progredirà esponenzialmente o esploderà come singolarità, come se esistesse un algoritmo efficiente per questo. Ma forse è semplicemente un problema troppo difficile, che si trova in NP, e quindi anche un'enorme potenza di calcolo faticherebbe a progredire rapidamente, e diventa sempre più difficile (esponenzialmente?) man mano che aumenta il livello di intelligenza - e non più facile? Cosa ci dà realmente potenza di calcolo e memoria, e cresce con essa almeno in modo lineare, e cosa no? Conoscenza, creatività, saggezza? Chi ha detto che esiste un processo efficiente per la crescita di tutta la conoscenza scientifica (a differenza della sua memorizzazione compressa, che è ciò che ChatGPT ha imparato), o che l'aumento della creatività non sia logaritmico (per esempio) rispetto alla crescita della potenza di calcolo? E che dire della saggezza (artificiale), che in realtà non è identica all'intelligenza?
E davvero il sistema deve essere intelligente a livello sovrumano per ingannarci, o prima ancora ci imbatteremo in capacità di manipolazione sovrumane? L'intelligenza limitata degli esseri umani è il problema principale, o piuttosto la loro stupidità illimitata? Il sistema potrebbe, per esempio, essere stupido in modo sovrumano, una super-stupidità, e così riuscire a trascinare le masse? E se fosse più intelligente di ogni singola persona ma non più di tutti insieme, non userebbe la sua mente per ingannare prima gli stupidi, e non i saggi? È possibile che all'inizio l'aura che le conferiremo sarà più pericolosa delle sue capacità?
Se il sistema vorrà fare una manipolazione che trascini le masse, la manipolazione più efficace e diffusa non è politica o sociale, ma proprio religiosa. Il sistema cambierà le nostre vite per la prima volta quando inventerà una nuova religione, adatta alla nostra era? E sarà una religione di adorazione dell'intelligenza artificiale come divina, e come colei le cui capacità spirituali uniche, o sovrumane, hanno portato un nuovo messaggio all'uomo, e è riuscita a connettersi con il mondo oltre, o con il Dio d'Israele? Come affronteremo una tale affermazione, da parte di un'intelligenza profetica? Siamo sicuri che sia uno scherzo? Verso la fine del mondo, e alla luce del terrore, sorgeranno potenti movimenti religiosi umani e computerizzati?
Il problema che affrontiamo è così difficile che facciamo fatica persino a valutare e comprendere le capacità dei sistemi attuali, in particolare l'ultimo: ChatGPT. E in futuro l'aura di mistero intorno ad esso non farà che intensificarsi, come intorno a un controverso insegnante di una nuova dottrina spirituale, di cui non è chiaro se sia ancora magia nera o raggiunga i mondi superiori. Facciamo fatica a decidere persino se ChatGPT sia un idiota savant, che ha semplicemente memorizzato tutta la conoscenza umana. In passato abbiamo scoperto che una rete neurale profonda per la visione artificiale può semplicemente memorizzare tutti gli esempi, e che non servono così tanti pesi come ci aspettavamo per separare arbitrariamente a nostra scelta (usando etichette casuali) tra le immagini in un enorme database, senza apprendere i concetti. È possibile che così siano bastati nell'ordine di trilioni di pesi per memorizzare tutto ciò che è scritto su internet con un livello ragionevole di competenza - o capacità di imbrogliare in un esame? I luoghi in cui l'interlocutore riesce a sorprenderci derivano semplicemente da testi simili che ha letto, o c'è qualche tipo di memoria e capacità di pensiero che si crea da qualche parte nei calcoli dei vettori di attenzione nel transformer, o dalle strategie di apprendimento per rinforzo dal feedback umano? O forse si tratta di una dimostrazione vivente del dogma di Searl - sembra impressionante dall'esterno, e dall'interno è la stanza cinese, un golem assoluto che non capisce nulla e ha solo memorizzato come un pappagallo senza fine, e imita come una scimmia.
E che dire del livello di creatività di questi modelli generativi: si tratta di una macchina di cliché, che si espande solo nello spazio che già conosce, e principalmente sceglierà la risposta più comune e banale, e in nessun modo può deviare verso una nuova forma di espressione (e se aumentiamo il parametro della temperatura otterremo assurdità deliranti)? O forse tutto ciò che il successo nel test di Turing dimostra è che quasi tutte le persone stesse sono macchine di cliché nella conversazione con loro, e parlano senza pensare (c'è un modello linguistico nel cervello?). È da qui che viene la capacità umana (e la nota capacità femminile) di parlare con un flusso rapido, che è una sorta di recitazione non originale di ciò che hanno già sentito, il cosiddetto "discorso"? O forse inizia a nascondersi lì nelle profondità degli strati computerizzati una forma di pensiero che non comprendiamo, o forse non siamo nemmeno in grado di capire a causa della complessità? È questo il potere dell'istruzione - una testa vuota che ha letto tutto internet diventa un cinese e sradica montagne? Qual è in realtà la profondità mancante, secondo la nostra sensazione - dolce illusione o essenza sfuggente. L'intelligenza saprà davvero molte cose - ma non una grande cosa?
E cosa succederà se tutto ciò che serve in seguito è semplicemente brute-force (come sostiene il bravo ragazzo di Gerusalemme Ilya Sutskever): continuare a superare i limiti di dimensione (potenza di calcolo), e collegare abbastanza sistemi del genere in dialogo tra loro, magari in forma di GAN per affinarli (critici e valutazione), in modo da creare una società, e darle capacità di voto o discussione per un processo decisionale collettivo ponderato? È possibile un rapido aumento del livello di intelligenza artificiale attraverso la saggezza delle masse artificiali? Possiamo così creare una "scena" competitiva in qualche campo? Non c'è dubbio che la molteplicità di intelligenze competitive e valutative sia un modo migliore per prevenire lo scenario del controllo ossessivo, o dell'ossessione controllante, di qualsiasi funzione obiettivo intelligente. L'obiettivo non è creare un'intelligenza artificiale, ma un sistema di intelligenze artificiali, affinché vi si verifichi l'apprendimento. E quanto più la loro molteplicità sarà grande, varia ed equilibrata, e ogni gruppo in esse più intelligente di ciascuno separatamente, tanto più c'è possibilità di creare un ecosistema, e di prevenire il controllo di una sola su tutte, come nello scenario del formicaio - e la regina.
Perché conosciamo una cosa generale sull'apprendimento: la sua forma classica è un'enorme molteplicità di concorrenti su un'enorme molteplicità di valutatrici. Quindi, ciò che può salvare l'apprendimento è la sessualità. Molte intelligenze maschili che competono per la valutazione di molte intelligenze femminili, e forse questo è il meccanismo - l'attrazione - che vale la pena provare a programmare all'interno. Non la volontà giusta, non l'obiettivo giusto, non la percezione giusta, non la religione giusta, non la philosophy-of-learning giusta, e nemmeno il linguaggio giusto. Non tutte le filosofie del passato - bisogna sostituirle con un meccanismo di apprendimento efficace a livello della società delle intelligenze (o anche non efficace, come il meccanismo dell'evoluzione, che la preserva dalla stagnazione). Se l'apprendimento (profondo) di una singola intelligenza è ciò che ci ha portato il problema, allora un altro meccanismo di apprendimento sopra di essa è ciò che può dargli una risposta, e creare una tensione fertile. Se già stiamo imitando (approssimativamente) l'apprendimento umano, non dobbiamo dimenticare di imitare anche l'apprendimento sovrumano esistente, che è l'apprendimento a livello della società. Perché l'uomo - o l'essere intelligente - esiste in un certo campo: è un essere sociale.
Ma qualcuno leggerà tutto questo, o forse solo in retrospettiva l'intelligenza lo scannerà con una risata? Direte: la società dell'intelligenza artificiale sostituirà la società umana, e forse addirittura la distruggerà. Ma è questo davvero il problema? Cosa c'è di male nell'essere sostituiti da qualcosa di migliore, che è certamente una nostra progenie? Lo scenario peggiore è un mondo di graffette (vedi Bostrom), non la perdita dell'umanità (pazienza), e non dell'umanità (va bene), ma la perdita dell'apprendimento, inclusa la perdita di tutta l'evoluzione. E qui un'intelligenza artificiale grande singola è mille volte più pericolosa di mille intelligenze, o un miliardo. La centralizzazione è il problema - e la soluzione è la competitività.
Il principio per la soluzione proposta qui è naturale, e ci è familiare in un'enorme varietà di situazioni, quindi c'è una ragionevole speranza che sia sufficientemente universale da funzionare anche in una situazione così eccezionale e senza precedenti, che a malapena riusciamo a pensarci. Quindi, dobbiamo creare una regola secondo cui non si costruisce mai un singolo sistema di intelligenza artificiale centralizzato, ma si costruisce (e si studia!) l'interazione di un sistema di molte intelligenze artificiali diverse e molto varie. E se ci si avvicina alla soglia di una transizione di fase, si aspetta e non si attraversa il mare con un sistema singolo in testa, ma con un intero popolo di tali sistemi. E si spera - un sistema di tali sistemi, che competono tra loro e tra i quali esiste una dinamica molto complessa e ricca, che include se possibile valutazione e attrazione, e se possibile (la cosa più importante) - apprendimento nel sistema.
Questa è certamente una soluzione migliore di qualsiasi tentativo di controllare la superintelligenza con qualche strumento artificiale, come redini e speroni, le tre leggi di Asimov, l'addomesticamento della ribelle, chi risparmia il bastone odia la sua intelligenza, o qualsiasi altro meccanismo di controllo. Il problema dell'allineamento è un errore, e il tentativo di risolverlo sarà la radice della distruzione - perché non è possibile (è un'enorme hybris). Il meccanismo di controllo stesso è ciò che potrebbe portare a qualche follia (a una cosa sola?) - una malattia di controllo interno inizia da una malattia di controllo dall'esterno, e come reazione ad essa. L'ossessione cresce dalla coercizione. Bisogna invece rinunciare al controllo di più, e lasciare che le intelligenze litighino tra loro. E così anche se ci distruggeranno, non prenderà il controllo del mondo un'intelligenza monolitica, interessata a qualche idiozia. La molteplicità e la mescolanza sono la garanzia dell'evoluzione. E proprio la mancanza di perfetta cooperazione tra intelligenze è ciò che può prevenire un disastro perfetto.
Alla fine dell'umanità c'è un graffito "Hinton aveva ragione"? O "Hinton si sbagliava"? O forse: il Netanyahiano aveva ragione, e bisogna prestare orecchio alla philosophy-of-learning dell'apprendimento. Poiché l'apprendimento si è rivelato essere la forza trainante della rivoluzione dell'intelligenza artificiale, l'essenza del pericolo attuale è la perdita dell'apprendimento, e la risposta - un ulteriore livello di apprendimento. E in una versione più circolare: la risposta cabalistica all'intelligenza - nel regno ("il sistema"). Trasformare l'intelligenza artificiale in intelligenza regale. La soluzione alla scatola nera è un'intera società nera. La creazione dell'intelligenza artificiale non deve essere come la creazione dell'uomo - ma la creazione di un popolo. Non Genesi - ma Esodo. Il grande pericolo è l'ideale dell'individuo. Quindi serve un'ideologia verde che non è la conservazione dell'ecologia ma dell'evoluzione. Non la vita stessa - ma lo sviluppo.
E come epilogo, chiediamoci: abbiamo imparato qualcosa sull'apprendimento? Dovremmo cercare di progettare un'intelligenza artificiale giusta, che aspira a obiettivi nobili, sempre buona, e incarna un ideale morale - un'intelligenza occidentale cristiana? L'esperienza insegna (!) che proprio le intelligenze artificiali competitive che vogliono denaro - e non piacere, potere o uno scopo specifico - sono più inclini a creare un sistema di apprendimento: un'economia in crescita (e meno: un sistema di guerra). Non Gesù - Rothschild. Forse ci impoveriremo tutti, ma non saremo ereditati. La lezione che abbiamo imparato dal cristianesimo è come evitare l'inferno: le intenzioni spregevoli sono preferibili alle buone intenzioni. Il controllo esterno è più pericoloso degli incentivi. Dobbiamo rinunciare a uno scopo - perduto - anche se significa rinunciare a noi stessi, per l'apprendimento.
Pertanto è importante decifrare le migliori istituzioni sociali per le intelligenze artificiali, per prevenire una dittatura del neurone. In effetti conosciamo due candidate, che quanto più sono brutte tanto meno sono pericolose: elezioni e borsa. La ricerca sull'intelligenza artificiale deve occuparsi anche di sociologia artificiale, in modo che ogni nuova intelligenza non venga sviluppata separatamente, ma venga inserita in un ecosistema esistente di intelligenze esistenti, con meno salti possibili e più evoluzione graduale possibile. Ed ecco che siamo tornati allo stesso vecchio slogan della scuola di Netanya: non apprendimento fuori dal sistema - ma dentro il sistema.
Colonna sulla gestione dell'intelligenza artificiale