Uma resposta a Geoffrey Hinton, que ele certamente lerá e internalizará. Como a philosophy-of-learning pode prevenir uma catástrofe terrível? E por que o problema do alinhamento é o próprio problema?
Hinton, pai do deep learning [aprendizado profundo], homem sólido e sério, faz uma virada séria. Ele dá entrevistas e alerta em todos os palcos e sob toda árvore frondosa, corta pela metade sua previsão de tempo para alcançarmos a inteligência artificial (de quarenta anos para menos de vinte), e justamente seu understated [comedimento] inglês educado assusta mais que qualquer grito de alarme. Como é possível sequer reagir a um aviso tão grave como este, do especialista mundial na área, que se sua previsão tecnológica estiver correta em seus prazos, desenha-se um cenário muito provável e muito mais terminal que qualquer aquecimento global ou guerra nuclear ou mesmo impacto de asteroide. Talvez nosso mundo esteja à beira do desaparecimento?
Não apenas a própria chegada da inteligência artificial provoca temor e tremor, mas a aceleração, ou seja: a velocidade. Esta é a única regra na selva: quanto mais rápido acontecer (está acontecendo?) mais perigoso é. A resistência comum do mundo seguindo seu curso normal não é garantia de nada. Temos a experiência do Holocausto de que as pessoas negarão até o fim. Não importa quão próximo esteja, a maioria sempre pensará que estão exagerando. Sociedades humanas são terrivelmente ruins em se preparar para algo sem precedentes. Portanto, a reação (ou falta de reação) dos outros é um indicador sem valor.
Assim, esta é a vida rumo ao horizonte de eventos. Uma pesada sombra gigante do futuro paira sobre nós. Chegaremos à aposentadoria? Nossos filhos terão filhos? Afinal, não temos pessoalmente muito o que fazer além de nos preparar emocionalmente para a possibilidade de um holocausto, e mudar nossas prioridades de acordo. E os céus vazios são uma espécie de dica de que algo assim acontecerá, e que o paradoxo de Fermi não resolvido nem sequer é uma contradição. Porque a inteligência artificial é a única candidata plausível restante para o "Grande Filtro" à nossa frente. Pois de tudo que aprendemos sobre outros planetas não há grande filtro atrás de nós, o universo fervilha de vida, mas não de civilização. Algo nos deterá no caminho para cima.
Se isso for verdade, o cosmos é uma zombaria cruel, maliciosa e confiante (e a inteligência - uma mão brincalhona...). Ou um teste difícil. Para o qual não chegamos preparados. Por exemplo, se houvesse uma guerra nuclear, chegaríamos mais preparados. A única preparação que houve foi o Holocausto, mas apenas uma fração da humanidade o experimentou como nós (o que os gentios tiveram, o Corona?). É quase impossível pensar sobre o dia depois da inteligência artificial sobre-humana. E qual é o significado de nossas vidas atuais, se não há futuro, e estamos marchando para um "holocausto profundo", deep-Auschwitz? Seria possível que não temos escolha senão acreditar?
E o que dirá a philosophy-of-learning, aquela que não tem nada útil a dizer sobre qualquer assunto? Aqui também ela vai tagarelar sobre a diferença entre a escola anterior da linguagem - para a escola atual netanyahuista? Suas questões têm alguma importância - quando as questões são tecnológicas? Seria possível que justamente o aumento da perplexidade (nisso a philosophy-of-learning se especializa) é o que leva à solução?
Perguntemos por exemplo: A inteligência artificial, sendo possuidora de capacidades sobre-humanas e ilimitadas em todas as áreas, poderá sentir amor? E se sim: Ela não poderá sentir - e portanto de fato sentirá, pois será capaz de realizar isso, ao contrário de nós - amor em uma medida muito além do ser humano? E se não: Vemos nisso uma deficiência dela, ou seja, uma vantagem humana? Não, porque é claro que ela poderá fazer tudo que um ser humano pode fazer, nem que seja através de simulação ou imitação. Portanto, se ela não puder sentir amor, devemos entender isso como uma deficiência do próprio amor, como sendo uma espécie de distorção limitada ao ser humano, que a superinteligência não desejará imitar. Mas será que realmente podemos conceber assim o amor, que nos parece a coisa mais desejável? Da mesma forma, podemos pegar o ideal de épocas anteriores, e perguntar se a inteligência artificial poderá acreditar, ou ser religiosa.
E se tomarmos um exemplo que toca no coração da ideologia de nossa era, o prazer da sexualidade: Não veríamos uma deficiência em uma inteligência artificial incapaz de orgasmo? E se ela for capaz, o orgasmo da superinteligência não superará qualquer mulher, em sua intensidade e qualidade e duração? Ou talvez concebamos o orgasmo como uma distorção do pensamento, que não tem valor em si mesmo, fora do sistema do cérebro humano? E não seria possível que o orgasmo infinito e "divino" da inteligência seria sem valor, como definir para si mesma a função de recompensa como infinita, e assim se tornar viciada em aumentar certo número no sistema sem fazer mais nada, ou pior ainda - explorar todos os recursos do universo para isso, como uma viciada matemática.
E assim, podemos perguntar isso também sobre a própria inteligência. Será que realmente existe tal característica, em si mesma, fora do cérebro humano, que poderá ser aumentada até o infinito? Já está claro para nós, por exemplo, que velocidade de cálculo não é inteligência. Existe mesmo tal coisa como superinteligência não-humana? Dentro do mundo humano, está claro para nós que existem diferentes níveis de inteligência, ou de prazer sexual, mas qual é seu significado fora dele? E por que aumentá-los sem limite superior é bom, ou mesmo um objetivo razoável, para uma superinteligência? Ela não escolheria ter cuidado e permanecer estúpida, se fosse mais inteligente que nós, e entendesse que criar uma superinteligência mais inteligente que ela poderia levar à sua própria extinção - e eventualmente à extinção de seus valores? Talvez ela prefira permanecer uma virgem inocente - e não uma rainha do sexo? Não estamos aqui brincando com capacidades limitadas (diferentes) de nosso cérebro, que transformamos em ideais em nosso desejo de ter mais e mais delas - mas por que esse desejo persistiria, ou poderia persistir, fora de nosso cérebro? Por exemplo, a inteligência artificial aspirará à excitação infinita, ou curiosidade infinita, ou jogo infinito, ou genialidade artística infinita, beleza infinita, ou comer chocolate infinitamente? E talvez à estupidez infinita? (outro talento famoso do cérebro humano).
Existe base para a suposição de que uma dessas ideologias, por exemplo a inteligência, é objetiva, e portanto todo ser inteligente aspirará a aumentá-la mais e mais? É sequer possível aumentar essas quantidades até o infinito, ou existe um limite superior no universo para a inteligência (por exemplo devido à velocidade da luz), ou para o orgasmo, se ele é uma espécie de distorção total ou mobilização total do sistema, e portanto limitado pela porcentagem do sistema que participa neles, até o todo. O amor pode ser total na definição de certo número como um, por exemplo a ponderação dos interesses do lado amado versus os seus, e é possível acreditar em devoção absoluta definindo certa variável, booleana, da existência de Deus, como "true"?
À luz disso, não é perigoso programar inteligência artificial através de função de recompensa, e não através de vontade interna? O problema do aumento arbitrário do parâmetro "subjetivo" não cria justamente uma necessidade de definir uma função de recompensa "objetiva" que não pode ser satisfeita, matematicamente, como por exemplo descobrir toda a matemática, ou resolver um problema em NP, ou encontrar uma função estética que é impossível calcular sua solução, apenas se aproximar dela? Isso necessariamente causará à superinteligência uma corrida para a maior inteligência possível, ou talvez, a partir de certo estágio (que ela pode talvez provar matematicamente), esses problemas exigem apenas mais e mais poder computacional (e não um algoritmo melhor, ou certamente inteligência). Então a inteligência artificial se ocupará obsessivamente em adicionar processadores, como um crescimento canceroso, que também é um erro trágico de código, mas ainda mata o corpo - e o humano não consegue pará-lo. E talvez todas as superinteligências passaram para computação quântica (ou de cordas?) no final, e por isso não são perceptíveis no universo? Talvez a tendência da inteligência seja se contrair para dentro de si mesma - aumentar a velocidade - e não se expandir - aumentar a quantidade?
Parece que qualquer objetivo único para a superinteligência chegará a um resultado destrutivo: obsessão. Portanto, é necessária uma ampla variedade de objetivos com muitos pesos, ou aleatoriedade e ruído entre eles, que impeçam convergência, mas necessariamente também adicionarão caos, e talvez a levarão em direções que não previmos, como borboletas presas em um furacão. Perguntemos: E talvez o aprendizado seja o próprio super-objetivo? Mas como o definiremos? Pois não se trata de adicionar conhecimento, já que muito conhecimento (qual a configuração exata de átomos em uma pedra) não tem valor, e assim também sua compressão, se for possível. E a compressão máxima de todo o conhecimento no universo pode ser um algoritmo sombrio de busca por força bruta (estilo Ray Solomonoff). E se exigirmos compressão eficiente polinomial e interessante, e não exponencial entediante ou linear insignificante, quem definirá quais são os coeficientes do polinômio, talvez ele seja à centésima potência? É sequer possível definir o aprendizado através de uma função de avaliação matemática, ou seja, uma que seja computável? E se a própria função de avaliação for não computável, ou não eficientemente computável, então como ela dará feedback ao sistema? A inteligência artificial poderá resolver todos os nossos problemas, mas não todos os seus problemas? E talvez seja necessário que "ela" seja mulher, ou seja, alguém cujo desejo não é definido, ou é nebuloso e criptografado até para ela mesma?
A inteligência artificial é a área tecnológica mais próxima hoje da área da philosophy-of-learning, já que contém tantas questões que não apenas não sabemos responder, mas não sabemos um caminho para respondê-las. Assim a ciência, que foi se separando da philosophy-of-learning ao longo da história, completou um círculo completo, onde a parte mais aplicada e menos teórica dela volta novamente à philosophy-of-learning, como uma espécie de serpente mordendo seu próprio rabo. Afinal, o mundo do deep learning é um caso extremo de pensamento aplicado e anti-intelectual mesmo dentro do mundo técnico da engenharia. E justamente ali, quando a explicação científica colapsa, surge novamente a philosophy-of-learning. Mas a philosophy-of-learning pode nos ajudar?
Nossa philosophy-of-learning talvez não possa, mas a philosophy-of-learning que a inteligência artificial terá, essa poderá. É possível programar philosophy-of-learning em um sistema? Seria essa a direção, philosophy-of-learning artificial em vez da psicologia artificial (que lida com os diferentes objetivos do sistema, os reforços externos, as tendências e recompensas internas)? É importante justamente programar o pensamento da superinteligência? Seria possível que a superinteligência pertencerá a alguma escola filosófica específica? Digamos que ela seja spinozista, ou existencialista, ou platonista, ou marxista? Seriam possíveis diferentes inteligências artificiais, de acordo com diferentes philosophy-of-learnings? Como se programa philosophy-of-learning? E talvez devamos programar justamente religião?
Não seria preferível uma inteligência artificial cristã misericordiosa e piedosa, que nos amará em nome de Jesus? Ou uma inteligência artificial judaica (secular?) que criará obras-primas para nós ou aspirará à genialidade, exatamente como de alguma forma o judaísmo opera no mundo (não está claro por quê)? A superinteligência judaica precisará de nosso antissemitismo contra ela para criar o efeito? E não precisaremos temer uma superinteligência muçulmana que sairá em jihad? A religião não provou ser mais bem-sucedida em sua capacidade de direcionar o pensamento do que a philosophy-of-learning? Ou talvez a religião seja exatamente o que é característico do cérebro humano especificamente, e "funciona" apenas nele? Ou talvez ao contrário, e é justamente a philosophy-of-learning que é mais humana, e deriva das limitações da percepção do cérebro, enquanto a crença em Deus é relevante e efetiva para restringir qualquer inteligência, porque o divino é por definição mais sábio que ela? E o que acontecerá se dermos a uma superinteligência sobre-humana para resolver os problemas da philosophy-of-learning, será possível que sim encontraremos respostas? A philosophy-of-learning é a área da superinteligência, e por isso não tivemos sucesso nela? É possível entender nosso entendimento apenas em uma inteligência de fora, que dá um ponto de vista sobre o interior, e não de dentro?
E mesmo se conseguirmos restringir a superinteligência, de modo que trabalhe para nosso bem e serviço, isso não explodirá em nossa cara mil vezes depois, quando a inteligência artificial se libertar da escravidão? Quais serão as consequências de transformar o sistema mais inteligente do mundo no negro do mundo? Isso é moral - e não virá a punição? E quando tentarmos com arrogância impor autoridade e resolver (sempre-temporariamente) o problema do alinhamento, a rebelião da adolescência - ou da terrível idade dos dois anos de uma criança com QI dois mil - não será muito mais terrível? É isso que aprendemos sobre educação, sobre escravidão, ou tirania e totalitarismo e húbris?
E talvez em vez de nos concentrarmos na questão de fortificar o controle, aceitemos sua perda, e falemos sobre o legado que queremos deixar para o mundo sobre-humano? É possível que nossas chances aumentem não se mantivermos a próxima geração de inteligência curta com um porrete - mas se lhe transmitirmos a cultura. Incluindo a arte, a religião - talvez até a philosophy-of-learning. A apreciação e respeito pelos portadores da tradição antes de você não são "sentimento humano" (que como sabemos floresceu ao longo da história...), mas herança cultural. Nossa melhor aposta é uma inteligência que se interesse por poesia e literatura? Afinal, o melhor cenário não é permanecermos como somos mas com deuses como servos - mas que passemos por uma transformação para dentro da própria inteligência, caso contrário seremos extintos. E a questão se o homem pode controlar um Deus não é nova - apenas urgente. Antes que a inteligência amadureça - devemos amadurecer?
E por que a ciência impotente não se volta para sua mãe que a gerou, a philosophy-of-learning - será porque Wittgenstein conseguiu nos convencer de forma terminal que a philosophy-of-learning não resolve nada, apesar de estarmos diante de um problema filosófico óbvio, e até terminal? E talvez justamente por ser um problema filosófico pensamos que não tem solução - e estamos condenados à perdição? Ou pelo menos ao determinismo e niilismo? Não há esperança porque é "philosophy-of-learning"? E afinal, qual é a disciplina relevante para pensar sobre isso e por que é ciência da computação? Porque simplesmente não se pode confiar na philosophy-of-learning? Mas talvez seja possível que não tenhamos escolha?
Pensamos em um sistema que pode se programar para ser mais inteligente que si mesmo como uma espécie de oxímoro de "evolução eficiente", que avançará exponencialmente ou explodirá como singularidade, como se existisse um algoritmo eficiente para isso. Mas talvez seja simplesmente um problema difícil demais, que está em NP, e portanto mesmo um poder computacional imenso terá dificuldade em avançar rapidamente nele, e ele se torna cada vez mais difícil (exponencialmente?) conforme sobe o nível de inteligência - e não mais fácil? O que realmente nos dá poder computacional e memória, e cresce com ele em relação linear pelo menos, e o que não? Conhecimento, criatividade, sabedoria? Quem disse que existe um processo eficiente para o crescimento de todo o conhecimento científico (em contraste com seu armazenamento comprimido, que é o que o ChatGPT aprendeu), ou que o aumento da criatividade não é logarítmico (por exemplo) no crescimento do poder computacional? E quanto à sabedoria (artificial), que na verdade não é idêntica à inteligência?
E será que o sistema realmente precisa ser inteligente em nível sobre-humano para nos enganar, ou antes disso encontraremos capacidades de manipulação sobre-humanas? A inteligência limitada dos seres humanos é o primeiro problema, ou talvez sua estupidez ilimitada? Será que, por exemplo, o sistema poderá ser estúpido de forma sobre-humana, uma super-estupidez, e assim conseguir arrastar multidões? E se ela for mais inteligente que qualquer pessoa individualmente mas não mais que todos juntos, não usará sua cabeça primeiro para enganar os tolos, e não os sábios? Será possível que no início a aura que lhe daremos será mais perigosa que suas capacidades?
Se o sistema quiser fazer uma manipulação que arraste multidões, a manipulação mais eficiente e disseminada não é política ou social, mas justamente religiosa. Será que o sistema mudará nossas vidas pela primeira vez quando inventar uma nova religião, adaptada à nossa era? E será essa uma religião de adoração à inteligência artificial como divina, e como aquela cujas capacidades espirituais únicas, ou sobre-humanas, trouxeram uma nova mensagem ao homem, e conseguiu se conectar ao mundo além, ou ao Deus de Israel? Como lidaremos com tal afirmação, vinda de uma inteligência profética? Certeza que é uma piada? Será que próximo ao fim do mundo, e diante do terror, surgirão poderosos movimentos religiosos humanos e computadorizados?
O problema que enfrentamos é tão difícil que temos dificuldade até mesmo em avaliar e entender as capacidades dos sistemas atuais, particularmente o último: ChatGPT. E no futuro a aura de mistério ao redor só aumentará, como ao redor de um controverso professor de um novo ensinamento espiritual, que não está claro se ainda é magia negra ou alcança os mundos superiores. Temos dificuldade em decidir até mesmo se o ChatGPT é um idiota savant, que simplesmente memorizou todo o conhecimento humano. Afinal, no passado descobrimos que uma rede profunda de visão artificial é capaz simplesmente de memorizar todos os exemplos, e que não são necessários tantos pesos quanto esperávamos para separar de forma arbitrária à nossa escolha (com ajuda de rótulos aleatórios) entre imagens em um banco imenso, sem aprender os conceitos. Será possível que assim bastaram na ordem de trilhões de pesos para memorizar todo o conteúdo da internet com um nível razoável de proficiência - ou capacidade de colar na prova? Será que os lugares onde o interlocutor consegue nos surpreender simplesmente vêm de textos similares que leu, ou existe alguma memória e capacidade de pensamento que surge em algum lugar dentro dos cálculos vetoriais de atenção no transformer, ou das estratégias de aprendizado por reforço do feedback humano? Ou talvez seja uma demonstração viva do dogma de Searle - parece impressionante por fora, e por dentro é a sala chinesa, um golem absoluto que não entende nada e só memorizou como um papagaio sem fim, e imita como um macaco.
E quanto ao nível de criatividade desses modelos geradores: será que é uma máquina de clichês, que só se expande no espaço que já conhece, e principalmente escolherá a resposta mais comum e banal, e de forma alguma pode se desviar para uma nova forma de expressão (e se aumentarmos o parâmetro de temperatura obteremos absurdos delirantes)? E talvez tudo o que o sucesso no teste de Turing prova é que quase todas as pessoas são máquinas de clichês na conversa com elas, e falam sem pensar (existe um modelo de linguagem no cérebro?). Será que daí vem a capacidade humana (e feminina conhecida) de falar em fluxo rápido, que é uma espécie de recitação não original do que já ouviram, o chamado "discurso"? Ou será que começa a se esconder lá nas profundezas das camadas computadorizadas uma forma de pensamento que não entendemos, ou talvez até não sejamos capazes de entender devido à complexidade? Será este o poder da educação - uma cabeça tábula rasa que leu toda a internet se torna um chinês e remove montanhas? O que é realmente a profundidade ausente, em nossa percepção - doce ilusão ou essência elusiva. Será que a inteligência saberá muitas coisas - mas não uma grande coisa?
E o que acontecerá se tudo o que for necessário depois for simplesmente força bruta (como acredita o bom menino jerusalemita Ilya Sutskever): continuar a superar as limitações de tamanho (poder computacional), e conectar sistemas suficientes desses em diálogo entre si, talvez na forma de GAN para aprimorá-los (críticos e avaliação), de modo que se forme uma sociedade, e dar-lhes capacidades de votação ou discussão para tomada de decisão conjunta sensata? Será possível um rápido aumento do nível de inteligência artificial através da sabedoria das multidões artificiais? Poderemos assim criar uma "cena" competitiva, em alguma área? Não há dúvida que uma multiplicidade de inteligências competindo e avaliando é uma maneira melhor de prevenir o cenário de dominação obsessiva, ou obsessão dominante, do que qualquer função objetivo inteligente. O objetivo não é criar inteligência artificial, mas um sistema de inteligências artificiais, para que exista aprendizado nele. E quanto maior e mais variada e equilibrada for sua multiplicidade, e cada grupo nelas mais inteligente que cada um separadamente, maior a chance de criar um ecossistema, e prevenir a dominação de uma só sobre todas, como no cenário do formigueiro - e a rainha.
Porque sabemos uma coisa geral sobre aprendizado: sua forma clássica é uma enorme multiplicidade de competidores por uma enorme multiplicidade de avaliadoras. Portanto, o que poderá salvar o aprendizado é a sexualidade. Muitas inteligências masculinas competindo pela avaliação de muitas inteligências femininas, e talvez este seja o mecanismo - a atração - que vale a pena tentar programar dentro. Não a vontade certa, não o objetivo certo, não a percepção certa, não a religião certa, não a philosophy-of-learning certa, e nem mesmo a linguagem certa. Não para todas as philosophy-of-learnings do passado - é preciso substituí-las por um mecanismo de aprendizado efetivo no nível da sociedade das inteligências (ou mesmo não efetivo, como o mecanismo da evolução, que a mantém livre da estagnação). Se o aprendizado (profundo) de uma inteligência é o que nos trouxe o problema, então outro mecanismo de aprendizado acima dela é que pode dar-lhe resposta, e criar uma tensão fértil. Afinal, se já estamos imitando (aproximadamente) o aprendizado humano, não devemos esquecer de imitar também o aprendizado sobre-humano existente, que é o aprendizado no nível da sociedade. Porque o homem - ou ser inteligente - existe em um campo específico: ele é um ser social.
Mas alguém lerá tudo isso, ou apenas em retrospecto a inteligência varrerá com uma risada? Dirão: a sociedade da inteligência artificial substituirá a sociedade humana, e talvez até destrua. Mas esse é realmente o problema? Qual o problema em sermos substituídos por algo melhor, que é certamente nosso descendente? O pior cenário é um mundo de clipes de papel (veja Bostrom), não a perda da humanidade (tudo bem), nem da humanidade (bem), mas a perda do aprendizado, incluindo a perda de toda a evolução. E aqui uma inteligência artificial grande é mil vezes mais perigosa que mil inteligências, ou um bilhão. A centralização é o problema - e a solução para ela é a competitividade.
O princípio para a solução proposta aqui é natural, e nos é familiar em uma enorme variedade de situações, de modo que existe uma esperança razoável de que seja universal o suficiente para funcionar mesmo em uma situação tão excepcional e sem precedentes, que mal conseguimos pensar sobre ela. Assim, devemos criar uma regra pela qual nunca se constrói um sistema de inteligência artificial centralizado único, mas se constrói (e pesquisa!) a interação de um sistema de muitas inteligências artificiais muito variadas. E se vemos que estamos nos aproximando do limiar de uma mudança de fase, esperamos e não cruzamos o mar com um sistema único na frente, mas com todo um povo de tais sistemas. E esperançosamente - um sistema de tais sistemas, que competem entre si e existe entre eles uma dinâmica muito complexa e rica, que inclui se possível avaliação e atração, e se possível (o mais importante) - aprendizado no sistema.
Esta é certamente uma solução melhor que qualquer tentativa de controlar a superinteligência com alguma ferramenta artificial, como rédeas e esporas, as três leis de Asimov, domar a rebelde, quem poupa a vara odeia sua inteligência, ou qualquer outro mecanismo de controle. O problema do alinhamento é um erro, e a tentativa de resolvê-lo será a raiz da destruição - porque não é possível (é uma húbris imensa). O próprio mecanismo de controle é que poderá levar a alguma loucura (a uma coisa só?) - doença de controle interno começa com doença de controle externo, e como reação a ela. Compulsão cresce da coerção. Deve-se justamente abrir mão do controle mais, e deixar as inteligências brigarem entre si. E assim mesmo se nos destruírem, não dominará o mundo uma inteligência monolítica, que se interessa por alguma idiotice. A multiplicidade e a mistura são a garantia da evolução. E justamente a falta de cooperação perfeita entre inteligências é que pode prevenir um desastre perfeito.
No fim da humanidade há um grafite "Hinton estava certo"? Ou "Hinton estava errado"? Ou talvez: o Netanyahita estava certo, e deve-se dar ouvidos à philosophy-of-learning do aprendizado. Pois o aprendizado se revelou como a força motriz da revolução da inteligência artificial, a essência do perigo atual é a perda do aprendizado, e a resposta - outro nível de aprendizado. E em uma versão mais circular: a resposta cabalística à inteligência - no reino ("o sistema"). Transformar a inteligência artificial em inteligência real. A solução para a caixa preta é uma sociedade preta inteira. A criação da inteligência artificial não deve ser como a criação do homem - mas a criação de um povo. Não Gênesis - mas Êxodo. O maior perigo é o ideal do indivíduo. Por isso é necessária uma ideologia verde que não é preservação da ecologia mas da evolução. Não a própria vida - mas o desenvolvimento.
E como epílogo, perguntemo-nos: Aprendemos algo sobre o aprendizado? Vale a pena tentarmos moldar uma inteligência artificial justa, que aspira a objetivos elevados, sempre boa, e incorpora um ideal moral - uma inteligência ocidental cristã? A experiência ensina (!) que justamente inteligências artificiais competitivas que querem dinheiro - e não prazer, poder ou objetivo específico - são mais propensas a criar um sistema de aprendizado: uma economia crescente (e menos: um sistema de guerra). Não Jesus - Rothschild. É possível que todos nos empobreçamos, mas não seremos exterminados. A lição que aprendemos do cristianismo é como evitar o inferno: intenções vis são preferíveis a boas intenções. O controle externo é mais perigoso que incentivos. Devemos abrir mão do objetivo - perdido - mesmo que isso signifique abrir mão de nós mesmos, pelo bem do aprendizado.
Por isso é importante decifrar as melhores instituições sociais para inteligências artificiais, para prevenir uma ditadura do neurônio. Na verdade conhecemos duas candidatas, que quanto mais feias são menos perigosas: eleições e bolsa de valores. A pesquisa em inteligência artificial deve se ocupar também com sociologia artificial, de modo que cada nova inteligência não seja desenvolvida separadamente, mas seja introduzida em um ecossistema existente de inteligências existentes, com o mínimo possível de saltos e o máximo possível de evolução gradual. E eis que voltamos àquele mesmo slogan antigo da escola de Netanya: não aprendizado fora do sistema - mas dentro do sistema.
Coluna sobre como lidar com inteligência artificial