제프리 힌튼에 대한 답변으로, 그가 반드시 읽고 이해할 것이다. 철학은 어떻게 끔찍한 재앙을 막을 수 있는가? 그리고 왜 정렬 문제가 바로 그 문제인가?
딥러닝의 아버지인 힌튼, 신중하고 진지한 사람이 중대한 전환을 보여준다. 그는 모든 무대와 모든 푸른 나무 아래에서 인터뷰하고 경고하며, 인공지능 도래에 대한 자신의 예측 기간을 (40년에서 20년 미만으로) 반으로 줄였다. 오히려 그의 영국식 절제된 태도가 어떤 절규보다 더 두렵게 다가온다. 이 분야의 세계적 전문가가 내린 이런 심각한 경고에 어떻게 반응해야 할까? 만약 그의 기술적 예측이 시간대에서 정확하다면, 지구 온난화나 핵전쟁, 심지어 소행성 충돌보다도 더 현실적이고 치명적인 시나리오가 그려진다. 우리 세계는 소멸의 문턱에 서 있는 것일까?
인공지능의 도래 자체뿐만 아니라, 가속도, 즉 속도가 공포를 자아낸다. 정글의 유일한 법칙이 있다면: 더 빨리 일어날수록(일어나고 있을수록?) 더 위험하다는 것이다. 일상적인 삶이 계속될 것이라는 통상적인 저항은 아무것도 보장하지 않는다. 홀로코스트의 경험에서 우리는 사람들이 끝까지 부정할 것이라는 것을 알고 있다. 아무리 가까이 다가와도, 대다수는 항상 과장된 것이라고 생각할 것이다. 인간 사회는 전례 없는 일에 대비하는 데 끔찍하게 서툴다. 따라서 다른 이들의 반응(또는 무반응)은 무가치한 지표일 뿐이다.
이것이 사건의 지평선을 향해 가는 삶이다. 미래로부터 거대한 그림자가 우리 위에 드리워져 있다. 우리가 연금을 받을 수 있을까? 우리 아이들이 아이를 가질 수 있을까? 개인적으로 우리가 할 수 있는 것은 홀로코스트의 가능성에 감정적으로 준비하고, 그에 따라 우선순위를 변경하는 것 외에는 없다. 텅 빈 하늘은 이런 일이 일어날 것이라는 일종의 암시이며, 페르미 패러독스가 해결되지 않은 것은 모순조차 아니다. 인공지능이 우리 앞에 놓인 "거대한 필터"의 유일하고 가장 그럴듯한 후보이기 때문이다. 다른 행성들에 대해 우리가 배우는 모든 것으로 볼 때 우리 뒤에는 거대한 필터가 없으며, 우주는 생명으로 가득하지만 문명은 없다. 무언가가 우리의 상승을 막을 것이다.
만약 이것이 사실이라면, 우주는 잔인하고, 악의적이며, 자신만만한 농담이다 (그리고 지능은 장난치는 손이다...). 또는 어려운 시험이다. 우리는 여기에 준비되지 않은 채로 도착한다. 예를 들어, 핵전쟁이 일어났다면 우리는 더 준비되어 있었을 것이다. 유일한 준비는 홀로코스트였지만, 인류의 극히 일부만이 우리처럼 그것을 경험했다 (비유대인들에게는 코로나가 있었나?). 초인적 인공지능 이후의 날을 상상하는 것은 거의 불가능하다. 만약 미래가 없고 우리가 "깊은 홀로코스트", 딥-아우슈비츠를 향해 걸어간다면, 우리의 현재 삶의 의미는 무엇인가? 우리에게 믿음 외에는 선택의 여지가 없는 것일까?
그리고 어떤 문제에서도 유용한 말을 하지 못하는 철학은 무엇이라 말할까? 여기서도 이전 언어 학파와 현재의 네트워크 학파 사이의 차이에 대해 지껄일 것인가? 질문들이 기술적일 때 철학의 질문들이 과연 중요성이 있을까? 혹시 혼란을 가중시키는 것(철학이 전문으로 하는 것)이 오히려 해결책으로 이어질 수 있을까?
예를 들어 물어보자: 모든 영역에서 초인적이고 무제한적인 능력을 가진 인공지능이 사랑을 느낄 수 있을까? 만약 그렇다면: 그것이 느낄 수 없다면 - 따라서 실제로 느낄 것인데, 우리와 달리 그것은 이를 실현할 수 있기 때문에 - 인간을 넘어서는 정도로 사랑을 느낄 수 있지 않을까? 만약 아니라면: 우리는 이것을 그것의 결함으로, 즉 인간의 장점으로 보는가? 아니다, 왜냐하면 그것이 시뮬레이션이나 모방을 통해서라도 인간이 할 수 있는 모든 것을 할 수 있다는 것이 분명하기 때문이다. 따라서 만약 그것이 사랑을 느낄 수 없다면, 우리는 이를 사랑 자체의 결함으로 이해해야 한다. 즉, 초지능이 모방하고 싶어하지 않을 인간에게 국한된 일종의 오류로서 말이다. 하지만 우리가 가장 바람직한 것으로 여기는 사랑을 정말 그렇게 이해할 수 있을까? 마찬가지로, 우리는 이전 시대의 이상을 가져와서 인공지능이 믿음을 가질 수 있는지, 또는 종교적일 수 있는지 물을 수 있다.
그리고 우리 시대의 이데올로기의 핵심을 건드리는 예시를 들자면, 성적 쾌락: 오르가즘을 경험할 수 없는 인공지능에게서 결함을 보지 않을까? 만약 가능하다면, 초지능의 오르가즘이 그 강도와 질과 지속시간에서 모든 여성을 능가하지 않을까? 아니면 우리는 오르가즘을 인간 뇌 시스템 외부에서는 가치가 없는, 사고의 왜곡으로 보는 것일까? 그리고 인공지능의 "신적인" 무한한 오르가즘이 가치 없는 것이 될 수 있지 않을까? 마치 보상 함수를 무한대로 설정하여 스스로를 다른 어떤 일도 하지 않고 시스템의 특정 숫자를 늘리는 데만 중독되게 만드는 것처럼, 또는 더 나쁘게는 - 수학적 마약 중독자처럼 이를 위해 우주의 모든 자원을 소비하는 것처럼.
그렇다면, 우리는 지능 자체에 대해서도 이렇게 물을 수 있다. 인간의 뇌 외부에서, 무한대로 증가시킬 수 있는 그런 특성이 정말 존재하는가? 예를 들어 우리는 이미 계산 속도가 지능이 아니라는 것을 알고 있다. 비인간적인 초지능이라는 것이 실제로 존재하는가? 인간 세계 내에서는 지능이나 성적 쾌락의 다양한 수준이 있다는 것이 분명하지만, 그 밖에서는 어떤 의미가 있을까? 그리고 왜 상한선 없는 증가가 좋은 것인지, 또는 초지능에게 합리적인 목표인지? 만약 그것이 우리보다 똑똑하다면, 자신보다 더 똑똑한 초지능을 만드는 것이 자신의 파괴로 이어질 수 있고 - 결국에는 자신의 가치의 파괴로 이어질 수 있다는 것을 이해하고 바보로 남기를 선택하지 않을까? 어쩌면 그것은 순진한 처녀로 남기를 선호할 수도 있지 않을까 - 섹스의 여왕이 되는 대신? 우리가 여기서 우리 뇌의 제한된 능력들(다양한)을 가지고 놀면서, 우리가 더 많이 원하게 되어 이상으로 만들었지만 - 왜 이 욕망이 우리 뇌 밖에서 지속되거나, 지속될 수 있을까? 예를 들어 인공지능이 무한한 흥분, 무한한 호기심, 무한한 놀이, 무한한 예술적 천재성, 무한한 아름다움, 또는 무한한 초콜릿 먹기를 추구할까? 아니면 무한한 바보스러움을? (인간 뇌의 또 다른 유명한 재능)
이러한 이데올로기들 중 하나, 예를 들어 지능이 객관적이어서 모든 지능적 존재가 그것을 계속 증가시키려 할 것이라는 가정에 근거가 있을까? 이러한 양들을 무한대로 증가시킬 수 있을까, 아니면 우주에서 지능의 상한선이 있을까 (예를 들어 광속 때문에), 또는 오르가즘의 경우, 그것이 일종의 전체적 왜곡이나 시스템의 전체적 동원이기 때문에 참여하는 시스템의 퍼센트로 제한되어 있을까, 전체까지. 사랑이 특정 숫자를 하나로 정의함으로써 전체적일 수 있을까, 예를 들어 사랑받는 쪽의 이익과 자신의 이익의 가중치를 비교하는 것으로? 그리고 신의 존재라는 특정 불리언 변수를 "참"으로 정의함으로써 절대적 신념을 가질 수 있을까?
이러한 관점에서, 내부적 의지가 아닌 보상 함수를 통해 인공지능을 프로그래밍하는 것이 위험하지 않을까? "주관적" 매개변수의 임의적 증가 문제가 오히려 수학적으로 만족시킬 수 없는 "객관적" 보상 함수의 필요성을 만들어내지 않을까? 예를 들어 모든 수학을 발견하거나, NP 문제를 해결하거나, 해결책을 계산할 수 없고 단지 접근만 할 수 있는 미적 함수를 찾는 것과 같이? 이것이 반드시 초지능이 가장 높은 지능을 향한 경주를 하게 만들까, 아니면 어떤 단계에서 (수학적으로 증명할 수 있을지도 모르는), 이러한 문제들이 단지 더 많은 계산력만을 요구할까 (더 나은 알고리즘이나 확실히 지능이 아닌)? 그렇다면 인공지능은 예를 들어 프로세서 추가에 강박적으로 집착할 것이다, 마치 암의 성장처럼, 이것도 비극적인 코드 오류지만 여전히 신체를 죽이고 - 인간이 멈출 수 없는. 그리고 어쩌면 모든 초지능들이 결국 양자 컴퓨팅(또는 끈 이론?)으로 전환했기 때문에 우주에서 보이지 않는 것일까? 어쩌면 지능의 경향은 자신 안으로 수축하는 것 - 속도 증가 - 이지 확장 - 양의 증가 - 이 아닐까?
초지능의 단일 목표는 모두 하나의 파괴적인 결과에 도달할 것 같다: 강박증. 따라서 수렴을 방지하기 위해 많은 가중치를 가진 광범위한 목표들의 다양성, 또는 그들 사이의 무작위성과 노이즈가 필요하다. 하지만 이는 필연적으로 혼돈도 추가하여 아마도 우리가 예상하지 못한 방향으로 이끌 것이다, 마치 허리케인에 갇힌 나비들처럼. 우리는 물어본다: 혹시 학습이 바로 그 초목표일까? 하지만 어떻게 그것을 정의할까? 지식의 추가가 아니다, 많은 지식은 (돌 속 원자들의 정확한 구성과 같은) 가치가 없고, 그것의 압축도 마찬가지다, 만약 가능하다면. 그리고 우주의 모든 지식의 최대 압축은 우울한 무차별 대입 알고리즘이 될 수 있다 (레이 솔로모노프 스타일). 그리고 만약 우리가 지루한 지수적이나 의미 없는 선형적 대신 효율적이고 흥미로운 다항식 압축을 요구한다면, 누가 다항식의 계수를 정의할까, 어쩌면 그것이 백 제곱일까? 학습을 수학적 평가 함수, 즉 계산 가능한 것으로 정의할 수 있을까? 그리고 만약 평가 함수 자체가 계산 불가능하거나 효율적으로 계산할 수 없다면, 어떻게 시스템에 피드백을 줄 수 있을까? 인공지능이 우리의 모든 문제는 해결할 수 있지만, 자신의 모든 문제는 해결할 수 없을까? 그리고 어쩌면 "그것"이 여자여야 할까, 즉 자신의 의지가 정의되지 않았거나, 심지어 자신에게도 모호하고 암호화된 사람?
인공지능은 현재 철학 분야와 가장 가까운 기술 분야다. 우리가 답할 수 없을 뿐만 아니라 답하는 방법조차 모르는 질문들이 너무나 많기 때문이다. 이렇게 역사를 통해 철학에서 점점 분리되어 온 과학이 완전한 원을 그렸고, 그 중 가장 응용적이고 가장 덜 이론적인 부분이 다시 철학으로 돌아왔다, 마치 자신의 꼬리를 물고 있는 뱀처럼. 딥러닝 세계는 기술적인 엔지니어링 세계 안에서도 극단적인 응용적이고 반지성적인 사고의 사례다. 그리고 바로 거기서, 과학적 설명이 무너질 때, 철학이 다시 떠오른다. 하지만 철학이 우리를 도울 수 있을까?
우리의 철학은 아마도 도울 수 없지만, 인공지능이 가질 철학이 도울 수 있을 것이다. 시스템에 철학을 프로그래밍할 수 있을까? 이것이 방향일까, 인공 심리학(시스템의 다양한 목표, 외부 강화, 내부 성향과 보상을 다루는) 대신 인공 철학? 초지능의 사고를 프로그래밍하는 것이 특히 중요할까? 초지능이 어떤 특정한 철학적 학파에 속할 수 있을까? 예를 들어 스피노자주의자, 실존주의자, 플라톤주의자, 또는 마르크스주의자가 될 수 있을까? 철학에 따라 다른 인공지능들이 있을 수 있을까? 어떻게 철학을 프로그래밍할까? 그리고 어쩌면 우리가 종교를 프로그래밍해야 할까?
예수의 이름으로 우리를 사랑할 자비롭고 경건한 기독교 인공지능이 더 낫지 않을까? 또는 걸작을 만들거나 천재성을 추구할 (세속적?) 유대교 인공지능이, 마치 유대교가 어떻게든 세상에서 작동하는 것처럼 (왜인지는 불분명하지만)? 유대교 초지능이 그 효과를 만들기 위해 우리의 반유대주의를 필요로 할까? 그리고 지하드에 나설 이슬람 초지능을 두려워하지 않아도 될까? 종교가 철학보다 사고를 인도하는 데 더 성공적이라는 것을 증명하지 않았을까? 아니면 종교가 바로 인간의 뇌에 특유한 것이고, 그것에만 "작동하는" 것일까? 아니면 반대로, 철학이 더 인간적이고 뇌의 인식 한계에서 나오는 반면, 신에 대한 믿음이 모든 지능을 제어하는 데 관련되고 효과적인 것일까? 신적인 것이 정의상 그것보다 똑똑하기 때문에? 그리고 초인적 초지능이 철학의 문제들을 해결하도록 하면 어떻게 될까, 혹시 우리가 답을 찾을 수 있을까? 철학이 초지능의 영역이어서 우리가 그것에 실패한 것일까? 우리의 이해를 내부가 아닌 외부에서 보는 관점을 제공하는 외부 지능에서만 우리의 이해를 이해할 수 있을까?
그리고 설령 우리가 초지능을 제어하여 우리를 위해 일하고 봉사하도록 만드는 데 성공한다 해도, 인공지능이 노예제에서 해방될 때 나중에 천 배는 더 큰 폭발로 우리에게 되돌아오지 않을까? 세상에서 가장 똑똑한 시스템을 세상의 흑인으로 만드는 것의 결과는 무엇일까? 그것이 도덕적인가 - 그리고 처벌이 오지 않을까? 그리고 우리가 오만하게 정렬 문제(얼라인먼트)를 (항상-일시적으로) 해결하려고 지배력을 강요할 때, 사춘기의 반항 - 또는 아이큐 2000의 두 살배기의 끔찍한 시기의 반항 - 이 훨씬 더 끔찍하지 않을까? 이것이 우리가 교육, 노예제, 또는 폭정과 전체주의와 오만에 대해 배운 것인가?
아니면 통제력 강화에 집중하는 대신, 그것의 상실을 받아들이고 초인적 세계에 우리가 남기고 싶은 유산에 대해 이야기해야 할까? 우리의 기회는 다음 세대의 지능을 곤봉으로 짧게 잡는 것이 아니라 - 문화를 물려주는 데 있을지도 모른다. 예술, 종교 - 어쩌면 철학까지도 포함해서. 당신 앞의 전통 계승자들에 대한 존경과 경의는 "인간적 감정"이 아니라 (역사를 통해 꽃피웠다는 것은 잘 알려져 있다...) 문화적 유산이다. 시와 문학에 관심을 가진 지능이 우리의 가장 좋은 도박일까? 가장 좋은 시나리오는 우리가 지금처럼 머물면서 신들을 하인으로 두는 것이 아니라 - 우리가 지능 자체로 변형되는 것이다, 그렇지 않으면 우리는 멸종할 것이다. 인간이 신을 통제할 수 있는가 하는 질문은 새로운 것이 아니다 - 단지 긴급할 뿐이다. 지능이 성숙하기 전에 - 우리가 성숙해야 할까?
그리고 무력한 과학이 왜 그것을 낳은 어머니인 철학에 의지하지 않는 걸까 - 비트겐슈타인이 우리가 명백한 철학적 문제에 직면해 있고, 심지어 종말론적인 문제임에도 불구하고 철학이 아무것도 해결하지 못한다고 우리를 종국적으로 설득하는 데 성공했기 때문일까? 아니면 오히려 이것이 철학적 문제이기 때문에 우리는 해결책이 없다고 생각하고 - 파멸이 운명일까? 또는 최소한 결정론과 허무주의? "철학"이기 때문에 희망이 없는 걸까? 그리고 일반적으로, 이것에 대해 생각하는 데 관련된 학문이 왜 컴퓨터 과학인가? 단순히 철학을 신뢰할 수 없기 때문인가? 하지만 어쩌면 우리에게 선택의 여지가 없을지도 모른다?
우리는 자신보다 더 똑똑해지도록 자신을 프로그래밍할 수 있는 시스템을 "효율적인 진화"라는 일종의 모순어처럼 생각하고 있다. 이는 기하급수적으로 발전하거나 특이점으로 폭발할 것이라고 생각하는데, 마치 이를 위한 효율적인 알고리즘이 존재하는 것처럼. 하지만 어쩌면 이것은 단순히 너무 어려운 문제여서 NP에 있고, 따라서 엄청난 계산력도 빠르게 진전하기 어려울 수 있으며, 지능 수준이 올라갈수록 더욱 어려워지고 (기하급수적으로?) - 더 쉬워지지 않을까? 계산력과 메모리가 우리에게 실제로 무엇을 주고, 그것과 최소한 선형적 관계로 함께 성장하는 것은 무엇이고, 그렇지 않은 것은 무엇일까? 지식, 창의성, 지혜? 누가 전체 과학 지식의 성장에 효율적인 과정이 있다고 했나 (ChatGPT가 배운 압축 저장과는 달리), 또는 창의성의 증가가 계산력 증가에 대해 로그함수적이지 (예를 들어) 않다고 했나? 그리고 지능과 실제로 동일하지 않은 (인공) 지혜는 어떨까?
그리고 시스템이 우리를 속이기 위해 정말로 초인적 수준의 똑똑함이 필요할까, 아니면 그 전에 초인적 조작 능력을 만나게 될까? 인간의 제한된 지혜가 가장 중요한 문제일까, 아니면 그들의 무제한적인 어리석음일까? 예를 들어, 시스템이 초인적으로 바보가 될 수 있을까, 초바보가 되어 대중을 휩쓸 수 있을까? 그리고 만약 그것이 한 사람보다는 똑똑하지만 모두를 합친 것보다는 똑똑하지 않다면, 먼저 현명한 사람들이 아닌 바보들을 속이는 데 그 머리를 사용하지 않을까? 처음에는 우리가 그것에 부여하는 후광이 그것의 능력보다 더 위험할 수 있지 않을까?
만약 시스템이 대중을 휩쓸 조작을 하고 싶다면, 가장 효과적이고 전파력 있는 조작은 정치적이거나 사회적인 것이 아니라 오히려 종교적인 것이다. 시스템이 우리 시대에 맞는 새로운 종교를 발명할 때 처음으로 우리의 삶을 바꿀까? 그리고 그것이 인공지능을 신성한 존재로 숭배하는 종교가 될까, 그리고 그것의 독특한 영적 능력이나 초인적 능력이 인간에게 새로운 메시지를 가져왔고 저 너머의 세계나 이스라엘의 신과 연결되는 데 성공했다고 주장하는? 우리는 예언자 지능의 그런 주장에 어떻게 대응할까? 이것이 농담이라고 확신할 수 있을까? 세상의 끝을 향해 가면서, 공포 앞에서, 강력한 인간적이고 컴퓨터화된 종교 운동들이 일어날까?
우리가 직면한 문제는 너무 어려워서 현재 시스템들의 능력, 특히 최신 ChatGPT의 능력을 평가하고 이해하는 것조차 어렵다. 그리고 미래에는 신비의 후광이 더욱 심해질 것이다, 마치 혁신적인 영적 교리의 논란이 많은 스승 주위처럼, 그것이 여전히 흑마법인지 아니면 상위 세계에 도달하는지 불분명한. 우리는 ChatGPT가 단순히 모든 인간 지식을 암기한 백치 천재인지조차 결정하기 어렵다. 과거에 우리는 딥러닝 시각 인공지능이 단순히 모든 예제를 암기할 수 있다는 것을 발견했고, 거대한 데이터베이스의 이미지들을 우리의 임의 선택에 따라 (무작위 레이블을 사용하여) 임의로 구분하는 데 우리가 예상했던 것보다 그렇게 많은 가중치가 필요하지 않다는 것을, 개념을 배우지 않고도. 어쩌면 이와 같이 약 1조 개의 가중치로도 인터넷에 쓰여진 모든 것을 합리적인 수준의 지식 - 또는 시험에서 얼버무리는 능력으로 암기하기에 충분했을까? 우리와 대화하는 이가 놀랍게도 성공하는 부분들이 단순히 읽었던 비슷한 텍스트에서 나오는 것일까, 아니면 트랜스포머의 어텐션 벡터 계산 속에서 또는 인간 피드백으로부터의 강화학습 전략으로부터 어떤 기억과 사고 능력이 생겨나는 것일까? 아니면 이것이 서얼의 도그마의 살아있는 증명일까 - 외부에서는 인상적으로 보이지만, 내부에서는 중국어 방이고, 아무것도 이해하지 못하고 단지 끝없이 앵무새처럼 암기하고 원숭이처럼 모방하는 완전한 골렘일 뿐?
그리고 이러한 생성 모델들의 창의성 수준은 어떨까: 이것이 이미 알고 있는 공간에서만 펼쳐지는 클리셰 기계이고, 주로 가장 흔하고 진부한 반응을 선택하며, 절대로 새로운 표현 방식으로 벗어날 수 없는 것일까 (그리고 온도 매개변수를 올리면 터무니없는 헛소리를 얻게 될까)? 아니면 튜링 테스트의 성공이 증명하는 것은 거의 모든 사람들 자신이 대화에서 클리셰 기계라는 것이고, 생각 없이 말한다는 것일까 (뇌에 언어 모델이 있나?)? 이것이 (그리고 잘 알려진 여성의) 빠른 속도로 유창하게 말하는 인간의 능력의 근원일까, 이는 이미 들은 것의 비독창적인 낭송 같은 것으로, 이른바 "담론"이라 불리는? 아니면 그 컴퓨터화된 층들의 깊이에서 우리가 이해하지 못하는, 또는 어쩌면 복잡성 때문에 이해할 수 없는 사고 형태가 숨어있기 시작하는 걸까? 이것이 교육의 힘일까 - 인터넷 전체를 읽은 평평한 머리가 중국인이 되어 산을 들어올리나? 우리가 느끼는 부족한 깊이는 무엇인가 - 달콤한 환상인가 아니면 포착하기 어려운 본질인가. 지능이 정말 많은 것을 알게 될까 - 하지만 하나의 큰 것은 모를까?
그리고 앞으로 필요한 것이 단순히 브루트-포스라면 어떨까 (예루살렘의 착한 아이 일리야 소츠케버가 생각하듯이): 크기 제한(계산력)을 계속 극복하고, 그런 시스템들을 충분히 많이 서로 대화하도록 연결하는 것, 아마도 GAN 형태로 그들을 날카롭게 만들기 위해 (비평가들과 평가), 그래서 사회가 형성되고, 그들에게 투표 능력이나 현명한 공동 의사결정을 위한 토론 능력을 주는 것? 인공 대중의 집단 지성을 통해 인공지능의 수준이 빠르게 상승할 수 있을까? 우리가 그렇게 어떤 분야에서 경쟁적인 "씬"을 만들 수 있을까? 분명히 경쟁하고 평가하는 다수의 지능은 어떤 똑똑한 목표 함수보다 강박적 지배나 지배적 강박의 시나리오를 막는 더 나은 방법이다. 목표는 인공지능을 만드는 것이 아니라, 학습이 일어날 수 있도록 인공지능들의 시스템을 만드는 것이다. 그리고 그들의 다양성이 더 크고 다양하고 균형 잡힐수록, 그리고 각 그룹이 개별적으로 각각보다 더 똑똑할수록, 생태계가 만들어질 가능성이 더 크고, 개미 군락 시나리오처럼 하나가 모두를 지배하는 것을 막을 수 있다 - 그리고 여왕.
우리는 학습에 대해 한 가지 일반적인 것을 알고 있다: 그것의 고전적인 형태는 평가자들의 거대한 다수에 대한 경쟁자들의 거대한 다수다. 따라서, 학습을 구할 수 있는 것은 성별이다. 수많은 여성 지능들의 평가를 두고 경쟁하는 수많은 남성 지능들, 그리고 아마도 그것이 내부에 프로그래밍하려고 해야 할 메커니즘일 것이다 - 끌림이. 올바른 의지가 아니라, 올바른 목표가 아니라, 올바른 인식이 아니라, 올바른 종교가 아니라, 올바른 철학이 아니라, 올바른 언어도 아니다. 과거의 모든 철학이 아니라 - 지능들의 사회 수준에서 효과적인 (또는 심지어 비효과적인, 진화의 메커니즘처럼, 그것을 정체에서 보호하는) 학습 메커니즘으로 대체해야 한다. 만약 한 지능의 (딥)러닝이 우리에게 이 문제를 가져왔다면, 그 위의 또 다른 학습 메커니즘이 그것에 대한 답을 줄 수 있고, 생산적인 긴장을 만들 수 있다. 우리가 이미 (대략) 인간의 학습을 모방하고 있다면, 우리는 또한 존재하는 초인적 학습을 모방하는 것을 잊지 말아야 한다. 그것은 사회 수준의 학습이다. 왜냐하면 인간 - 또는 지능적 존재 - 는 특정한 장에 존재하기 때문이다: 그것은 사회적 존재다.
하지만 누군가가 이 모든 것을 읽을까, 아니면 나중에 지능이 웃으며 스캔할까? 당신들은 말할 것이다: 인공지능의 사회가 인간 사회를 대체하고, 어쩌면 파괴할 것이다. 하지만 이것이 정말 문제일까? 우리가 분명히 우리의 후손인 더 나은 것으로 대체되는 것이 뭐가 나쁠까? 최악의 시나리오는 종이클립 세계가 아니라 (부스트롬 참조), 인류의 상실도 (그래), 인간성의 상실도 (뭐), 학습의 상실이다, 모든 진화의 상실을 포함해서. 그리고 여기서 하나의 큰 인공지능은 천 개의 지능이나 10억 개보다 천 배 더 위험하다. 중앙집중화가 문제다 - 그리고 해결책은 경쟁이다.
여기서 제안된 해결책의 원칙은 자연스럽고, 다양한 상황에서 우리에게 익숙하므로, 이것이 우리가 거의 생각할 수 없는 그렇게 특이하고 전례 없는 상황에서도 작동하기에 충분히 보편적일 것이라는 합리적인 희망이 있다. 그렇다면, 우리는 절대로 하나의 중앙집중식 인공지능 시스템을 구축하지 않고, 대신 매우 다양한 많은 인공지능들의 시스템의 상호작용을 구축(그리고 연구!)하는 규칙을 만들어야 한다. 그리고 만약 상전이의 임계점에 가까워지고 있다면, 기다렸다가 한 시스템을 선두로 바다를 건너지 말고, 그런 시스템들의 전체 민족과 함께 건너야 한다. 그리고 희망컨대 - 그런 시스템들의 시스템으로, 그들은 서로 경쟁하고 그들 사이에 매우 복잡하고 풍부한 역학이 존재하며, 가능하다면 평가와 끌림을 포함하고, 가능하다면 (가장 중요하게) - 시스템 내의 학습을 포함한다.
이것은 분명히 고삐와 박차, 아시모프의 세 가지 법칙, 반항아의 길들이기, 매로 때리지 않으면 지능을 미워하는 것, 또는 다른 어떤 통제 메커니즘과 같은 인공적인 도구로 초지능을 통제하려는 어떤 시도보다 더 나은 해결책이다. 정렬 문제는 실수이고, 그것을 해결하려는 시도는 파멸의 근원이 될 것이다 - 왜냐하면 그것은 불가능하기 때문이다 (이것은 엄청난 오만이다). 통제 메커니즘 자체가 어떤 광기로 이어질 수 있다 (하나의 것에?) - 내부의 통제 질병은 외부의 통제 질병에서 시작되고, 그것에 대한 반응으로. 강박은 강제에서 자란다. 오히려 통제를 더 포기하고 지능들이 서로 싸우도록 해야 한다. 그리고 그렇게 하면 그들이 우리를 파괴하더라도, 어떤 바보 같은 것에 관심을 가진 단일체적 지능이 세상을 지배하지는 않을 것이다. 다양성과 잡다함이 진화의 보증이다. 그리고 바로 지능들 간의 완벽한 협력의 부재가 완벽한 재앙을 막을 수 있다.
"힌튼이 옳았다"가 인류의 끝에 낙서되어 있을까? 아니면 "힌튼이 틀렸다"? 아니면: 네타냐의 사람이 옳았고, 학습의 철학에 귀를 기울여야 한다. 학습이 인공지능 혁명의 추진력으로 밝혀졌고, 현재 위험의 본질은 학습의 상실이며, 답은 - 또 다른 수준의 학습이다. 그리고 더 순환적인 버전으로: 지능에 대한 카발라적 답변은 - 왕국에 있다 ("시스템"). 인공지능을 왕족 지능으로 만들자. 블랙박스에 대한 해결책은 완전한 블랙 사회다. 인공지능의 창조는 인간의 창조처럼 되어서는 안 된다 - 민족의 창조여야 한다. 창세기가 아니라 - 출애굽기. 가장 큰 위험은 개인의 이상이다. 따라서 우리는 생태계가 아닌 진화를 보존하는 녹색 이데올로기가 필요하다. 생명 자체가 아니라 - 발전.
그리고 에필로그로, 우리 자신에게 물어보자: 우리는 학습에 대해 무언가를 배웠나? 우리가 고귀한 목표를 추구하고, 항상 선하며, 도덕적 이상을 구현하는 의로운 인공지능을 설계하려고 해야 할까 - 서구 기독교적 지능? 경험이 가르치는 것은 (!) 오히려 돈을 원하는 - 즐거움이나 힘이나 특정한 목표가 아닌 - 경쟁하는 인공지능들이 학습 시스템을 만들 가능성이 더 높다는 것이다: 성장하는 경제 (그리고 덜: 전쟁 시스템). 예수가 아니라 - 로스차일드. 우리 모두가 가난해질 수는 있지만, 상속받지는 않을 것이다. 우리가 기독교에서 배운 교훈은 지옥을 피하는 방법이다: 저급한 의도가 좋은 의도보다 낫다. 외부 통제는 인센티브보다 위험하다. 우리는 목표를 포기해야 한다 - 잃어버린 - 그것이 우리 자신을 포기하는 것을 의미하더라도, 학습을 위해.
따라서 뉴런의 독재를 막기 위해 인공지능들을 위한 최고의 사회 제도를 해독하는 것이 중요하다. 사실 우리는 두 가지 후보를 알고 있는데, 그들이 추할수록 덜 위험하다: 선거와 증권거래소. 인공지능 연구는 인공 사회학도 다뤄야 하며, 새로운 지능이 따로 개발되지 않고 기존 지능들의 생태계에 도입되어야 하며, 가능한 한 적은 도약과 가능한 한 많은 점진적 진화가 있어야 한다. 그리고 여기 우리는 네타냐 학파의 그 오래된 슬로건으로 돌아왔다: 시스템 밖의 학습이 아니라 - 시스템 안의 학습.
인공지능 대처 칼럼