mir.pe (일반/어두운 화면)
최근 수정 시각 : 2025-01-11 06:54:33

기술적 특이점

특이점이 온다에서 넘어옴
<colbgcolor=#022126><colcolor=#FFFFFF> 기술적 특이점
技術的特異點 | Technological Singularity
분류 미래학
창시자 존 폰 노이만
개념 확립 버너 빈지, 레이 커즈와일
관련 인물 레이 커즈와일, 래리 페이지, 일론 머스크, 닉 보스트롬, 스티븐 호킹, 데미스 허사비스, 샘 올트먼, 제프리 힌튼, 일리야 수츠케버, 미치오 카쿠

1. 개요2. 정의3. 미래4. 특이점주의5. 예시6. 시사점7. 대중매체8. 관련 문서

[clearfix]

1. 개요

파일:기술적특이점.png
점점 가속화되는 기술의 발전과 인간 생활 방식의 변화는 우리가 알고 있는 인간사가 더 이상 지속될 수 없는 인류 역사의 본질적인 특이점에 접근하고 있다는 인상을 준다.
인공지능을 비롯한 기술들이 매우 발전해 인류가 극적이고 되돌릴 수 없는 변화를 겪게 되는 가설상의 순간.
A hypothetical moment in time when artificial intelligence and other technologies have become so advanced that humanity undergoes a dramatic and irreversible change.
기술적 특이점( 技 術 的 特 異 點, Technological Singularity)은 과학 기술의 항구한 가속적 발전으로 인해 초인공지능이 등장하여, 결과적으로 인공지능이 인간의 지능을 초월하게 되는 시점을 의미한다.

기본 개념은 존 폰 노이만이 제시하였고, 수학자이자 소설가인 버너 빈지가 1983년의 잡지의 기고문과 1993년의 논문 '다가오는 기술적 특이점'을 통해 최초로 그 개념을 정의하였으며, 빌 조이가 2000년의 글 미래에 왜 우리는 필요 없는 존재가 될 것인가을 통해, 레이 커즈와일이 2005년의 저서 '특이점이 온다'를 통해 이 개념을 더욱 구체화하고 대중화하였다.

보통 가장 가능성이 높은 인공지능을 통한 초지능을 기준으로 특이점을 생각하지만, 여러 가지 이설 또한 있어서 기술적 특이점의 개념에 있어서 인공지능이 반드시 필수요소는 아니다. 하지만 특이점을 넘어서는 순간 '현생인류'의 힘으로는 기술을 이해하거나 따라잡지 못한다는 것에 대해서는 이설이 없다. 따라서 인간이 기술사학적으로 꾸밈없이 자세하게 추론 가능한 미래의 한계점을 의미하기도 한다.

2. 정의

일반적으로는 인공지능이 인간의 지능, 정확히는 전 인류의 지능을 넘은 시점부터 매우 빠른 속도의 학습과 연쇄적 자체 개량을 통해 지능폭발을 일으키게 되고 결과적으로 기술의 항구한 가속적 발전으로 인해 인류 역사에 필연적으로 발생할 변곡점=초지능이 탄생하는 시점=비 생물학적 지능의 총합이 생물학적 지능의 총합을 넘어서는 시점을 특이점이라고 부른다. 이것은 생물학적 진화 속도를 완벽하게 초월하는 것이며, 무어의 법칙을 깨는 속도의 기술발전이다.

다시 말해 인공지능의 지적 능력이 인류 최대의 지적 능력을 뛰어넘는 순간이 기술적 특이점의 시발점을 의미하는 것. 일정 수준을 뛰어넘은 인공지능은 인류가 수만 년간 이루어낸 기술 발전이 제자리걸음으로 보일 정도로 폭발적인 수직 성장을 하게 된다. 결국 초지능체에 의해 개발된 기술은 더이상 인류의 지능으로 그 원리를 이해할 수 없고 모방할 수 없는 기술적 복잡성을 지니게 된다. 쉽게 표현하면 침팬지에게 미적분을 이해시키는 것과 비슷하다. 현재와 같이 인간이 기술을 발전시키는 것이 아니라, 기술이 기술을 발전시키고 발전된 기술이 더 발전된 기술을 스스로 만들어내고 더 발전된 기술이 더더욱 발전된 기술을 만들어낸다는 개념이다.

이는 "돈이 돈을 번다"라는 개념과 유사하다. 두 개념 모두 별도의 노력 없이 대량의 축적된 펀더멘털을 이용해 또 다른 유를 창조 내지는 생산한다는 점에서 공통 분모가 있다. 다만 그 돈을 버는 메커니즘이 매우 복잡하므로 어떻게 돈이 벌리는지에 대한 과정이나 원리를 이해하고 규명하는 것은 불가능하고, 단지 돈이 벌리고 있다는 것을 일차원적으로 확인만 할 수 있을 뿐이다.

현재도 딥 러닝 등에 의해서 컴퓨터가 스스로 만든 알고리즘이나 로직을 인간이 이해하는 것은 최고 전문가 수준에서도 대부분 불가능한 수준이다. 현실의 대표적인 예시로 알파고가 바둑을 학습하는 딥러닝 알고리즘을 만든 것은 인간이지만, 알파고가 그 딥러닝으로 스스로 만들어낸 대국을 두는 알고리즘은 인간이 현재 해석할 수 없으며, AI 설계 과정에 있어서 이론적 지식보다도 경험을 쌓아 얻은 직관과 통찰력이 많이 영향을 주는 이유이기도 하다. 단지 알파고가 보내오는 승률 계산 등의 갖가지 통계만을 전달받을 뿐. 이를 조금이라도 극복하기 위해 여러 개발자가 '인간에게 설명하는 인공지능'을 연구하고 있지만, 역설적으로 설명할 수 있는 인공지능은 결코 인공신경망을 통해 만들어진 인공지능의 정의에 부합하지 않게 되기 때문에 기본적으로 인공지능은 작동원리를 이해할 수 없다.

잘 언급이 안 되는 개념인데 더 정확히는 인공지능보다는 수확가속의 법칙(Law of Accelerating Returns)이 특이점 이론의 핵심 개념이다. 수확가속의 법칙은 진화의 기본 원리로서, 인류의 기술 발전 단계에서 갑자기 나타난 것이 아니고 우주 탄생부터 물리학, 화학, 생물학을 넘나드는 장대한 발전과정을 거쳐서 마침내 인류의 기술 발전 단계에도 도달하게 된 것이다. 즉, 수확가속의 법칙에 의하면 인공지능은 인류의 지능을 통해 탄생하였으면서도 그를 훨씬 넘어서는 더 강력한 지능으로서 진화의 원리에 의해 마땅히 출현할 수밖에 없는 존재가 된다.

수확가속의 법칙에 대해 간략하게 요약하면 이와 같다. 문명은 이전 세대 문명이 가졌던 아이디어와 돌파구를 '재목적화(repurposing)'하면서 발전한다. 각 세대의 기술은 이와 비슷하게, 이전 세대의 발전을 기반으로 발전의 선순환을 창조한다. 각각의 새로운 세대의 기술은 이전 세대 기술의 어깨 위에 서 있다는 것이 레이 커즈와일의 거대한 아이디어이다. 이러한 방식으로 기술의 발전은 다음 세대의 더 나은 기술을 가능하게 만드는 것이다. 각 세대의 기술은 이전 세대보다 개선되기 때문에 발전의 속도는 갈수록 가속된다. 의자를 생산하기 위해 수동 공구를 사용하는 방식에서 전동 공구를 사용하는 방식으로, 다시 조립라인을 사용하는 방식으로 발전해왔다고 생각해보자. 생산속도는 단계마다 빨라진다. 각 세대에서 사용된 이러한 공구들이 더 나은 공구를 디자인하고 만드는 데 사용된다고 생각해보자. 커즈와일은 컴퓨터 칩 분야의 가속적인 발전이 엔지니어들이 가장 빠른 소프트웨어와 컴퓨터를 가지고 더욱 빠른 컴퓨터 칩을 설계했기 때문이라고 말했다.

이외에도 커즈와일의 저서 '특이점이 온다'를 보면 질서와 복잡성이란 개념을 통해 더욱더 자세하게 논증을 해놨다.

아서 C. 클라크의 과학 3법칙 중 세 번째인 "충분히 발달한 과학기술은 마법과 구분할 수 없다."라는 말은, 기술적 특이점에 이른 미래 사회에 대한 은유로 해석될 수 있다.[2] 기술적 특이점에 도달한 사회에서, 인간은 첨단 문물의 원리를 이해하기보다는 마법 지팡이 쓰듯 그 효과만을 누리게 될 것이기 때문이다. 이런 모습은 이미 현대의 일반인들이 어떤 버튼을 누르면 어떻게 작동한다는 식으로 기계를 작동시키는 것은 알지만 전자제품들의 정확한 작동 원리를 모르는 것과 같은 맥락이다.

기술적 특이점이 지나버리면 일반인은 물론이고 인류 중 가장 똑똑하고 박학다식한 전문가들조차도 새로운 발명품이 왜 어떻게 작동하는지 모르게 된다는 것이다. 이는 흡사 바둑에서 알파고가 왜 그런 수를 두는지 인간계 최고수도 이해하기 힘들 정도의 상황이 된 것과 비슷하다.

개나 원숭이에게 스마트폰의 작동 원리를 가르칠 수 없는 것처럼, 발전된 기술을 자신에게 적용받지 않은 인간의 경우 어렴풋이 예상하더라도 빗나갈 확률이 높고, 생물학적 한계 때문에 죽었다가 깨어나도 아무런 해설 없이는 재현할 수가 없다![3] 인간으로서 대체 무슨 원리로 뭐가 어떻게 되는지 알 길은 없지만, 그러한 초과학의 혜택은 누릴 수 있을 거라는 점이 포인트. 마치 개가 원자력 발전소에서 나오는 전기로 난방이 되는 집에서 살거나 원숭이가 비행기를 타는 것처럼.

살짝 다르기는 하지만 이미 현대 사회에서는 어느 정도 비슷한 경향이 이루어지고 있다. 컴퓨터의 원리에 대해 전혀 몰라도 컴퓨터는 쓸 수 있으며, 개인의 능력으로는 컴퓨터 한 대에 들어가는 각종 기술 관련 요소들에 대해 개략적 이해는 가능하지만, 전문가가 될 정도로 통달하는 것도 불가능하다. 컴퓨터의 특정 부품, 그나마도 한정된 자신의 전문 분야에 대해서만 전문가가 될 수 있을 뿐이며, 기술이 무섭게 발전하고 분화됨에 따라 개인이 습득할 수 있는 전문 지식의 폭은 점점 좁아지고 있다. 아르키메데스나 레오나르도 다 빈치 같은 전근대 학자들은 수많은 분야에 걸쳐 박학다식한 지식을 보유했지만, 현대의 교수들은 자신의 전공 분야에서 벗어나면 그저 일반인 또는 그 이하 수준의 지식밖에 없는 경우가 많다. 인류의 지식이 발전하면서 각 학문 분야 하나하나의 양과 깊이가 너무나도 거대해졌기 때문에 과거처럼 여러 가지를 동시에 파려 들면 그저 얕은 우물 여러 개를 파게 되는 것에 불과하다. 이건 노골적으로 말해서 인류의 생물학적 사고능력이 이미 다양한 분야를 일정 수준 이상으로 학습하는 데 한계에 달한 지 오래란 것이다. 그것이 박사 학위를 받은 대학 교수 같은 인류에서 가장 똑똑한 축에 드는 개체인데도 말이다.
파일:external/upload.wikimedia.org/Edvac-vonNeumann.jpg
좌측 존 폰 노이만. 우측 줄리어스 로버트 오펜하이머
사람이 기술의 발전을 따라잡을 수 없는 시기로서 특이점이란 단어는 폰 노이만이 처음으로 언급하였으며 정확히는 동료였던 스타니스와프 울람[4]이 1958년 폰 노이만의 사후, 그에 대해 회고하며 쓴 글에서 언급된다. "(그와 나눈) 한 대화는 언제까지고 계속되지는 않을 현 인류의 양상을 넘어서게 할, 점점 다가오고 있는 어떤 필연적인 인류사의 특이점을 출현시킬 항구적으로 가속되고 있는 기술진보 및 그에 따른 인류의 생활상의 변화에 대한 것에 중점을 둔 것이었다."[원문] 이렇게 간략한 언급 정도였던 기술적 특이점은 수학자이자 컴퓨터과학자, SF 소설가인 버너 빈지가 1983년에 쓴 글에서 엄밀한 정의와 함께 현재와 같이 정립된다.

그 시기는 의견이 분분해서, 2045년[6]~3000년까지 편차가 매우 크며 아예 불가능하다고 보는 견해마저 있다. 특이점 이론을 주장하는 이들 중에서 가장 정확한 예측을 하는 인공지능 분야의 전문가이자 미래학자인 레이 커즈와일은 약 2045년 전후로 인공지능이 인류 전체의 지능을 초월하면서 특이점이 도래할 것이라고 주장한다. 커즈와일 본인의 말에 따르면 그때는 90대가 될 자신도 기술의 효과를 누릴 것이라고 한다.

파일:external/img.timeinc.net/singularity_graphic.jpg

이 시기가 오면 인간이 기술을 발전시키는 것이 아니라, 기술이 기술을 발전시킬 것이라고 한다.

'기술적 특이점'이란 것의 정의에 대해 좀 더 구체적으로 적자면 폰 노이만은 그저 기술의 항구한 가속적 발전으로 인해 인류 역사에 필연적으로 발생할 변곡점이라 정의했고, 버너 빈지는 인공지능을 통한 초지능이 탄생하는 시점이라 정의했다.

커즈와일의 정의에 대해 많은 사람이 빈지의 정의와 헷갈려서 오해하는데, 커즈와일의 정의에 따르면 비생물학적(만들어진) 지능의 총합이 생물학적 지능의 총합을 넘어서는 시점이다. 이게 빈지의 정의와 무엇이 다른가 하면, 빈지의 정의는 단일한 초지능기계를 통해 특이점이 온다고 봤을 가능성이 높지만, 커즈와일은 기술의 분산화를 강조했다. 그에 의하면 나노공학의 발전에 따라 인류의 뇌 속에도 나노봇을 통해 컴퓨터가 들어서게 될 것이고, 인간의 생물학적 지능과 인공지능은 이를 통해 연결될 것이다. 빈지의 견해와 마찬가지로 초지능은 필연적으로 오긴 하나, 이는 단일한 기계가 아닌 세계 곳곳에 분산하는 클라우드 컴퓨팅과 비슷한 것이 될 것이다. 그러니까 인간의 뇌 내부에 있는 비생물학적 지능과 외부에 있는 비생물학적 지능을 모두 포괄하여 이들이 기존의 생물학적 지능의 총합을 넘어서는 시점을 특이점이라고 본 것이다. 트랜스휴머니즘의 요소를 빈지의 특이점 개념에 포함했다고도 볼 수 있다.

유명한 기술사학자이자 평론가인 케빈 켈리(Kevin Kelly) 또한 커즈와일의 기술적 특이점과 관련 있는 개념으로 인간과 기계가 네트워크를 통해 연결되며 탄생하는 행성 규모의 유기체인 홀로스(Holos)라는 개념을 주창한 바 있다. 그는 "나는 이 행성 규모의 층을 홀로스라고 부를 것이다. 홀로스는 모든 기계의 집단행동과 결부된 모든 인간의 집단지능에다가 자연의 지능, 이 전체로부터 출현하는 모든 행동을 포괄한다. 이 전체가 바로 홀로스다. 홀로스는 우리가 살아갈 새로운 플랫폼이다. ... 이 새로운 플랫폼의 대규모 유비쿼터스 상호연결은 처음에는 기존의 자연스러운 확장에 불과한 것처럼 보인다. 이 모든 특성이 꾸준히 증가함에 따라 우리는 어떤 변곡점, 복잡성의 문턱을 통과한다. 변화가 불연속적으로 되어 갑자기 새로운 상태에 놓이게 되는 시점이다. 새로운 표준상태들로 이루어진 다른 세계다."라는 말로 이를 표현했다. 하이브 마인드 개념이 적용된 것이라고 봐도 된다.

3. 미래

인간급의 지능으로 스스로 생각할 수 있는 인공지능 기술이 개발되지 않은 현재는 컴퓨터를 인간이 직접 설계하지만, 인공지능의 수준이 인간급으로 발전되면, 인공지능 스스로 컴퓨터를 설계하는 것이 가능하며 더 나아가 인공지능 자신이 그 자신보다 더더욱 뛰어난 인공지능을 개발하는 것이 가능해진다. 그러면 인공지능에 의해 발전된 인공지능이 더 우수한 지적 능력으로 더 우수한 시스템을 구성하고 이 사이클이 반복되면 발전 속도는 기하급수로 상승할 것이다.

게다가 인간은 뇌에 기반하는 생물 구조적 한계상 처리 능력을 강화하는 게 어렵고 사실상 복제도 불가능하지만, 인공지능은 그 구조상 복제 및 확장, 기능 업그레이드가 매우 손쉽다. 따라서 이렇게 발전된 기술이 다음 기술을 발전시키는 데 사용되며 이게 누적될수록 점점 더 기술의 발전은 빨라져서 결국 기술발전의 그래프는 수직에 가깝게 그려질 것이며 이 시점이 바로 특이점이라는 이야기. 이해가 안 된다면 인류사에서 바퀴, 종이, 문자, 인쇄술, 증기기관, 내연기관, 계산기, 컴퓨터, 스마트폰의 발명 전후 모습을 비교해보면 쉽다. 컴퓨터의 등장 이후 몇십 년 만에 엄청난 발전이 이루어졌는데, 스마트폰의 발명은 수년 만에 인간의 삶을 윤택하고 편리하게 바꾸어 놓았다.

특이점이 오면 현생인류는 야생상태의 멸종위기 동물처럼 절대다수가 도태되고 '소수만 보존'되는 것이 아닌가 하는 의문을 가질 수 있다. 이에 대해 커즈와일은 낙관적이다. 인간의 존엄 및 인간성 역시 미래 세계에서도 유지될 것이라는 주장을 했기 때문이다. 즉, 원하기만 하면 얼마든지 개조가 가해지지 않은 순수한 현생인류인 채로 인간적인 대우를 받으면서 살 수 있을 것이다. 물론 커즈와일이 마냥 낙관적인 것은 아니며, 오히려 기술 경계론자 중 하나인 자신이 왜 그저 무조건 낙관주의자인 것처럼 매체에서 표현되는지에 대해 의아함을 나타냈다. 그의 저서를 제대로 읽어보면 알겠지만, 그는 기술 발전에 따른 위험도 또한 기하급수적으로 증가할 것이기에 미리부터 가이드라인 및 제도를 만들어야 한다고 주장했다. 그가 낙관적으로 생각하는 부분은 지금까지 인류가 불완전하나마 해내 왔던 것처럼 새로운 기술을 통제할 수 있는 가이드라인 및 제도 또한 마련 가능하다는 것이다. 예컨대 문제가 되는 건 경계하라는 지적을 받아들여 바람직하게 진행하는 것이 아니라, 저자의 희망찬 전망을 부풀리고 우리가 어떻든 반드시 이렇게 될 것이다 하고 안심하라는 사람들의 존재 그 자체이다. 이런 자들은 저자의 평판을 오히려 떨어트릴 수밖에 없으며, 아직 채 완전히 알려지지 않았거나 심각하게 생각하지 않던 문제를 포함한 다른 문제들이 잠복하는 것을 돕게 된다.

사피엔스의 저자로 유명한 유발 하라리 예루살렘 히브리대 역사학 교수 또한 마찬가지로 단순한 인공지능의 인류 지배 같은 경쟁적 개념이 아니라 오히려 인간과 기계의 '결혼'에 대해 이야기해야 한다고 내다봤다. 여기서 말하는 결혼은 기계를 인격체로 만들어서 동등하게 대하겠다는 의미가 아니라 결합이라는 의미다.

여태껏 '기계를 인격체로 만든다'라는 개념이 기술적으로 정확하게 정의된 적 없다. 왜냐하면 아직 우리는 인간이 인격을 갖게 해주는 것이 대체 무엇인가에 대해 알지 못하기 때문이다. 따라서 기본적으로는 생물학적으로 인간이기만 하면 인격을 가진 인격체라고 여기고 자연 인권을 갖게 되긴 하지만 알다시피 같은 인간이라도 해도 정신에 문제가 있거나 나이가 일정 이상이 아니거나 하면 인간으로서의 온전한 법적 권리를 완전히 행사할 수가 없다. 즉, 같은 인간이라고 해도 인간 사이의 편차가 분명히 존재하기 때문에 실정법은 구분을 두고 있다. 하지만 누구나 경험적으로 알다시피 성인이라고 해도 미성년자보다 지능이 낮으며 도덕적으로 낮은 수준을 가진 사람들은 얼마든지 있다. 정신병자라고 해도 특정 분야에 대해서만 유독 높은 지능을 보이는 사람 또한 있다. 게다가 인간성 중 한 갈래로 표현되는 '양심'을 가졌는지 의심스러운 범죄자들 또한 있다. 사회관에 얼추 들어맞기 때문에 '정신적으로 문제가 없으며, 신체적으로 성년에 다다랐다는 것'을 온전한 인간=성인이라는 것의 제한된 개념으로 사용할 뿐이다. 결국 기계 또한 인격의 소유 및 그에 따른 인권 소유 여부를 인정하느냐 아니냐가 큰 문제가 될 것이다. 게다가 기계는 개미 수준의 지능부터 침팬지 수준은 되는 것, 더불어 특정 분야에서만 지적 능력을 갖춘 기계까지 지능 자체가 천차만별일 것이다. 이러한 '비생물학적 지능의 인권 소유 여부 문제'에 대해 커즈와일은 자신의 저서에서 이를 '의식의 문제'라고 표현하며 논증을 벌였다. 특히 마음의 탄생에서는 전권을 할애하여 논증하였다.

이에 대해 간략하게 말하자면 결정적인 문제는 아직 우리가 '의식'과 '지능'이라는 것을 완전하게 알고 있지 못하기 때문에 인간에 버금가거나 으뜸인 '지성체'를 구분할 방법이란 무엇인가 또한 알지 못하고 기술적 관점에서만 따지자면 그에 대한 기준과 대책을 마련하는 것 자체가 힘들다는 것이다. 아예 인간이라는 틀 안에서 제한을 걸어 놓으면 모를까… 어떻게든 안심할 수 없다. 만약 인간보다 뛰어나면서 특정 인간 부류를 혐오하거나, 주도권을 갖추고 자기 성격이 강하면서 지나치게 인간에 친밀한, 인외격의 존재가 만들어진다면 심각한 문제가 일어날 것이다. 안전하지 않은, 종 차원의 경쟁이 일어나 인간이 처참히 지거나, 주도권을 잃고 질질 끌려가는 식으로 가축화될 수 있으므로, 논리적으로 어긋나는 실정이더라도 빈틈 하나 없이 틀어막아야 한다. 종과 인류를 지키며 주권을 잡기 위해서는 각 인간이 모두 신성화되고, 신성시되어야 한다. 결코, 보편화된 방법으로는 제어할 수 없는 수준의 재앙이 강림하게 될 위협이 닥친다면 인류 전체가 나서서 그것을 없애야 한다는 것이다. 이런 면에서 어느 정도 자유는 제한될 것이지만, 그렇게 제한이 걸리는 것이야 지금도 익숙하고 흔하다.

덧붙여 위의 비생물학적 지능의 위협과 그 대처 방안에 대해 커즈와일은 저서 특이점이 온다의 '제8장 뗄 수 없게 얽힌 GNR의 희망과 위험' 중 'GNR 방어 전략' 파트에서 아래와 같이 언급하였다.
...위의 방법들로도 병원체적 로봇공학(강력한 AI)을 다룰 수는 없을 것이다. 로봇공학 분야에서 취할 수 있는 최고의 전략은 미래의 비생물학적 지능이 자유, 관용, 지식과 다양성에 대한 존중 등 인간적 가치들을 최대한 따르게 하는 것이다. 그것을 이루는 최고의 방법은 현재 그리고 미래의 우리 사회에서 그 가치들을 극대화하도록 노력하는 것이다. 모호한 얘기로 들리겠지만 사실이다. 이 분야에서는 순전히 기술적인 해법은 없다. 강력한 지능은 덜 강력한 지능이 만든 것은 무엇이든 수월하게 뛰어넘을 수 있기 때문이다. 우리 손에서 탄생하는 비생물학적 지능은 이미 우리 사회에 침투하고 있으며 앞으로도 침투할 테고, 우리의 가치를 반영할 것이다. 비생물학적 지능은 생물학적 지능에 깊이 스며들어 생물학을 재편하는 단계로 나아갈 것이다. 인류의 능력은 매우 확장될 것이고, 굉장히 지적인 이 힘을 어떻게 이용하느냐 하는 것은 전적으로 힘을 만들어낸 자들이 어떤 가치를 따르느냐에 달렸다. 생물학을 재편하는 시대는 생물학을 초월하는 시대로 나아갈 것이다. 우리는 그때조차 인류의 가치들이 보전되길 바란다. 위의 전략은 확실한 것은 아니다. 하지만 현재 우리가 미래의 강력한 AI에 조금이라도 영향을 미칠 수 있는 유일한 방법이다.
기술은 영원히 양날의 칼로 남을 것이다. 인류가 다양한 목적으로 사용할 수 있는 막대한 능력일 뿐이다. GNR은 질병과 가난 같은 인류 고래의 문제들을 극복하게 해주겠지만, 파괴적 이상에 기여할 수도 있다. 우리는 급변하는 기술을 인류의 소중한 가치들을 진작하는 데 사용하면서 한편으로 방어 능력을 키워가는 수밖에 없다. 인류의 소중한 가치들이라는 것이 무엇인가에 대해서는 안타깝게도 확실한 합의가 없지만 말이다.

종합해보면 커즈와일은 미래의 비생물학적 지능이 인간적 가치들을 최대한 따르게 하는 것이 현재 인류가 할 수 있는 최선의 전략이라 했는데, 아마 최신 시점마다 가장 강력한 비생물학적 지능(들)이 재귀적으로 끊임없이 위협에 대한 규제를 설계해 나가는 것을 유일한 대처 방안으로 본 듯하다. 커즈와일 자신도 '기술은 영원히 양날의 칼로 남을 것'이라고 언급했다시피 실제로 이는 완전한 해법이 될 수 없다. 따라서 위 문단에서 '위협을 없앨 방법은 오로지 비생물학적 지능을 민주적이고 선하게 만드는 것뿐이다'라고 언급한 건 틀렸다. 이는 위협을 없앨 수 있는 방법이 아니라 그저 위협을 감소시키는(그마저도 얼마나 되는지 불분명한) 대처 방안에 불과할 뿐이다.[7] 그리고 현시점에서도 많은 근대국가가 삼권분립과 정당, 언론, 집회와 결사의 자유 등을 통해 지능과 권력을 분산하여 이중삼중으로 규제해놓았다는 것에서 알 수 있다시피 만약 비생물학적 지능이 규제를 설계하게 된다고 해도 단일한 개체성을 지닌 비생물학적 지능이 자신을 스스로 규제하는 법률을 만드는 것과 같은 모습은 아닐 것이다. 애초에 이것(이것들?)은 하나이면서도 동시에 여러 개체로도 있을 수 있는 기이한 존재이므로 규제 시스템 또한 현시점의 우리로서는 예측하기 어려운 아주 이상한 형태가 될 듯하다.

또한 이전에 쿠르트 괴델의 불완전성 정리를 예시로 들어 모든 논리체계에는 언제나 허점이 있으며, 따라서 모든 지능은 그보다 약한 지능이 구성한 논리체계를 언제나 논파할 수 있다고 설명하였는데, 이는 불완전성 정리에 대한 잘못된 이해의 예시이다. 불완전성의 정리는 페아노 공리를 포함하는 공리계가 완전성과 무모순성을 동시에 확보할 수 없다는 주장이며 따라서 페아노 공리를 포함하지 않는 공리계의 경우 성립하지 않는다. 실제로 페아노 공리계의 일부를 배제한 공리계 중 완전성과 무모순성이 동시에 성립하는 것이 있다. 아울러 '완전하다'와 '무모순이다'라는 말 역시 논리학적 의미에서 엄밀히 규정된 것이며, 무모순성을 증명할 수 없다는 것은 해당 공리계가 모순을 포함한다는 것을 함축하지 않는다.

하지만 주된 개선의 대상일 뇌가 무모순성을 내재한다고 확신하기 어렵다. 예컨대 귀류법을 통해 자기 자신을 포함하는 임의 프로그램의 무한루프를 검사할 수 있는 프로그램은 모순을 만든다는 점을 쉽게 보일 수 있는데 그렇다면 AI가 자신을 스스로 발전시킬 때 무한루프로 멈춰버리는 결함품을 만들지 않으리라 보장할 방법이 없게 된다. 정 흠결이 없으면 (이전에 프로그램이나 기계에게 그랬듯이) 물리적/사회적으로 주물러서 만들어 놓을지도 모르는 노릇이고, 그 외에도 사회에 일어나는 큰 전환점과 반향이 억제되더라도 흐름 자체가 항상 최선인 적은 없었기 때문에 문제가 생겨날 위험성은 아주 높다.

4. 특이점주의

파일:상세 내용 아이콘.svg   자세한 내용은 특이점주의 문서
를
의 번 문단을
의 부분을
참고하십시오.

5. 예시

레이 커즈와일은 자신의 저서 내용 대부분을 특이점이 머지않았다며 당시 개발되고 있었던 최신 기술을 소개하거나 컴퓨터의 속도가 무어의 법칙에 따라 빨라지고 이야기하고 있다는 것에 할애했지만, 조금은 구체적으로 미래에 어떤 변화가 있을 것인지 쓰기도 했다.
기술적 예측과, 시장성과 수요로 인한 오류까지 모두 감안한다면 커즈와일의 예측보다 약 +10년 정도는 더해서 생각하는 게 더 편할 것이다. 실제로도 2010년대 초반에 사물컴퓨터 시대가 열렸지만 좀더 본격적으로 시장에 쏟아지게 된 시기는 2020년부터다. 상용화와 대중화는 다른 얘기니까. 상용화가 되어도 대중화까지 10년은 더 걸릴 수 있다는 것이다. 여러 중소 기업을 비롯해 삼성이나 LG의 백색가전들 중에서도 2020년 대쯤 제품이라면 인터넷 제어가 가능하다. 왜냐하면 기술이 개발되어도 시장에 내놓을 때까지는 상당한 효율적 발전이 필요하고, 또한 시장에 내놓아도 사람들이 인식하고 구매하고 본격적으로 여러 회사들이 그 기술을 중점으로 시장을 채우려면 다시 어느 정도 시간이 필요하기 때문이다.* 2020년대 말에는 나노 기술을 이용해 인체의 장기를 보강하고 교체할 수 있을 것이다. 예를 들면 신체에 필요한 영양소를 정확히 계산해서 나노봇으로 몸에 공급할 수 있고, 혈구를 나노봇으로 교체하면 훨씬 뛰어난 면역력과 효율적인 호흡 능력을 가질 수 있고 심장을 제거하는 것도 가능하다. 수술 없이 뼈대를 강화하거나 신체 내부의 수술을 진행할 수도 있다.* 2020년대 후반에는 가상 현실이 매우 현실적으로 되어서 그것을 이용한 재택근무가 더 널리 퍼질 것이다.[10]* 2030년대에는 나노봇을 통해 뇌의 기능을 보강하는 것도 가능할 것이다. 뇌 자체의 성능을 높이는 건 물론이고, 매트릭스에 나오는 것과 같은 가상현실에 접속할 수도 있고, 자신의 감각을 전송할 수도 있을 것이다.* 2030년대 말에는 뇌의 정보를 그대로 컴퓨터로 업로드하는 것도 가능할 것이다.* 2030년대 말이나 2040년대 초에는 분자 단위로 물체를 조립하고 해체하는 수준의 나노 기술을 이용해 신체를 아예 마음대로 개조할 수 있을 것이다.* 신체 재생 등을 통한 신체가 절단된 장애인의 구제는 물론 순식간에 외모를 바꾸거나 성별 또한 별도의 수술 없이 나노머신만으로 바꿀 수 있을 것이다.* 외모지상주의의 의미가 거의 사라질 것이며 성별을 구분하는 것 자체가 의미 없어질 것이다. 각자의 개성은 더욱 강해질 것이다 게다가 신체를 전혀 가지지 않고 전기신호를 가진 자아만 온라인에 존재하다가 필요할 때만 신체를 가지는 것이 가능할 것이다. 이러면 이제 물리적 환경과 국토의 한계 문제로 골머리 앓지 않아도 된다.* 뇌가 기계 방식으로 교체되었기 때문에 언제든 초인공지능의 지능을 빌릴 수 있게 되거나 초지능 그 자체가 될 수 있다. 따라서 일반인들도 인류 전체를 합한 지능을 자신의 전뇌에 복사 붙여넣기 할 수 있다는 것. 혹은 타인과 잠시 융합되었다가 세 개의 의식체로 분리되는 것 따위도 가능하다. 이쯤 되면 현재의 모든 인류가 알 수 있는 최고의 지식과 노하우를 얼마 안 되는 시간에 모두 습득할 수 있다는 것이 되고, 단지 혼자의 집중만으로 가상의 세계나 새로운 게임 경험 같은 것들을 만들어낼 수 있게 될 것이다.* 초지능이 되느냐, 인간으로 남느냐는 개인의 선택으로 남게 된다. 그러나 그때 즈음이면 이런 기술들이 너무나 당연해서 데스크톱이냐 노트북이냐의 선택과 같이 아주 일상적인 일이 될 것이다.몇몇 사람들은 너무 오래 살면 사는 재미가 사라지리라는 클리셰적인 생각을 하는데, 해결법 중 하나는 기억을 스스로 리셋하거나 그냥 포맷해서 어린애로 환생하면 된다.* 위와 같은 분자 조립 나노 기술로 인해, 시설로 만들 수 없거나 아예 비싼 재료가 드는 것이 아니라면 제조 비용은 0에 수렴하게 낮아진다. 당연히 물건의 가격은 지적 재산 가치와 거의 같게 되거나, 모든 물건이 아예 공짜로 주어질 것이다.* 각 재화의 생산성과 생산 효율은 어마어마하게 증가할 것이다.* 일하고 싶다면 일할 수 있지만, 초인공지능이 인간과 비교할 수 없을 만큼 잘하고, 기발하며, 창조적이다. 열역학 제2 법칙에 의한 우주 멸망 이외엔 인간 1.0에서 느꼈던 각종 재해로 인한 공포가 비교할 수 없을 만큼 줄어들 것이다.* 이런 경우에는 죽음에 대한 개념도 크게 달라질 것이다. 육체가 돌이킬 수 없는 손상을 입어 죽음에 이른다는 개념은 사라지고, 불의의 사고로 신체 자체는 손상되거나 사라지더라도 자아와 의식을 복사해 두었다가 다시 새로운 육체에 재전송하면 그만이기 때문에, 자신이 죽는다는 개념 자체가 사라질 수 있다. 잠시 의식이 끊겼다가 다시 돌아온 것일 뿐. 모든 인간은 어차피 7년 주기로 모든 세포가 전부 교체되어 아예 새 육신으로 갈아끼우는 것과 마찬가지이며 결국 나를 구성하는건 내 신체가 아니라 기억과 자아라는 점을 생각해보면, 내가 사라져버린 채 다른 사람으로 살아가는 거라고만 단순히 생각할 문제는 아니다. 이는 테세우스의 배 항목 참고.* 커즈와일의 특이점 예측에 동의하는 전문가들은 1970년생 언저리부터는 아주 확실하게 인간 불멸화에 참여할 수 있을 것으로 판단하고 있다. 1960년생 같은 경우에는 건강에 신경을 쓰지 않으면 노화나 기타 노화로 인한 합병증세의 위험성이 높다고 판단하고 있다. 그러나 이런 예측을 하는 커즈와일은 최첨단을 달리는 회사의 수장인 것을 생각해야 한다. 설령 당장 관련 기술이 완성되었다 하더라도 시장 판매가 이뤄지는 데에 시간이 걸릴 것이며, 미국이 아닌 다른 비교 후진국 같은 경우엔 법규나 제재 때문에, 영생화로 이어질 수 있는 수명연장 관련 기술이나 약품이 취급이 어렵거나 금지될 수 있다. 물론 다시 말했듯이 커즈와일 같은, 최첨단 회사의 수장은 시장화 되기 전에 기술적 혜택을 받을 수 있겠지만.
아래는 2013년 12월 26일에 CNN에서 낸 커즈와일 특집에서 참조했다.

6. 시사점

파일:상세 내용 아이콘.svg   자세한 내용은 기술적 특이점/시사점 문서
를
의 번 문단을
의 부분을
참고하십시오.

7. 대중매체

8. 관련 문서


[1] Ulam, Stanislaw (May 1958). Tribute to John von Neumann. Bulletin of the American Mathematical Society, 64, #3, part 2: 5 [2] 가끔 과학 3법칙이 법칙이란 말 때문에 과학적으로 증명된 절대 사실인 줄 아는 사람들이 많은데, 과학 3법칙은 어디까지나 클라크의 소설에 나오는 설정이자 소재의 하나일 뿐이지 반드시 지켜야 할 절대 법칙이나 공식이 아니다. [3] 이해할 만큼 풀어놓는 데 시간이 너무 오래 걸린다거나, 방대한 사전지식이 필요하고, 계산기 보조로 때울 수 있지만, 머리 안에 다 채울 수는 없는 등. [4] 에드워드 텔러와 함께 현대 수소폭탄의 기본 메커니즘인 텔러-울람 설계를 개발한 사람이다. [원문] One conversation centered on the ever accelerating progress of technology and changes in the mode of human life, which gives the appearance of approaching some essential singularity in the history of the race beyond which human affairs, as we know them, could not continue. [6] 요즘은 AI 분야의 빠른 발전 속도로 이마저도 앞당겨져 2025년~2029년으로 보는 견해도 나오고 있다. [7] 인류사에서 한 예를 들자면 독일 바이마르 공화국은 당대의 지혜를 짜내어 세계에서 가장 선진적이라고도 불린 바이마르 헌법을 완성했지만 민주주의를 위한 조항이 민주주의를 파괴하려는 세력에게 악용되어 결국 나치 독일이 탄생했다. [8] 2008년도의 한국 사람 대부분은 스마트폰의 대중화를 짐작조차 하지 못했다. 어렴풋이 상상은 가능했지만, 폭발적인 스마트폰의 대중화로 인해 진짜 유비쿼터스가 도래하는 것은 예상하지 못했던 것. [9] 근데 유사하기는 하지만 실제로는 조금 틀린 부분이 있다. 스마트폰이 유비쿼터스의 포석인 건 맞지만 모든 사물에 다 들어가지는 않았기 때문에 진정한 유비쿼터스 시대가 완벽히 왔다고는 할 수도 없다 스마트폰이 보급된 건 맞지만 증강 현실이 딱히 상용화가 이루어졌다기에는 반박받을 부분이 많다. 이런 몇몇 서술 때문에 이 양반이 기술에 대한 비용은 미처 생각하지 않고 글을 휘갈긴단 비판을 받기도 한다. [10] 코로나바이러스감염증-19 사태로 인해 재택근무 자체는 2020년대 초에 활성화되고 있지만, 가상현실은 아직 재택근무에 적용되지 않았다. [11] 2020년으로부터 4년이 지났지만 아직은 실현되진 않고 있다. [12] 살아있는 세포로 신체 장기까지 3D 바이오프린터의 진화 [13] 2020년 무렵부터 메타라는 가상세계에서 놀이를 즐기기 시작했다. [14] 작중 시점에서 이 기술은 도시의 정부에 해당하는 머리에 의해 금기로 지정되어 버려졌다. [15] 애초에 본 작품의 모티브가 아서 클라스의 소설 유년기의 끝이다.

분류