독서 기록 - 슈퍼인텔리전스(경로, 위험, 전략)

"AI 로봇이 해탈할 수 있을까?"

이것은 작년 12월에 열렸던 한국불교학회 국제학술대회에서 다루어진 주제이다. 아래 포스터의 제목에서 '4차 산업'은 '4차 산업혁명'으로 바로잡아야 한다. 이것은 다음 소프트 최재원 이사의 의견이었다. 4차 산업혁명은 네번째의 산업혁명이란 뜻이다. 3차 산업을 이은 4차 산업에 의한 혁명이 아니라는 의미이다. 물론 구글링을 하면 제4차 산업이라는 용어가 없지는 않다.

출처: 연합뉴스 2017년 11월 28일

이번 3박4일 간의 출장 기간 동안 닉 보스트롬(조성진 옮김)의 슈퍼인텔리전스('Superintelligence: Paths, Dangers, Strategies)를 읽었다. 이 책은 철학책에 가깝지만 기술적으로 전문적인 내용이 많아서 읽기에 썩 쉽지는 않았다. 유발 하라리의 <사피엔스>나 <호모 데우스>의 책장을 술술 넘기면서 읽던 것과는 달리, 이 책은 도서 대출 기간을 연장하면서까지 어렵사리 읽었다. 솔직하게 말하자면 눈은 행을 따라서 달려나가지만 머리로는 쉽게 이해가 가지 않는 곳이 많았다(나의 아주 나쁜 독서 버릇). 꼭 구입하여 줄을 쳐 가면서 다시 읽고 싶은 책이라고 할 수 있다. 빌 게이츠는 이것을 인공지능 분야에서 꼭 읽어야 할 두 권의 책 중 하나라고 했다는데, 나머지 하나는 뭔지 정말 알고 싶다.

앞부분에서는 인공지능 연구의 역사와 몇 차례 반복된 연추 침체기에 대하여 설명하는 것으로 시작한다. 초기 인공지능 연구에서는 기계로서는 불가능하다고 인식되던 일(X)을 해결할 수 있다는 희망으로 꽤 진전을 했다고 한다. 그러나 이는 매우 특수한 상황의 문제만 해결할 수 있었고, 문제가 조금 길어지면 당시의 컴퓨팅 기술로는 풀기가 어려웠다. 쉽게 말하자면 이런 요인으로 인하여 몇 차례의 'AI 겨울'을 겪게 된다. 그러다가 1990년대에 이르러 신경망이나 유전자 알고리즘 등이 등장하면서 구식 인공지능(GOFAI: Good Old-Fashioned Artificial Intelligence)를 능가하는 새로운 대안이 등장하게 된다. 아직 많은 전문가들조차 인간 수준의 기계지능(HLMI: Human-Level Machine Intelligence)은 2030년-2100년 사이에 개발될 것으로 예측하였다. 우리를 놀라게 했던 알파고 역시 HLMI는 아니다.

하지만 이 책에서 본격적으로 다루는 것은 HLMI가 아니라 초지능(superintelligence)이다. 이는 모든 관심 영역에서 인간의 인지능력을 상회하는 지능을 말한다. 초지능이 개발되는 방식은 인공지능, 전뇌(whole-brain) 에뮬레이션, 생물학적 인지능력 향상, 뇌-컴퓨터 인터페이스의 향상, 또는 네트워크와 조직의 향상으로 가능할 것으로 본다.

제4장 '지능 대확산의 동역학'에서는 (지능의 변화율) = (최적화 능력)/(저항성)이라는 수식을 통하여 초지능이 생겨나는 도약 과정을 흥미롭게 설명하였다. 뒤이어서는 초지능체가 하나만 나타날 것인지, 아니면 여러개가 발생하여 하나가 나머지를 압도하게 될 것인지에 대한 논의를 펼치며, 이렇게 디지털 초지능적 에이전트가 탄생한다면 과연 그것이 이 세상을 지배하게 될 것인지를 다루었다.

초지능이 자신의 목표에 맞게 미래를 주무를 수 있는 엄청난 능력이 있다면, 그 목표는 무엇일까? 지능과 동기 사이에는 어떤 관계가 있을까? 제7장에서는 '직교성 명제(orthogonal thesis)'라는 이해하기 어려운 용어가 나온다. 원칙적으로 그 어떤 지능 수준에서든 그 어떤 최종 목표라도 설정 가능하다는 것을 왜 이런 용어로 부르는 것일까? 이에 대해서는 닉 보스트롬 자신의 글(The Superintelligence Will 링크)를 참조해 볼 일이다. 어떤 최종 목표가 있는지는 잠시 젖혀두자. 최종 목표를 위해 달성해야 할 도구적 목표는 좀 더 이해하기 쉽니다.

• 자기 보호
• 목표-콘텐츠의 보전
• 인지능력 향상
• 기술적 개선
• 자원 획득

이러한 도구적 목표를 달성하기 위하여 만약 인류가 걸림돌이 된다면 초지능 에이전트는 인류를 존재적 재앙으로 몰고 갈 것인가? 그렇다면 어떤 대책을 세워야 하는가? 인공지능에게 어떻게 가치를 부여하고 그것을 최종 목표로 삼도록 할 수 있을까? 가치 탑재 방법을 알아내었다고 하도 어떤 가치를 부여할 것인지를 어떻게 결정할 것인가? 다시 말해서 '초지능이 바라는 것이 무엇이기를 바라는가?'

전에 쓴 글의 내용이 떠오른다. "너는 무엇을 원한다고 믿고 싶은가?(링크)"

마지막 장의 내용을 일부 인용한다.

기계지능 혁명이 유익한 방향으로 일어날 수 있도록 할 수 있는 통제방법의 개발은 촉진하지 않고, 그저 기계지능의 개발 속도만 높이는 한, 인공지능 분야의 몇몇 기술적인 문제들의 해결책은 부정적인 영향을 줄 수 있다.

이제부터 쓰는 글은 나의 상상이다. 초지능이 나타난다면, 그 자체도 철학적 고민을 하지 않을까? 나(초지능)은 왜 태어났는가? 존재의 목적이 무엇인가? 최종적 목적 달성(예를 들어 인류를 멸망시키거나 복종하게 만드는 것)은 나에게 어떤 유익이 있는가? 만족 혹은 유익이란 무엇인가? 인간에게만 있다는 감정은 왜 나에겐 없을까?...