어떻게 인간과 공존하는 인공지능을 만들 것인가 - AI와 통제 문제 -

AI의 현주소, 가능성과 위험, 인간친화적 개발 방향을 담은
손꼽히는 인공지능 권위자 UC버클리 스튜어트 러셀 교수의 역작

“최근에 읽은 가장 중요한 책” _대니얼 카너먼
“인공지능의 위험에 대한 확고하고 유망한 해결책” _맥스 테그마크
“올해의 인공지능 관련서 중 가장 중요한 책” _<가디언>
아마존 AI/Robotics 분야 1위 / <파이낸셜타임스><포브스> 기술 분야 최고의 책

새롭게 찾아온 인공지능 연구의 황금기, AI는 어디까지 왔는가? 초지능 범용 AI는 과연 실현 가능한가? 기계가 인간을 지배할까? 인류에겐 어떤 미래가 기다리고 있는가? 인공지능이 가져올 장밋빛 미래에 대한 무책임한 낙관과 디스토피아적 전망을 넘어 현실적이고 폭넓은 관점에서 AI의 현주소, 가능성과 위험, 이에 대한 다양한 입장을 검토하며, 인간에게 이로운 AI를 만들기 위한 방향과 원칙을 제안한다. 표준적인 인공지능 교과서의 저자로 유명한 UC 버클리의 스튜어트 러셀은 그동안 인공지능의 위험에 대해 누구보다 사려 깊은 목소리를 내왔다. 이 분야에 정통한 일급 연구자로서 ‘휴먼컴패터블 AI 센터’를 만들어 오랜 시간 고민하고 탐구해온 내용, ‘트롤리 문제’가 사소하게 느껴질 만치 넓고 깊은 논의를 담았다. 인류의 미래에 가장 강력한 영향을 끼칠 가능성이 매우 높은 이 기술에 관하여 개발자는 물론 시민 모두가 함께 숙고해야 할 지금, 현재의 AI 논쟁을 이해하기 위한 필독서이자 AI 개발의 현재와 미래를 가늠하기에 더없이 유익한 가이드이다.

“현재 AI는 매일같이 언론의 전면을 장식한다. 밀려드는 벤처 자본에 힘입어서 수많은 스타트업 기업이 생겨나고 있다. 온라인으로 AI와 기계 학습 강좌를 듣는 학생이 수백만 명에 이르고, 이 분야의 전문가들은 수백만 달러의 봉급을 요구한다. 벤처 펀드, 정부, 대기업에서 연간 수백억 달러의 투자금이 쏟아지고 있다. 이 분야가 출범한 이래 받은 돈보다 지난 5년 사이에 받은 돈이 더 많다. 자율주행차와 개인 비서처럼 이 분야에서 이미 이루어진 발전들은 앞으로 10여 년 사이에 전 세계에 상당한 영향을 미칠 가능성이 크다. AI가 가져올 경제적 사회적 혜택은 엄청나고, 그런 혜택은 AI 연구에 더욱 큰 추진력을 부여할 것이다.”(21쪽)

인공지능 연구에 사람과 자금이 몰리고 있다. “미국, 중국, 프랑스, 영국, 유럽연합에서 앞다투어 AI 연구에 수십억 달러씩 투자하겠다고 발표하고 나섰고”(267쪽), 이는 한국의 실정도 크게 다르지 않다. 기업들이 개발자 구인난을 하소연하고 있다는 기사나, 유명 대학들에서 인공지능대학원을 신설하고 유능한 교수진을 확보하려고 열을 올리고 있다는 기사를 자주 볼 수 있다. 새로이 찾아온 인공지능 연구의 황금기다. 그러면 인공지능 연구는 어디까지 왔는가? 어디까지 발전할까? 인간보다 뛰어난 인공지능이 만들어지면 과연 인류의 난제들이 해결되고 단박에 삶의 질이 올라갈 것인가, 아니면 영화에서 흔히 보는 것처럼 인류의 생존 자체가 위협받을 것인가? 표준적인 인공지능 교과서 《인공지능》의 저자로 유명한 UC 버클리의 스튜어트 러셀 교수는 그동안 AI의 위험에 대해 누구보다 사려 깊은 목소리를 내왔다. 이 분야에 정통한 일급연구자로서 오랜 세월 고민하고 탐구해온 내용, 트롤리 문제가 사소하게 느껴질 만치 넓고 깊은 논의를 《어떻게 인간과 공존하는 인공지능을 만들 것인가》에 담았다. 인공지능이 가져올 장밋빛 미래에 대한 무책임한 낙관과 디스토피아적 전망을 넘어 현실적이고 폭넓은 관점에서 AI의 발전이 가져올 문제들, 초지능 AI에 대한 다양한 입장들을 검토하며, 탄탄한 근거와 더불어 인간에게 이로운 AI를 만들기 위한 방향과 원칙까지 제안한다. 지금의 AI 논쟁을 이해하기 위한 필독서이자, 인공지능의 발전 방향을 전망하고 기술의 작동 방식을 이해하기 위한 가이드다.

AI의 현주소, 가능성과 위험, 인간친화적 개발 방향을 담은
손꼽히는 인공지능 권위자 UC버클리 스튜어트 러셀 교수의 역작

“우리 지능보다 훨씬 더 뛰어난 지능을 만난다는 것은 인류 역사상 가장 큰 사건이 될 것이다. 이 책의 목적은 왜 그 일이 인류 역사의 마지막 사건이 될 수도 있는지, 그리고 그렇게 되지 않게 하려면 어떻게 해야 하는지를 설명하는 것이다.”(10쪽)

SF 소설과 영화, 그리고 대중의 상상 속에 등장하는 미래의 AI는 무시무시한 능력을 지닌 존재, 일자리와 인간관계뿐 아니라 문명과 인류의 생존 자체를 위협하는 존재다. 인간과 기계 사이의 충돌은 불가피하며, 결국 인류에게는 파국적인 미래가 기다리고 있을 것으로 그려진다. 하지만 스튜어트 러셀은 그 같은 시나리오를 피할 수 있다고 주장한다. 단, 그러려면 AI를 근본적으로 다시 생각해야 한다.
저자는 인간과 기계에서의 지능이라는 개념을 살펴보는 것으로 논의를 시작해(2장), 지적인 개인 비서, 자율주행차, 가정용 로봇에서 세계적인 규모 감지 능력 등에서 인공지능의 능력이 어디까지 왔는지를 살펴보고, 인간 수준의 범용 인공지능이 등장하려면 이루어져야 할 돌파구들을 개괄한다. 그리하여 현재 사용되고 있는 특정 분야에 특화된 인공지능을 넘어 범용 인공지능이 등장했을 때, 생활수준, 교육, 건강 등 각 부문에서 가능해질 일들에 대해서도 살펴본다(3장).
물론 인공지능의 능력이 커져감에 따라 생기는 문제들도 있다. 인공지능을 활용해 기업과 국가가 구사할 감시, 행동 통제에서부터 치명적인 자율무기, 직업의 소멸에 이르기까지, 인간이 이미 찾아낸 AI의 오용 방식들과 다가올 위험들도 다룬다(4장). 초지능 인공지능이 출현하면 인공지능과 인간의 관계는 지금 인간과 고릴라가 맺고 있는 관계와 비슷해질 것이다. 러셀은 이를 ‘고릴라 문제’라고 부르는데, “구체적으로 말하면, 상당히 더 뛰어난 지능을 지닌 기계가 존재하는 세상에서 인류가 우월성과 자율성을 유지할 수 있느냐 하는 문제다”(196-197쪽). 소설 《에레혼》이나 《듄》에서는 인류의 실존을 불안하게 하는 이 같은 위험에 맞서 기계를 금지하는 세계가 등장하지만, 오늘의 현실에서 범용 AI 연구를 금지하기란 쉽지 않다. 결국 초지능 인공지능은 ‘우리가 부여한 목적을 실행하기 위해’ ‘우리가 의도하지 않았던 일들을’ 수행할 터인데, 이를 통제하기란 불가능할 것이다.(5장)
6장에서는 AI의 위험을 두고 현재 이루어지고 있는 논쟁을 살펴본다. 초지능 인공지능의 출현 가능성을 부정하는 것에서부터 인공지능의 위험을 비판하는 이들을 러다이트로 몰아가는 주장, 혹은 문제가 될 만한 유형의 목표를 기계에 부여하는 것을 피하면 된다는 것까지, 현재 인공지능의 주요 연구자들과 철학자, 사상가, 기업가 등 저명하고 영향력 있는 인물들의 입장과 주장을 비판적으로 검토한다. 여기에는 페이스북의 마크 저커버그나 테슬라의 일론 머스크, 심층학습의 선구자 얀 르쿤, 기계학습과 자연어 연구 분야의 대가 에렌 에치오니, 저명한 인지과학자인 스티븐 핑커, 옥스퍼드대학교의 철학자 닉 보스트롬 등 저명한 지식인들이 두루 등장한다. 하지만 안타깝게도 저자가 보기엔 사안의 중요성에 비해 현재 이루어지고 있는 논의는 그리 높은 수준에서 이루어지지 않고 있다.
책의 뒷부분에서는 AI를 바라보는 새로운 관점과 기계가 인류에게 도움을 주는 상태로 영구히 남아 있게 할 방법을 제시한다(7-10장). 공리주의자 제러미 벤덤, 존 스튜어트 밀을 비롯해 G. E. 무어, 로버트 노직, 헨리 시지윅, 데릭 파핏 같은 철학자들, 애덤 스미스에서 존 하사니에 이르는 경제학자들의 논의를 검토하면서 인공지능이 인간의 선호를 어떻게 다루도록 할지를 고민한다. 관건은 우리가 무엇을 선호하는지를 AI가 잘 모르게 하는 것이다. 우리는 우리의 선호를 만족시킬 것을 AI에게 요구하는데, 그럴 때 기계가 본질적으로 인간의 선호에 관해 불확실한 상태에 있도록 설계하자는 것이다. 그러면 기계는 자기 자신의 목적이 아니라 우리의 목표를 추구하는 일에 몰두하는 겸손하고 이타적인 존재가 된다. 이 새로운 토대 위에서 AI를 구축한다면, 우리를 존중하고 우리에게 유익한 기계를 만들 수 있다는 것이다.

일급 AI 연구자의 냉정하고 거시적인 통찰, 고유한 해결책
기업가나 철학자, 기자가 아닌 인공지능 분야의 전문가가 냉정하고 거시적이고 현실적인 관점에서 썼다는 점에서 이 책은 특별한 가치가 있다. MIT의 물리학자 맥스 테그마크는 《라이프 3.0》에서 주류 연구자들이 당면 과제, 그러니까 현재 개발 중인 AI 시스템을 더 영리하게 만드는 과제에 집중할 뿐, 장기적인 결과는 숙고하지 않으며, 이를 고민하는 이들도 대체로 문제를 입 밖에 꺼내기를 주저한다고 지적한 바 있다. 이에 비해 스튜어트 러셀은 꽤 오랜 세월 자율무기의 위협, 인공지능의 장기적 미래 및 인류와의 관계 등에도 관심을 두고 연구했으며, 이에 대해 발언해왔다. 세계경제포럼의 ‘AI와 로봇학 위원회’ 부의장, ‘유엔 군축 문제’ 고문도 맡기도 했으며, 2016년에는 UC 버클리를 중심으로 여러 대학과 기관이 협력하는 연구기관 ‘휴먼컴패터블 AI센터’를 설립하여 AI 연구의 일반적인 추진 방향을 증명 가능하게 유익한 AI 시스템 쪽으로 재설정하는 데 필요한 개념적, 기술적 도구를 개발해왔다.
그는 초지능 인공지능이 금세기 중반에는 가능할 것이라고 보는 주류 연구자들에 비해, 이번 세기 내, 그러니까 80년쯤 뒤에는 가능할 것이라고 다소 보수적으로 전망한다(120쪽). 그러면서도 기술이 가시화될 때 논의를 시작하면 이미 늦을 테니, 바로 당장 이 문제를 놓고 고민해야 하며, 하루빨리 힘을 모아 해결책을 찾아야 한다고 주장한다. 그리고 “AI 연구를 그만둔다는 것은 실제로 이루어질 가능성도 적을뿐더러(너무나 많은 혜택을 포기해야 하기에), 실행하기도 무척 어려우므로”(213쪽) 연구의 방향을 바꾸는 것이 좀 더 현실적인 대안이라고 본다.

‘표준 모델’에서 ‘증명가능하게 이로운 기계’로
다시 말해 러셀은 표준 모델, 즉 “최적화하는 기계를 만들고, 목적을 주입하고, 작동시키는” 방식으로 인공지능을 개발하는 방식에서 벗어나, 인간에게 ‘증명 가능하게 이로운(provably beneficial) 기계’를 만드는 방향으로 선회할 것을 제안한다. 사실 표준 모델은 작동 범위가 한정되어 있을 때는 별 문제가 없다. 잘못된 목적을 주입한다면, 전원을 끄고, 문제를 바로잡고, 다시 시도할 기회가 충분히 있기 때문이다. 하지만 그러나 표준 모델에 따라 설계된 기계의 지능이 더 올라가고, 행동의 범위가 더 세계적이 되어감에 따라 이 접근법은 유지될 수 없다. 그런 기계는 자신의 목적이 얼마나 잘못되었든, 목적을 추구할 것이기 때문이다. 그의 접근법은 세 가지 원칙으로 요약되는데(“1. 기계의 목적은 오로지 인간 선호의 실현을 최대화하는 것이다. 2. 기계는 그런 선호가 무엇인지 처음에는 확실히 알지 못한다. 3. 인간의 선호에 관한 정보의 궁극적 원천은 인간의 행동이다“)(254쪽), 단순해 보이는 이 원칙은 탄탄한 논리로 뒷받침된다.

“AI의 표준 모형, 즉 인간이 부여한 정해진 목표를 기계가 최적화한다는 모형이 일종의 막다른 골목이라고 주장하련다. 문제는 우리가 AI 시스템을 구축하는 일에 실패할 수도 있다는 것이 아니다. 우리는 대성공을 거둘 수도 있다. 문제는 AI 분야에서 성공의 정의 자체가 잘못되었다는 것이다.”(32쪽)

“목적이 불확실하다는 것은 기계가 필연적으로 인간을 따를 수밖에 없다는 의미다. 즉, 기계는 허가를 요청하고, 수정을 받아들이고, 작동을 멈추는 일을 허용할 것이다. 기계가 명확한 목적을 지녀야 한다는 가정을 제거한다는 것은 인공지능의 토대 중 일부를 찢어내고 다른 것으로 대체할 필요가 있다는 의미다. 우리가 이루려고 시도하는 것의 기본 정의를 말이다. 또 그 상부구조(실제로 AI를 만들기 위해 쌓은 개념과 방법의 축적물) 중 아주 많은 부분을 재구축해야 한다는 의미다. 그렇게 한다면, 인간과 기계는 새로운 관계를 맺게 될 것이다.”(28-29쪽)

인공지능 개발 방향에 관한 사회적 논의를 위한 중요한 논점을 제공하는 책
그가 제안한 원칙은 지금 연구 현장에서 어느 정도 반향을 일으키고 적용되고 있을까? 그를 비롯한 수많은 인공지능 전문가들에 우려하는 것과 같이 초지능 인공지능이 잘못된 방식으로 작동할 가능성이 높고 그 영향이 심대하다면, 이는 기업과 연구자들에게만 맡겨둘 수만은 없다. 인류의 미래에 가장 강력한 영향을 끼칠 가능성이 매우 높은 이 기술에 관하여 개발자는 물론 시민 모두가 함께 숙고해야 할 때다. 전문가의 깊고 넓은 시야, 명쾌한 서술, 신중하지만 단호한 그의 제안이 같은 문제를 고민하는 우리 독자들에게도 유용한 가이드가 될 것이다.

“인류에게 심각한 문제를 일으킬 수 있는 것에 관해 걱정하기에 알맞은 때란 그 문제가 언제 일어날 것인가뿐 아니라, 해결책을 준비하고 실행하는 데 얼마나 걸리는가에 따라 정해진다. 2069년에 커다란 소행성이 지구에 충돌할 예정임을 알게 된다면, 걱정하기에는 너무 이르다고 말할 것인가? 정반대다! 그 위협을 막을 수단을 개발하기 위한 세계적인 비상 계획이 나올 것이다. 2068년까지 기다렸다가 해결책을 찾아 나서지는 않을 것이다”(224쪽)

지은이 : 스튜어트 러셀
버클리에 있는 캘리포니아대학교 컴퓨터과학 교수이자 공학 부문 스미스자데이 석좌교수. 옥스퍼드대학교 웨덤 칼리지에서 물리학을 공부하고 스탠퍼드대학교에서 컴퓨터과학으로 박사학위를 받았다. 기계 학습, 확률론적 추론, 실시간 의사 결정, 계산 생리학 및 철학적 기초를 포함한 인공지능의 광범위한 주제를 놓고 연구했고, 지금은 자율무기의 위협, 인공지능의 장기적 미래 및 인류와의 관계 등에도 관심을 두고 있다. 미국 인공지능협회, 컴퓨터학회, 미국과학진흥협회 회원이며, 세계경제포럼의 AI와 로봇학 위원회 부의장, 유엔 군축 문제 고문도 맡고 있다. 2016 서울디지털포럼, 2020 서울포럼 등에서 강연하기도 했다.
구글 리서치 디렉터 피터 노빅과 함께 《인공지능: 현대적 접근방식》(1995)을 썼다. AI 분야의 결정판 교과서로 널리 인정받고 있는 《인공지능》(현재 4판)은 13개 언어로 번역되어 118개국, 1,500여 대학에서 교재로 사용되고 있다. 2016년에는 UC 버클리를 중심으로 여러 대학과 기관이 협력하는 연구기관 ‘휴먼컴패터블 AI센터’를 설립하여 AI 연구의 일반적인 추진 방향을 증명 가능하게 유익한 AI 시스템 쪽으로 재설정하는 데 필요한 개념적·기술적 도구를 개발해왔고, 그 결과물을 이 책에 담았다.

옮긴이 : 이한음
서울대학교에서 생물학을 공부했고, 전문적인 과학 지식과 인문적 사유가 조화된 번역으로 우리나라를 대표하는 과학 전문 번역가로 인정받고 있다. 케빈 켈리, 리처드 도킨스, 에드워드 윌슨, 리처드 포티, 제임스 왓슨 등 저명한 과학자의 대표작이 그의 손을 거쳤다. 과학의 현재적 흐름을 발 빠르게 전달하기 위해 과학 전문 저술가로도 활동하고 있으며, 청소년 문학을 쓴 작가이기도 하다. 저서로는 『바스커빌가의 개와 추리 좀 하는 친구들』, 『생명의 마법사 유전자』, 『청소년을 위한 지구 온난화 논쟁』 등이 있으며, 옮긴 책으로는 『다윈의 진화 실험실』, 『북극곰과 친구 되기』, 『인간 본성에 대하여』, 『핀치의 부리』, 『DNA : 생명의 비밀』, 『조상 이야기』, 『매머드 사이언스』, 『창의성의 기원』, 『생명이란 무엇인가』, 『수술의 탄생』, 『제2의 기계 시대』, 『우리는 왜 잠을 자야 할까』, 『늦깎이 천재들의 비밀』 등이 있다. 『만들어진 신』으로 한국출판문화상 번역 부문을 수상했다.

들어가는 말
 왜 이 책일까? 왜 지금일까?
이 책의 개요

1. 우리가 성공한다면
 우리는 어떻게 여기까지 왔을까?
다음은 어떻게 될까?
무엇이 잘못되었을까?
바로잡을 수 있을까?

2. 인간과 기계의 지능
 지능
 컴퓨터
 지적인 컴퓨터

3. 앞으로 AI는 어떻게 발전할까?
가까운 미래
 초지능 AI는 언제 출현할까?
다가올 개념적 돌파구
 초지능 기계를 상상하다
 초지능의 한계
AI는 인류에게 어떻게 혜택을 줄까?

4. AI의 오용
 감시, 설득, 통제
 치명적인 자율 무기
 우리가 아는 방식의 일 없애기
 빼앗길 다른 역할들

5. 지나치게 지적인 AI
고릴라 문제
 미다스 왕 문제
 두려움과 탐욕: 도구적 목표
 지능 폭발

6. 그저 그런 AI 논쟁
 부정
 비껴가기
 부족주의
 그냥…
논쟁의 재개

7. AI: 다른 접근법
 이로운 기계의 원칙들
 낙관론의 근거
 신중해야 할 이유

8. 증명 가능하게 이로운 AI
수학적 보증
 행동으로부터 선호 배우기
 돕기 게임
 요구와 명령
 와이어헤딩
 순환적 자기 개선

9. 상황을 복잡하게 만드는 요인: 우리들
 다양한 사람들
 많은 사람들
 멋지고, 추하고, 질투하는 인간
 어리석으면서 감정적인 인간
 사람은 정말로 선호를 지닐까?

10. 해결된 문제는?
이로운 기계
AI 제어
 오용
 나약화와 인간의 자율성

 부록 A 해결책 탐색
 부록 B 지식과 논리
 부록 C 불확실성과 확률
 부록 D 경험을 통한 학습

 감사의 말
 주
 사진 저작권
 옮기고 나서
 찾아보기