신호와 소음 - 불확실성 시대 미래를 포착하는 예측의 비밀 -

정치, 경제, 스포츠, 기후, 전쟁, 테러, 전염병, 도박…

소음이 가득한 세상에서 의미 있는 신호를 찾아라

경제위기 대처에서 질병퇴치 역량의 확보에 이르기까지, 이제 모든 것은 미래를 얼마나 정확하게 예측할 수 있느냐, 즉 예측의 질이 얼마나 향상될 수 있느냐에 달려 있다. 삶의 속도가 점점 빨라지고 예상을 뛰어넘는 사건이 늘어날수록 우리는 예전보다 더 자주, 더 신속하게 계획과 전략을 세워야 한다.

네이트 실버는 ‘더 나은’ 즉 더 정확한 예측을 한 사람들에게 공통으로 나타나는 요소를 파악하기 위해 국립기상연구소에서 메이저리그 야구장으로, 포커판에서 주식시장으로, 국회의사당에서 NBA 경기장으로 다양한 분야를 누비며 예측의 성공 사례뿐 아니라 실패 사례까지 찾아간다. 이 책을 쓰기 위해 노벨 경제학상 수상자 조지 애컬로프, 래리 서머스 전 재무장관, 도널드 럼스펠드 전 국방장관 등 미국을 움직이는 리더들을 인터뷰했고, 프로 도박사나 스카우터., 기상예보관, 전염병 전문가 등의 전문인들을 심도 있게 취재했으며, 관련 분야 논문과 기사들을 샅샅이 찾아 공부했다(엄청난 분량의 주註를 참고하기 바란다).

COVID-19 팬데믹, 2016년 미국 대선에서 우리가 놓친 것은 무엇인가?

지구온난화와 기상이변 같은 21세기의 과제를 확률적 사고로 해결할 수 있을까?

프로 스포츠와 포커판의 예측 고수들에게 어떤 예측 기술을 배울 수 있을까?

주식이나 부동산 시장에서 거품은 왜 그렇게 잘 깨지지 않는가?

각 분야의 선구자들이 남긴 혁신의 성과가 설혹 미미하더라도 우리는 그들이 구사한 방법론들로부터 많은 것을 얻을 수 있다. 어떻게 하면 확률적으로 생각하는 법을 익힐 수 있을까? 베이즈라는 18세기 영국인의 통찰을 응용해서 지구온난화와 기상이변 같은 21세기의 과제를 해결할 수 있을까? 미래에 대해서 더 많이 알게 되면, 현재의 의사결정을 더 현명하게 할 수 있을까?

움직이는 과녁을 맞히는 예측의 과학과 기술

“수많은 예측이 실패하는데 왜 어떤 예측은 적중할까?” 날마다 엄청난 데이터가 생성되는 ‘빅데이터’ 시대에 왜 많은 예측이 그토록 심하게 빗나갈까? ‘빅데이터 시대’를 맞아 인류는 엄청난 양의 데이터와 맞닥뜨렸지만, 그만큼 쓸모없는 ‘소음’도 어마어마하게 많아졌기 때문이다. 《신호와 소음: 불확실성 시대, 미래를 포착하는 예측의 비밀》에서 말하는 데이터 분석의 관건이란, 이 ‘소음’들을 효과적으로 제거해 의미 있는 ‘신호’를 찾아내는 것이다. 책은 크게 두 부분으로 나뉜다. 1부와 2부에서는 예측에 따르는 문제를 진단하고, 3부와 4부에서는 베이즈주의적 해법을 적용하고 탐구한다.

1부에서는 최근의 금융위기를 둘러싼 예측의 실패, 야구 분야의 예측 성공, 접근방법론에 따라 예측의 성공과 실패가 갈리는 정치 분야를 다룬다. ‘예측’에 내재하는 가장 근본적인 몇 가지 의문을 깊이 탐구한다.

2부에서는 기상 변화, 지진 예측, 경제 동향, 전염병 확산 등을 둘러싸고 몇 가지 역동적 체계를 하나씩 들여다본다. 내로라하는 과학자들이 오랜 시간에 걸쳐 이 체계들을 연구하고 있지만, 체계 자체가 역동적인 까닭에 예측은 한층 어렵고 까다롭다. 그런 만큼 이들 분야에서 예측이 언제나 잘 맞을 수는 없다.

3부에서는 통계 확률 기법을 이용한 해결책에 주목한다. 네이트 실버가 신호와 소음을 구분하기 위해 사용하는 도구 중 가장 중요한 것은 통계학의 ‘베이즈 정리(Bayes’s theorem)’다. 이는 사전 확률을 도출한 뒤 새 정보가 나오면 가장 가능성 있는 것을 골라 적용해 사후 확률을 개선해 나가는 방법이다. 베이즈 정리를 활용해서 승승장구하는 프로 스포츠 도박사를 소개하는 데 이어 체스와 포커 게임을 다룬다. 스포츠와 게임은 명확한 규칙을 따른다는 점에서 우리의 여러 예측 기술을 검증하는 실험실 역할을 톡톡히 해낸다. 우리는 이들 분야를 통해 무작위성과 불확실성을 좀 더 온전하게 이해하고, 정보를 지식으로 변환하는 방식도 통찰할 수 있을 것이다.

4부에서는 베이즈 정리를 좀 더 실존적인 유형의 문제에 적용하여 지구온난화, 테러, 금융시장 거품 문제를 다룬다. 이들은 사회 전체에 위협적인 과제임은 물론 예측 전문가들에게는 까다로운 과제다. 해결방법이 전혀 없지는 않다. 이 같은 과제에 기꺼이 맞설 각오가 서 있기만 하다면, 우리가 사는 나라와 우리의 경제권 그리고 우리의 지구는 지금보다 한층 안전한 곳이 될 수 있다.

이 책은 네이트 실버의 예측 철학과 기법을 보여줌과 동시에 불확실한 미래를 어떻게 받아들이고 대응해야 하는지에 대해 깊은 성찰을 던져준다. 세상의 지각변동을 가져오는 모든 요소를 시시각각 눈여겨보는 오피니언 리더와 끝없이 시장과 소비자의 욕망을 예측해야 하는 기업가는 물론, 사회 변동에 깊은 관심을 가진 독자, ‘빅데이터’ 시대의 실상과 그에 맞춰 ‘살아남는’ 법에 관심 있는 모든 사람에게 유용한 지침서가 될 것이다.

미래예측의 패러다임을 바꾼 핵심적 통찰

실버는 한 분야를 파면서 세부사항은 무시한 채 큰 아이디어를 추구하는 사람보다는 여러 분야의 지식을 아우르며 다양한 시도를 하는 사람, 실수를 인정하는 자아비판이 가능하며 복잡한 상황과 정보를 잘 견디고 조심스러우면서 이론보다는 실제 관찰을 중시하는 사람이 더 ‘나은’ 예측을 한다고 말한다.

미래예측은 마술 같은 방식으로 이루어지지 않는다. 저자는, 우선 손에 넣을 수 있는 정보나 대다수 사람이 경험을 통해 도출해낸 공동의 결론, 상식 등을 이용해 신중하게 예측한 뒤 그 결론의 불완전성을 인정한 채로 천천히 작더라도 새로운 정보를 모아야 한다고 말한다. 이어서 그것이 진실을 담은 신호인지 의미 없는 소음인지 구별하고 이를 바탕으로 예측의 진위를 평가해야 한다. 예측할 수 없는 것이 존재함을 인정하는 겸손함과 예측할 수 있는 것을 예측하는 용기, 그리고 그 차이를 아는 지혜가 필요하다.

때로 예측에서 중요한 것은 절대적 정확성이 아니라 ‘경쟁 속에서의 상대적 정확성’이다. 경쟁은 더 나은 예측의 필수 요소다. 그러나 예측하는 이가 그릇된 목적을 추구한다면 예측은 오히려 경쟁 때문에 빗나가버리거나 심지어 처참한 결과를 낳기도 한다. 예측가 스스로가 아직은 자신이 초보적인 수준이며 예측이 위험한 과학이라는 사실을 정확하게 인식할 때 좀 더 정확한 예측이 나온다. 예측가의 동기는 정치적인 목적이 아니라 진리 추구이며, 이들은 진리에 조금이라도 더 가까이 다가가게 해주는 수많은 세부사항을 안다. 이런 태도를 가질 때 예측가는 비로소 소음에서 신호를 가려낼 수 있다.

지은이 : 네이트 실버(Nate Silver)

네이트 실버는 시카고대학교에서 경제학을 전공한 뒤 2002년 회계컨설팅회사 KPMG에 입사했다. 그는 곧 엉뚱한 일을 벌이기 시작했는데, 자신이 좋아하는 메이저리그 야구선수의 성적을 예측하는 시스템인 페코타PECOTA를 개발한 것이다. 놀라운 적중률로 명성을 얻은 실버는 카지노에서 통계 확률 기법을 전략적으로 이용해 단번에 1만 5천 달러를 따고 회사를 그만뒀다. 이후 포커판에서 수십만 달러를 긁어모으고는, 그동안 쌓인 통계학과 예측의 노하우를 활용해 2008년, 정치 예측 블로그 파이브서티에이트FiveThirtyEight.com를 개설했다.

《뉴욕타임스》의 자매 블로그가 된 파이브서티에이트는 2008년 대선에서 미국의 50개 주 중 49개 주의 결과를 정확히 예측했고, 총선에서도 상원 당선자 35명 전원의 당선 결과를 맞혔다. 이 때문에 네이트 실버는 하루아침에 인지도가 급상승했고, 많은 사람들이 그의 예측에 주목하기 시작했다. 2012년 미국 대선에서는 그가 블로그에 글을 올릴 때마다 공화당과 민주당이 비중 있는 논평을 내놓기에 바빴다. 오바마와 롬니가 박빙으로 경쟁하는 와중에 첫 후보 간 토론회가 열렸고 뒤이어 여론조사기관 대부분이 롬니의 승리를 예측했다. 그러나 실버는 오바마의 승리를 점쳤고, 결과는 이번에도 50개 주의 결과를 모두 맞힌 그의 승리로 끝났다. 그해 대선 직전에 자신의 통계학과 예측 철학을 담아 출간한 《신호와 소음》 역시 《뉴욕타임스》 15주 연속 베스트셀러에 오르고 아마존 논픽션 부문 ‘올해의 책’에 선정되는 등 슈퍼 베스트셀러가 되었다.

그 결과 네이트 실버와 함께 일하려는 매체들의 경쟁이 치열해졌고 그는 2013년에 결국 《뉴욕타임스》 고위층의 만류에도 불구하고 ESPN으로 소속을 옮겼다. 그는 현재 ESPN뿐만 아니라 자매 채널인 ABC에서 정치, 경제, 스포츠 등 여러 분야에서 자신만의 ‘예측 비법’을 펼쳐나가고 있으며, 정치인과 경제 전문가를 비롯해 많은 사람들이 그의 예측 하나하나에 귀를 기울이고 있다.

｜추천사｜여기에 당신의 미래가 보인다 _ 송길영

｜개정 서문｜더 나은 확률적 사고를 위한 두 가지 제안

필수지만 어려운 일, ‘느리게 생각하기’｜대세 편승을 경계하라

｜들어가며｜신호와 소음

정보 폭발의 빛과 그림자｜컴퓨터 시대의 ‘생산성 역설’｜빅데이터 시대의 약속과 함정｜왜 미래는 늘 우리를 놀래는가｜예측을 위한 해법｜우리가 다룰 것들

Ⅰ. 예측에 대한 근본적인 의문들

1. 금융위기│경제 붕괴를 둘러싼 예측의 대실패

불행에 관한 최악의 예측｜“그들은 음악이 멈추길 바라지 않았던 거죠”｜신용평가사들이 일을 제대로 망친 방법｜1막: 주택 거품, 내 집을 둘러싼 환상｜2막: 레버리지, 하우스푸어를 양산하다｜인터미션: ‘공포’는 ‘탐욕’의 새 이름｜3막: 파멸, 새로운 상황이 펼쳐지다｜네 가지 예측 실패의 공통점｜실패한 예측의 공식: 표본 외 예측의 문제｜무엇을 배울 수 있을까

2. 정치│내가 선거 결과를 맞힌 비법

정치학자들은 TV에 나오는 전문가 패널들보다 나을까?｜더 나은 예측을 위한 올바른 태도: 여우가 돼라｜왜 고슴도치는 TV 패널로 더 환영받을까?｜엉터리 예측이 횡행하는 이유｜정치 예측에 뛰어들다｜여우의 원칙 1: 확률적으로 생각하라｜여우의 원칙 2: 날마다 새로운 예측을 하라｜여우의 원칙 3: 합의를 구하라｜‘마법의 탄환’식 예측을 믿지 마라｜질적 정보에 가중치를 두는 방법｜객관적이 되기는 쉽지 않다

3. 야구│야구 경기는 왜 모든 ‘예측’의 모델이 되는가

야구 예측 시스템을 구축하다｜세상에서 가장 풍성한 데이터세트｜노화곡선: 그 선수는 언제까지 뛸 수 있을까｜‘계산기’와 ‘직감’의 싸움｜페코타 대 스카우터: 스카우터 승｜보이지 않는 요소｜빨리 달리고 세게 던진다고 이기는 건 아니다｜게임의 이름은 ‘정보’｜페드로이아의 미래가 어두웠던 이유｜그리고 그는 어떻게 역경을 이겨냈나｜머니볼의 진정한 교훈과 야구의 미래

Ⅱ. 움직이는 과녁을 맞혀라!

4. 기상│예측의 성공 스토리, 기상 예보의 진전

슈퍼컴퓨터는 정말 쓸모가 있을까｜기상 예보의 아주 간략한 역사｜매트릭스, 새로운 기상 예측법의 탄생｜토네이도와 농구 선수의 공통점｜사람의 눈은 아직 중요하다｜기상청의 성공과 민간업체의 도전｜더 나은 예측은 어떻게 만들어지는가?｜경쟁이 예측을 더 엉망으로 만들 때｜오차보정이 필요한 순간｜태풍의 눈과 카오스의 원뿔

5. 지진│필사적으로, 신호를 찾아서

발밑이 흔들릴 때 우리가 하는 일｜마법의 두꺼비와 성배 찾기｜지진은 어떻게 움직이는가: 멱법칙 분포｜소음 속에서 우리를 유혹하는 신호｜실패한 예측의 행진｜진퇴양난｜과적합에 주목하라｜동일본 대지진은 과적합의 대표 사례｜우리는 지진에 관해 어디까지 알 수 있을까｜신호와 소음이 빚어내는 아름다움｜과학은 언제나 시험 중이다

6. 경제 예측│불확실성, 변동성, 편향에 대처하는 법

불확실성에 관해 얘기해야 하는 이유｜경제학자들은 이성적인가?｜“그 누구도 단서를 가지고 있지 않습니다”｜인과관계 없는 상관관계｜경제 예측은 움직이는 표적을 맞히는 문제｜소음투성이 경제 데이터｜나비효과｜편향이 합리적 선택일 때｜편향에 대처하는 두 가지 대안

7. 전염병│모든 모델은 빗나가지만 몇몇 모델은 유용하다

‘신종플루 대실패’의 후속편인가?｜외삽이 위험해질 때｜자기충족적 예측과 자기부정적 예측｜‘정교한’ 단순함｜심플루SimFlu｜예측이 빗나갈 수밖에 없을 때 해야 할 일

Ⅲ. 예측의 질을 높여 미래를 포착하는 법

8. 베이즈 정리│조금씩 조금씩 덜 틀리는 법

이기는 도박꾼은 어떻게 베팅하는가｜토머스 베이즈의 별난 유산｜확률과 진보｜베이즈 정리의 간단한 수학｜거짓 양성 문제｜빈도주의가 베이즈주의를 반박하다｜맥락 없는 데이터는 무용지물이다｜베이즈주의 도박사, 밥｜진리로 수렴하는 베이즈주의

9. 체스│컴퓨터가 인간처럼 미래를 내다볼 수 있을까

체스를 두는 컴퓨터｜체스, 예측, 그리고 휴리스틱｜카스파로프와 딥블루｜게임이 시작되다｜체스 선수의 딜레마: 폭이냐 깊이냐｜전략 대 전술｜종말의 첫 조짐｜기계가 인간을 이기다｜체스 고수를 버벅거리게 만드는 법｜버그일까, 비장의 무기일까?｜컴퓨터가 잘하는 것｜구글 검색 엔진: 대규모 시행착오가 가능할 때｜기술의 사각지대를 넘어서

10. 포커│상대의 허풍을 간파하는 법

포커 드림의 시작｜패 읽기의 기술｜확률적으로 사고하라｜슈뢰딩거의 포커 패｜상대를 혼란스럽게 하는 법｜예측의 파레토법칙｜고수와 호구: 포커 거품의 경제학｜거품이 꺼지다｜운이냐 실력이냐｜착각의 늪｜우리가 평정심을 잃는 이유｜결과보다 과정에 초점을 맞춰라

Ⅳ. 보이지 않는 손이 세상을 움직인다

11. 주식│개인이 결코 시장을 이길 수 없다면

웰컴 투 베이즈랜드｜베이즈주의의 ‘보이지 않는 손’｜예측시장: 힐러리 주식을 사고팔다｜집단 예측의 이점과 한계｜ 효율적 시장 가설의 기원｜“과거의 수익률은 미래의 결과와 무관합니다”｜차트를 믿지 마세요｜효율적 시장 가설의 세 형태: 약형, 준강형, 강형｜효율적 시장 가설의 통계검정｜효율적 시장이 비이성적 과열을 만나다｜대세 편승｜왜 우리는 다른 사람을 따르는가?｜자기과신과 승자의 저주｜왜 거품은 쉽게 꺼지지 않을까｜가격은 옳지 않다｜소음 트레이더｜착시와 패턴｜인지적 지름길｜질서와 무질서의 투쟁

12. 지구온난화│건강한 회의론의 풍토가 필요하다

인과관계를 찾아서｜온실효과는 존재한다｜“로켓공학처럼 복잡한 얘기가 아니라고요”｜세 가지 회의론｜지구온난화 예측에 관한 예측가 비평｜모든 기후학자들이 동의하는 것｜컴퓨터 예측 모델을 의심하다｜기후과학과 복잡성｜모델은 얼마만큼 복잡해야 할까?｜기후 예측의 불확실성 요소 세 가지｜관측과 기록｜‘뜨거운 여름’이 올 것입니다｜불확실성은 예측의 본질이다｜‘지구냉각화’가 알려주는 것｜예측과 과학은 긴밀하게 연결된다｜기온 기록에 관한 불편한 진실｜불확실성 추정이 필수인 또 한 가지 이유｜“우리는 길거리 패싸움 중입니다”｜과학과 정치 사이에서

13. 테러│진주만 공습과 9·11테러의 공통점

신호는 있었지만 무엇을 뜻하는지 몰랐다｜‘낯선 것’과 ‘있을 법하지 않은 것’｜9·11테러는 ‘알려진 미지’였을까?｜엄청난 대규모 공격｜테러의 수학: 멱법칙 분포｜테러를 정의하고 측정하다｜진도 9짜리 테러｜테러에 관해 ‘크게 생각하기’｜왜 쇼핑몰은 공격하지 않을까｜테러 예방을 위한 이스라엘의 전략｜테러리스트의 신호를 읽는 법

｜나가며｜예측은 어떻게 가능한가

확률적 사고: 베이즈주의에 익숙해지기｜출발점을 인식하고 편견을 줄여나가라｜시도하고, 실수하라｜예측 가능성에 대한 인식

｜옮긴이의 말｜세상을 바라보는 새로운 눈

｜주석｜