빅데이터는 거품이다

▣ 출판사서평

근거 없는 기대와 희망으로만 가득한
빅데이터 열풍의 실체를 파헤친다!

언제부터였을까. 빅데이터의 능력을 칭송하는 말 빅데이터에 관한 희망으로 부푼 말이 대한민국 도처에서 오고 가기 시작했다. 빅데이터만 있으면 세상사를 완벽하게 분석하고 미래를 정확하게 예측할 수 있다고 자신하는 사람들로 넘쳐났다. 그들은 빅데이터를 이용하면 많은 돈을 벌 수 있을 것이라며 현재 산적해 있는 크고 작은 문제를 단박에 해결할 수 있을 것이라며 호언장담했다.

걷잡을 수 없을 정도로 커진 빅데이터에 대한 믿음과 기대를 보여주는 대표적인 사례가 2012년에 교육과학기술부 행정안전부 등 주요 부처가 모여 발표한 「스마트 국가 구현을 위한 빅데이터 마스터 플랜」이다. 2017년까지 빅데이터 공유 및 활용을 활성화하고 빅데이터 관련 기술개발과 인력 양성을 지원하며 공공데이터 개방을 확대한다는 것이 보고서의 주요 내용이었다. 또한 각 정부 부처는 이와 함께 우선 추진 과제를 발표했는데 빅데이터를 활용한 재난 피해 지역의 사전 예측이 그중 하나였다. 골자는 기상 정보 지역별 인구 정보 CCTV 인공위성 자료 소셜 데이터 주민 신고 등의 데이터를 이용해 집중호우에 따른 침수 산사태 등의 자연재해를 사전에 예측한다는 것이다.

저자가 책에서 자주 쓴 표현을 빌리자면 이는 ‘답답한 일’이 아닐 수 없는데 빅데이터를 통해 자연재해를 미리 예측하겠다는 이 계획은 한국 사회에서 빅데이터가 어떻게 오해되고 있는지 단적으로 보여준다. 우선 사실상 자연재해의 발생을 미리 예측하는 것은 불가능에 가깝다. 혹 빅데이터 수집과 분석을 통해 자연재해가 빈발하는 지역을 예측할 수 있게 된다고 해도 들어가는 수고에 비하면 실제 효과는 거의 없다고 봐도 무방할 정도다. 여기서 빅데이터 분석의 현실이 드러난다. 재난 예측은 재난 예방이 되지 못한다. 빅데이터 분석은 사건의 양상과 원인을 파악하는 데 참고가 될 수는 있어도 문제점과 그것의 근본 원인을 밝혀내고 해결해줄 수 없다. 이를테면 빅데이터를 통해서 장마철에 홍수가 많이 발생하는 지역을 미리 예측할 수 있다고 해도 그 자체가 홍수의 발생과 홍수로 인한 피해를 줄여주지는 못한다. 장마철 홍수의 발생을 미리 예측하는 일과 장마가 시작되기 전 강둑을 비롯한 제반 시설을 정비하는 일 둘 중에 어느 것이 더 중요할까?

빅데이터의 본질을 모른 척하는 지식인
빅데이터의 한계를 숨기는 빅데이터 관련 업체
빅데이터에 대한 환상에 취한 정부 관료
빅데이터는 만병통치약이 아니다!

보다 명확히 말해서 빅데이터 분석이 보여주는 것은 상관관계다. 빅데이터로 상관관계를 찾을 수는 있지만 인과관계를 확인할 수는 없다. 양은 많지만 서로 구분이 안 될 정도로 섞여 있는 빅데이터는 정작 우리에게 유용한 시사점을 주고 사건 해결의 단서 역할을 하는 원인과 결과 사이의 관계를 보여주지 못한다. 한 가지 예로 인간의 DNA 구조에 대해 연구하는 과학자가 있다고 해보자. 그는 데이터 수집과 분석만으로 새로운 발견을 해낼 수 없다. 통계적 분석의 효과가 아무리 뛰어나다고 한들 그는 다시 근본으로 돌아가 물리학과 생명과학의 이론 및 지식에 힘을 빌려 연구를 시작해야 한다.

이렇듯 빅데이터의 한계가 분명하게 보임에도 불구하고 비판적 검토가 이루어지지 않은 채 빅데이터에 대한 장밋빛 전망만으로 가득한 것은 무슨 까닭일까? 저자는 빅데이터의 실체를 알고 있음에도 모른 척하는 지식인 빅데이터의 한계를 숨기는 빅데이터 관련 업체 빅데이터 환상에 취한 정부 관료 이 셋의 공모가 빅데이터 거품을 만들었다고 지적한다. 이 셋이 끈끈한 삼각관계를 이뤄 빅데이터 유행의 확산을 일으키는 과정은 다음과 같다.

일부 지식인이 미국의 성공 사례를 들며 빅데이터 연구의 필요성을 부각시킨다. 그러면 정부 부처는 돈을 풀어 각종 프로젝트를 발주한다. 이에 많은 학자와 연구소가 빅데이터 관련 프로젝트에 참여하며 빅데이터의 긍정적인 면을 부각시킨다. 이렇게 해서 빅데이터 주변으로 오고 가는 돈이 많아지고 빅데이터 시장의 규모가 커지면 데이터 분석 기술을 가진 업체가 진입하게 된다. ‘철의 삼각관계’에서 손해 보는 사람은 없다. 지식인은 빅데이터로 연구비를 받아서 좋고 빅데이터 관련 업체는 소위 ‘눈먼 돈’이라고 일컬어지는 정부 예산을 받아서 좋고 정부 관료는 한창 유행인 빅데이터 관련 프로젝트를 기획한 공으로 승진하게 되니 좋다.

저자는 책 전반에 걸쳐 빅데이터 유행의 터무니없음을 조목조목 비판한다. 빅데이터 유행을 한 꺼풀 벗겨 그것의 본질과 실체를 정확하게 봐야 한다는 것이다. 여기서 짚고 가야 할 것은 저자의 비판이 향해 있는 곳이 빅데이터 자체가 아니라 빅데이터를 둘러싸고 벌어지는 그릇된 유행이라는 점이다. 빅데이터는 잘못이 없다. 빅데이터를 자신의 이해관계를 위해 이용하고 빅데이터의 능력과 잠재력을 과도하게 부풀리는 ‘사이비’가 잘못인 것이다.

대한민국에서 빅데이터는 여전히 현재진행형이다. 아니 반드시 그래야만 한다. 앞으로 지속적인 수정과 보완이 필요하니 말이다. 새로운 질문이 시작된 것이다. 우리는 보다 현실적으로 생각할 필요가 있다. 빅데이터 그 자체 빅데이터 전부가 잘못되었다는 것이 아니다. 빅데이터를 통한 분석은 분명 누구에게나 훌륭하고 중요한 자원이다. 그러나 저자가 누누이 강조하듯이 이 말이 빅데이터가 만병통치약이라는 뜻은 결코 아니다.

1장은 한국에 빅데이터 개념이 들어온 과정과 빅데이터 유행 초기 정부에서 시행한 빅데이터 정책을 하나하나 짚어나간다. 2011년 11월 7일 이명박 대통령이 빅데이터의 중요성을 언급한 것을 시작으로 빅데이터는 성장 일로를 걷는다. 하지만 그 속도가 너무 빨랐던 게 문제였다. 빅데이터에 대한 기대가 지나친 나머지 김포시는 ‘빅데이터 타운’을 선언하기에 이른다. 저자는 한국 내 불었던 빅데이터 유행의 양상과 빅데이터 관련 정부 정책의 사례를 제시하며 그것의 문제점을 지적한다.

2장은 빅데이터 유행의 실상에 대해 다룬다. 저자는 한국의 빅데이터 옹호론자 및 빅데이터 전문가의 자가당착을 신랄하게 비판한다. 빅데이터 프로젝트의 성과가 왜 지지부진한지 물으면 그들은 늘 전문가가 부족하다 데이터가 부족하다 핑계 늘어놓기에 급급하다는 것이다. 얼마 전만 해도 데이터가 너무 많기 때문에 빅데이터가 필요하다고 하더니 이제 와서는 데이터가 부족하다고 말하는 것은 앞뒤가 전혀 맞지 않는 태도라는 것이다.

3장은 구글의 독감 예측을 중점적으로 다룬다. 빅데이터의 탁월한 능력을 보여주는 표본으로 여겨졌던 구굴의 독감 예측 논문은 결과적으로 현실에 잘 들어맞지 않는 것으로 판명이 났다. 이 사례를 통해 저자는 빅데이터는 미래를 예측해주는 도구가 아님을 빅데이터 프로젝트의 초점은 미래 예측이 아니라 과거에 대한 정밀한 분석에 맞춰져야 함을 강조한다.

4장은 한국에서 벌어지는 ‘지적 유행’의 특성과 빅데이터 유행에 대한 분석과 비판이다. 한국 내 지적 유행의 공통된 특징은 선진국 특히 미국에서 인기 있는 것이라면 덮어두고 따라 하는 풍조다. 빅데이터 역시 예외는 아니다. 미국의 기술과 문화라면 일단 좋다고 여기는 지식인 이에 편승해 정책을 기획하는 정부 관료 그리고 여기서 떨어지는 이익을 취하려는 관련 업체가 모여 빅데이터 유행의 거품을 만들었다는 것이 저자의 주장이다.

5장 빅데이터 자체의 메커니즘을 다루는 장으로서 빅데이터의 본질과 실체에 대해서 꼼꼼하게 접근한다. 요는 빅데이터는 우리에게 상관관계만을 보여준다는 것이다. 조금 심하게 말하면 상관관계는 통계적으로만 유의미한 정보다. 현실에서 중요하고 필요한 것은 인과관계이지 상관관계가 아니다. 우리에게 의미 있는 통찰을 주고 중요한 시사점을 주는 것은 인과관계다. 빅데이터를 맹신해서도 빅데이터에 지나치게 기대해서도 안 되는 이유다.

▣ 작가 소개

저자 : 김동환
1963년 서울에서 태어났다. 고려대 경영학과를 졸업하고 같은 대학 행정학과에서 석사 학위와 박사 학위를 받았다. 한국전자통신연구원의 연구원을 거쳐 현재 중앙대 공공인재학부 교수로 재직 중이다.

필자는 인공지능 사물인터넷과 함께 미래 핵심기술로 꼽히는 빅데이터에 대한 열광을 광풍狂風 곧 미친 바람이라고 본다. 발본적拔本的 비판이다. 특히나 빅데이터를 활용하면 미래의 재난을 예측해 방지할 수 있고 못할 것 없이 다 할 수 있다는 듯한 환상을 가지는 관료사회와 이를 부추기며 프로젝트 수주에 혈안이 된 지식인 사회 - 특히 교수 사회 - 의 치부를 낱낱이 해부한다.

행정학 전공인 교수가 첨단 IT 업종의 빅데이터 분야를 거론하는 것이 조금은 어울릴 것 같지 않다. 그러나 김동환 교수는 1980년대 후반부터 인공지능을 연구해왔다. 인공지능의 창시자 중 한 사람인 허버트 사이먼의 의사결정 이론과 인공지능 이론을 파고들어 전문가 시스템은 물론이고 신경망 이론까지 섭렵했다.

인공지능을 넘어서서 사회를 컴퓨터로 모델링하고 시뮬레이션 할 수 있는 방법을 찾았다. 시스템 다이내믹스의 컴퓨터 시뮬레이션 방법을 행정학에 도입하고... 자 노력하였고 그 결과 1990년대 초반에는 시스템 다이내믹스 시뮬레이션 소프트웨어를 만들어서 세계학회에서 발표하기도 했다. 한동안 MIT 경영대학원 시스템 다이내믹스 그룹에서는 그가 만든 소프트웨어를 수업 시간에 사용하기도 했다.

그런 그가 보기에 한국사회에 난무하는 빅데이터에 대한 열광적 유행은 거품이다. 마법의 도구처럼 빅데이터를 거론하지만 빅데이터 역시 데이터와 마찬가지로 과거 사실에 대한 기록과 현상 분석을 위한 기초자료에 불과한 것이다. 그런데도 관련 정부기관과 지식인 사회에서 빅데이터를 미래 예측의 도구이자 세상의 모든 문제를 해결해주는 마법의 열쇠인 양 치켜세우는 것은 분명 사기꾼의 그것과 다를 바 없다는 것이 저자의 생각이다. 이런 상식 이하의 현상 이면에는 미국 대통령의 말이라면 구글과 같은 미국의 첨단기업이 주장한 것이라면 검증할 것 없이 맞을 것으로 여기고 따라 하기에 급급한 한국의 관료와 지식인 사회의 식민지 근성이 있다는 것이 필자의 시각이다.

2014년 저자는 전공과는 전혀 관계없을 『3쿠션 패턴 100』이란 당구책을 내기도 했다. ‘시스템 사고’에 익숙한 저자가 당구 선수들의 암묵적인 지식을 ‘패턴’이라는 방식으로 정리하여 책으로 소개한 것이다. 지식인이라면 자신의 지식을 현학적으로 떠벌리는 데 그쳐서는 안 되고 하다못해 당구공의 물리적 움직임을 설명하는 데 도움이 되어야 한다는 게 저자의 고집스러운 생각이다.

▣ 주요 목차

프롤로그

빅데이터라는 광풍 9
행태주의의 유령이 부활했다 10
모르면서 아는 척 알면서 모르는 척 12
자격증 사회와 ‘사이비’의 득세 19
당구책 저자인 나도 자격은 있다 21

1장 대한민국과 빅데이터 27
청와대와 따로 노는 미래창조과학부 30
과학기술 R&D도 속도전으로? 33
이명박 대통령의 빅데이터 35
빅데이터 시대의 시작? 38
‘빅데이터 마스터 플랜’의 세 가지 포부 45
범죄발생 장소와 시간을 예측한다? 47
재난 피해 지역을 사전에 예측한다? 49
주민참여형 교통사고 감소체계를 구축한다? 51
빅데이터에 쏟아지는 ‘예산 폭탄’ 52
김포시의 성급했던 ‘빅데이터 타운’ 선언 54

2장 오바마 대통령의 승리는빅데이터의 승리였나? 61
빅데이터 대통령 버락 오바마 65
대한민국의 선거와 빅데이터 69
현장 vs 이론 71
전문가와 데이터가 부족해 빅데이터 프로젝트가 실패했나? 73
‘벌거벗은 임금님’과 빅데이터 거품 79

3장 빅데이터는 미래를 예측할 수 없다 83
구글의 독감 예언 86
구글 독감 논문의 실체 89
구글의 독감 예측 실패 94
‘보니니의 역설’을 보여주는 빅데이터 97

4장 ‘지적 유행’의 세 가지 조건: 타짜 호구 바람잡이 101
차도살인지계 105
한국와 미국의 빅데이터 유행에는 차이가 있다 106
타짜 호구 바람잡이가 지적 유행을 만든다 113
대한민국의 빅데이터 유행 메커니즘
: ‘빅데이터 옹호론자’ 빅데이터 관련 업체 정부 115
미국의 지적 유행: 행태주의와 ‘큰 것’에 대한 숭배 121
미국의 빅데이터 유행 메커니즘: 정부의 투자와 ‘주주 자본주의’ 129
하이프 사이클 에서 사라진 빅데이터 136

5장 빅데이터 또한 결국에는 데이터 143
우로보로스 숭배? 146
이론의 종말? 148
허버트 사이먼의 통찰 152
빅데이터는 데이터일 뿐이다 155

에필로그
빅데이터의 본질에만 충실하면 된다 163

출처 168