증거의 오류 - 데이터 증거 이론의 구조를 파헤친 사회학 거장의 탐구 보고서 -

우리의 모든 행위는 데이터로 연결된다

 우리는 수많은 통계와 설문 조사, 여론 조사, 시장 조사 등을 경험하고 이를 토대로 한 다양한 보고서와 뉴스를 접하며 산다. 때로는 업무나 연구 등의 목적으로 그런 데이터를 생산하기도 하고, 때론 그런 데이터를 활용해서 제안서나 보고서를 작성하기도 한다. 또 그렇게 작성된 제안서나 보고서를 검토한 후, 앞으로의 정책이나 사업 방향을 결정해야 할 수도 있다.
⟪증거의 오류⟫ 저자인 하워드 베커는 70년이 넘게 세계적인 사회학자로 활동해온 자신의 경험을 토대로, 바로 이 지점에서 문제를 제기한다. 어떤 이론이나 주장, 아이디어를 펼치려면 증거가 필요하다. 그래서 우리는 관찰 가능하고 기록 가능한 데이터를 찾아 나선다. 데이터는 수많은 물리적 객체의 집합이다. 경찰이 업무상 기록하는 현장 보고서, 제품 구매 리뷰를 인터뷰한 음성 파일, 연봉과 직장생활 만족도를 묻는 설문지, 주민센터 전입신고 기록, 유치원 아이의 일기장 등 실상 우리의 삶은 이러한 데이터에 둘러싸여 있다. 다만 어떤 아이디어를 주장하는가에 따라 필요한 데이터가 다를 뿐이다.
하지만 과연 특정 ‘데이터’가 그 ‘아이디어’를 확실히 뒷받침하는 제대로 된 ‘증거’인지는 또 다른 문제다. 우리는 누구나 ‘왜’ 그 일이 일어났는지를 알고 싶어 하며 우리를 둘러싼 사회 현상의 원인과 해결책을 찾고자 한다. 그러나 이 과정에서 ‘증거’로 활용되는 ‘데이터’에 오류가 있다면, 이를 기반으로 펼쳐지는 이론이나 아이디어가 타당한 추론이 되기 힘들 것이다. 하워드 베커는 노련한 사회학자의 시각에서 이 같은 문제를 제기하며, 데이터, 증거, 이론의 상호 의존적 순환 구조를 깊이 있게 설명한다.

오류는 어떻게 생겨나는가?
각종 통계와 설문조사, 보고서 등에 숨겨진 오류의 근원

 이야기 하나. 2010년대 초반, 당시 미국에서는 사회적 고립이 국가적인 담론으로 떠오르고 있었다. 이때 한 연구팀이 명망 높은 ‘종합사회조사’의 데이터를 이용해서 논문을 발표했다. 종합사회조사는 1985년과 2004년 두 차례에 걸쳐 중요한 일을 상의하는 주변 사람들의 이름을 대고 그 사람과 어떤 관계인지 묻는 설문을 실시했는데, 2004년에는 그 숫자가 크게 감소한 데다가 아예 없다고 대답한 이들의 숫자가 세 배 가까이 증가했다고 한다. 이러한 결과는 휴대전화와 인터넷이 심각한 변화를 일으켰다는 논의와 우려 표출로 이어졌고, 전 세계적으로도 확산되어 연일 뉴스의 소재가 되었다. 하지만 과연 어디까지 진실이었을까?
이야기 둘. 1960년대 초 스탠퍼드 대학의 사회학 교수인 폴 월린과 레슬리 C. 월도는 사회 계층이 어린이의 학교 성적에 어떠한 영향을 주는지 알아보고자 했다. 두 학자는 학생들의 사회 계층을 측정하기 위해 8학년 학생 2,002명에게 그 당시에 유행하던 오거스트 홀링스헤드의 ‘사회적 지위 척도’에 나오는 질문들을 던졌다. 그중에는 아버지의 직업을 묻는 질문이 포함되어 있었는데, 한 아이가 ‘목사’라고 답했다. 과연 여기에는 어떤 함정이 있을까?
겉으로 보기에는 특별한 모순이 없어 보이지만, 실상 이 속에는 심각한 오류들이 있다. 하워드 베커는 다양한 사례 및 연구 보고서를 제시하며, 데이터 수집 과정에서 발생할 수 있는 오류들을 하나씩 짚어낸다. 대표적으로 ‘고용인’에 의한 오류, 개념 변화나 혼용으로 인한 오류, 허위 보고의 오류, 과감한 일반화의 오류, 직업적 이해관계로 인한 오류, 방법론적 도구 때문에 발생하는 오류 등을 들 수 있는데, 이 같은 과정을 함께 추적하다 보면 탈진실의 시대에 팩트를 구별하는 일이 얼마나 중요한지를 다시 한번 실감하게 된다.

어떻게 오류 없는 데이터를 수집해서 아이디어를 뒷받침할 것인가?
사회학 연구 방법론과 데이터 수집 과정에 대한 따끔한 고찰

 하워드 베커는 사회학자들의 주요 연구 방법과 누가 데이터 수집 담당자인지를 중심으로, 어디에서 어떤 오류가 발생하는지를 설명한다. 사회학의 양갈래라 말할 수 있는 정성 연구와 정량 연구는 각 연구 방법에 따라 특징적인 오류를 반복하는 경우가 많고, 데이터 수집자의 사회적 상황과 데이터 수집의 동기는 데이터의 신뢰도에 영향을 끼쳐 증거 역할을 할 수 있는지 여부를 결정지기 때문이다.
이에 ⟪증거의 오류⟫ 1부에서는 데이터, 증거, 이론의 상관관계를 설명한 뒤, 오래된 논쟁의 대상이 되어온 정량 연구와 정성 연구의 차이와 특징을 밝힌다. 각 연구 방법에 따라 연구자들이 목표로 하는 것이 무엇인지, 그리고 그 때문에 어떤 점을 간과하고 어떤 오류를 일상화시키는지를 파헤친다. 동시에 자연 과학자들의 연구 모형을 자세히 소개하면서, 적어도 그들처럼 치열하게 수치 검증을 하고 변수 통제를 해야 하지 않은지 날카롭게 되묻는다.
2부에서는 데이터 수집의 주체가 되는 사람이 누군인지에 따라 세분화한 한 다음, 그처럼 다양한 사람들이 수집한 데이터를 견해와 이론의 증거로 활용할 때 예상하고 경계해야 할 오류, 실수, 고충에 대한 논의를 체계적으로 소개한다. 심지어 그 스스로 범했던 오류를 고백하며, 더 이상 이런 실수를 반복하지 않기를 당부하고 있다. 세계적인 석학의 이러한 울림은 사회학 종사자뿐만 아니라 데이터를 만들고 사용하는 우리 모두에게 깊은 혜안을 제공할 것이다. 

지은이 : 하워드 S. 베커
사회학 분야의 최고 권위자. 1928년 시카고에서 태어난 그는 23세의 나이에 시카고 대학에서 박사학위를 받았으며, 그곳에서 사회학과 사회과학 강사로 활동했다. 이후 25년간 노스웨스턴 대학교 사회학과 교수로 재직했고, 워싱턴 대학교로 적을 옮겨 사회학과 교수 겸 음악학 부교수로 활동하다가 은퇴했다.
그의 학문적 성과는 주로 일탈, 예술, 음악의 사회학에서 나타난다. 특히 1963년에 출판된 아웃사이더(Outsiders)를 통해 유명한 낙인 이론(labelling theory)의 기초를 제공했고, 1982년 출판된 예술 세계(Art Worlds)에서는 예술이 집단 행동의 산물이라는 아이디어를 전개했다. 그 외에도 학자의 글쓰기(Writing for Social Scientists) 사회에 대해 말하기(Talking About Society) 학계의 술책(Tricks of Trade) 모차르트와 살인은 일탈일까?(What About Mozart? What About Murder?) 등 십여 권이 넘는 저작을 집필했다. 그는 사회 과학 방법론, 학생 문화, 조직 문화, 상징적 상호작용론의 발전에 크게 기여했으며, 이런 공로를 인정받아 학계의 대표적인 상들을 수상했다. 현재는 샌프란시스코에 살면서 다양한 사회학적 관심사를 활발히 연구 중이다.

옮긴이 : 서정아

이화여대 영어영문학과를 졸업한 후 냇웨스트, 크레디트 스위스 등의 외국계 금융기관에서 근무했으며, 이화여대 통역번역대학원에서 석사학위를 받았다. 번역 에이전시 엔터스코리아에서 활동 중이다. 옮긴 책으로는 《은행이 멈추는 날: 전 세계 대규모 자산 동결이 시작된다》, 《왜 우리는 불평등해졌는가: 30년 세계화가 남긴 빛과 그림자》, 《정면돌파: 금융위기 극복을 위해 월가와 맞서 싸우다》, 《Show Me the Money(앱)》, 《브레이크아웃네이션: 2022 세계경제의 운명을 바꿀 국가들》, 《레드 캐피탈리즘: 장막 뒤에 숨겨진 중국 금융의 현실》, 《엔드게임: 전 세계를 집어삼킨 금융위기 그리고》, 《소소한 일상의 대단한 역사》, 《스트레스, 과학으로 풀다》 외 다수가 있다.

1부 데이터, 증거, 이론의 모든 것
1장 연구 모형의 몇 가지 역사적 배경
2장 데이터가 증거가 되기까지
3장 자연 과학자들은 어떻게 연구하는가

2부 누가 어떤 방법으로 데이터를 수집하는가
4장 모든 데이터 수집의 표본, 인구 조사
5장 공무원들이 증거로 수집하는 데이터
6장 ‘고용인’과 비과학자가 수집하는 데이터
7장 수석 연구자와 보조 연구원의 데이터
8장 정성 연구에 나타날 수 있는 부정확성

 맺음말 - 마지막으로 덧붙이는 생각
 감사의 말