알고리즘 생각을 조종하다

★세스 스티븐슨 다비도위츠《모두 거짓말을 한다》, 前 구글 데이터 과학자 추천★

★세계 데이터 분야 가장 영향력 있는 100인 선정★

★“한국은 빅데이터 분야에서 독보적인 나라가 될 것!”특별 서문 수록★

“알고리즘은 21세기 가장 두려운 트루먼쇼를 만들 것이다”

왜 결제 버튼을 눌렀을까? 연인을 만난 건 우연일까? 투표는 정말 내 의지였을까?

“오늘도‘무한 새로고침’만 반복했다면 당신은 이미 알고리즘에 포위되었다!”

OTT 추천, 구글맵, 음식점 리뷰 등 서비스를 이용하려면 반드시 약관에 전체 동의해야 하는 지금, 이런 편리함을 포기하고 개인정보를 지키려는 사람은 거의 없을 것이다. 게다가 과거에도 텔레비전이나 라디오 광고 등이 사람들의 심리를 부추겨왔는데 현대의 심리 타깃팅이 더 위험하다고 할 수 있을까? 심리학과 컴퓨터과학을 전공한 전산사회과학자이자 심리타깃팅 분야의 세계적 권위자인 산드라 마츠는 우리가 가지는 이런 의문은 더 많은 데이터를 모으려는 기업들의 속임수이며, 제공되는 추천 콘텐츠가 실제로 유용한지 증명된 적 없다고 말한다. 우리가 무심코 넘긴 개인정보는 언제든지 해로운 목적 아래 사용될 수 있다. 나치 집권 당시 공식 인구조사에 종교를 추가했던 네덜란드에서 무려 유대인의 73퍼센트가 사망했던 것(200쪽), 2022년 미국 연방대법원이 임신중단을 불법화하는 판결을 내려 수백만 여성이 자신의 생리 주기 앱 데이터 때문에 불안에 떨어야 했던 일(201쪽) 등이 대표적이다. 저자는 애플, 페이스북, 구글이 정권에 데이터를 넘기는 것을 상상해 보라며, ‘데이터는 영구적이지만 정권은 영원하지 않다는 점을 항상 기억하라’고 당부한다.(201쪽)

또 전통적인 심리 타깃팅이 모두에게 공개적으로 노출되며 획일적으로 접근하는 반면 현대의 심리 타깃팅은 데이터의 주인인 우리가 알 수 없는 방식으로 암암리에 개인별로 이뤄진다. 우리는 다른 사람들이 어떤 알고리즘에 갇혀 있는지 모른다. 자신이 좋아하는 콘텐츠에만 고립되는 필터 버블과 반향실 효과는 현대 심리 타깃팅의 부작용이다. 미국 명문대 출신 대학생이 입사 면접에서 조울증이 있다고 밝혔다가 그 기업의 알고리즘이 그를 불합격시킨 탓에 좌절하고 자살한 사건, 중국이 정부에 반기를 들 가능성이 있기만 해도 감시, 통제하는 정책, 2016년 트럼프 당선에 결정적 역할을 한 홍보 회사의 가짜 뉴스 반복 노출 사건(210쪽) 등은 모두 우리가 일방적으로 당하고 있는 현실을 적나라하게 보여준다.

저자는 현대 심리 타깃팅을 ‘어떤 길을 다른 길보다 더 매력적으로 보이게 하는 일’에 비유한다. 한 인간이 일일 평균 3만 5,000개의 결정을 내린다고 할 때, 기업과 정부는 우리를 뜻대로 유도하기 위해 나머지 3만 4,000개의 자유로운 선택을 지워버린다.(207쪽) 그 선택이 단지 무엇을 살지 말지를 넘어, 누구를 배우자로 고를지, 돈을 어디에 투자할지, 누구에게 투표할지처럼 인생의 큰 경로라면 어떨까? 저자가 ‘삶의 주인이 되려면 개인정보 보호가 필요하다’고 목소리를 높이는 이유다.

“알고리즘은 삶의 무기가 될 수 있다!”

저축은 늘리고 우울증은 치료하고 민주주의까지 확대하는 데이터 역설계법

기술은 중립적이라고 믿는 저자는 심리 타깃팅을 선한 목적으로 이용하면 더 나은 세상을 만들 수 있다는 것을 증명하기 위해 저축률을 높이고 민주주의를 확대하는 실험에 돌입했다. 저자는 재무건전성이 떨어지는 이들의 성격 프로필을 해석해 유독 저축률이 취약한 성격 유형을 가려냈다. 흔히 성실성 여부라고 생각한 것과 달리 실제론 우호성이 높은 이들의 재무 상태가 나빴는데, 그들은 사회적 관계를 중시하느라 ‘돈은 아무리 가져도 부족하다’ ‘돈으로 살 수 없는 건 거의 없다’ 같은 명제에 동의하지 않기 때문이다. 저자는 이들의 저축률을 높이기 위해 ‘돈을 모아야 사랑하는 사람들을 보호할 수 있다’라는 메시지를 새로 내보냈고, 그 결과 성격 맞춤형 메시지를 받지 않은 대조군과 비교해 무려 275퍼센트의 큰 성과를 올렸다.(167쪽)

다음은 정신 건강 개선이다. 심리 타깃팅을 이용해 정신 건강 문제를 예방하고 병을 쉽고 빠르게 치료하는 시스템을 구축하는 것이다. 많은 헬스 케어 앱처럼 유전자, 환경, 심리, 생활 방식에 대한 인사이트를 활용하면 실현할 수 있다. MIT에서는 센서가 장착된 스마트폰으로 심박수, 체온, 수면 등을 24시간 관리해 스트레스, 불안, 우울증 여부를 진단하는 연구를 한다. 생성형 AI 기반의 정신 건강 챗봇도 이미 상용화되어 있다. 2021년 미국 성인의 22퍼센트가 정신 건강 챗봇을 사용한 적 있고, 외상후스트레스장애까지 치료 가능한 저비용 도구가 최근 개발되기도 했다. 이런 챗봇들은 단지 치료를 넘어 정신과 방문이 어려운 사회경제적 취약 계층, 낙인이 두려운 사람들에게 유용한 선택지가 될 수 있다.(177쪽)

정치에서도 긍정적인 변화를 이끌 수 있다. 알고리즘과 심리 타깃팅이 낳은 필터 버블과 반향실 효과가 민주주의를 극단과 혐오로 분열시킨다는 걸 안 저자는 이를 역설계해 서로 공감하고 이해할 수 있는 첫걸음을 내딛는다. 그동안은 누가 무엇을 보는지 알 수 없던 것과 달리 서로의 알고리즘을 들여다볼 수 있게 장치하는 것이다. 이 사고 실험에서 중요한 건 스크롤할 수 있는 다이얼이다. 평상시에는 ‘내 취향 맞춤형 콘텐츠’로 버튼을 놓다가 필요할 때 ‘내가 평소에 절대 보지 않을 콘텐츠 표시’까지 밀기만 하면 다른 사람들이 보는 콘텐츠를 공유할 수 있다. 이 장치가 신념을 바꾸기에는 역부족일 수도 있지만 적어도 타인의 현실을 무시해 버리지는 않게 한다는 점에서 충분히 의의가 있다. 저자의 사고 실험이 실현된다면 민주주의를 확산하는 데 심리 타깃팅이 이용되는 최초의 게임 체인저가 될 것이다.(183쪽)

“전체 동의하지 않아도 편리한 서비스를 이용할 수 있을까?”

개인정보는 지키면서 콘텐츠를 즐기는 기업, 정부, 시민의 윈윈 전략!

저자는 참가자 1,000명을 상대로 GPS 동선, 검색 기록, SNS 정보 등 데이터를 넘기면 현금을 즉시 지급하는 실험을 했다. 사전에 ‘프라이버시는 중요하다’라는 것에 동의했던 것과 달리 참가자들의 평균 85퍼센트가 데이터를 쉽게 판매해 버렸다.(221쪽) 단지 데이터의 가치를 강조하는 것만으론 기울어진 데이터 운동장을 바로잡기에 역부족이라는 걸 깨달은 저자는 전제를 새로 설정했다. 개인정보를 일일이 지키기에 사람들은 너무 바쁘며 광속으로 발전하는 데이터 시장을 이해하기에 우리 뇌의 진화 속도가 아직 원시 수준에 머물러 있다는 ‘프라이버시의 역설’이다.(224쪽) 저자는 ‘설계된 프라이버시’라는 원칙에서 실마리를 얻고 ‘사용자가 개인정보를 보호하려고 아무것도 할 필요 없게’ 하는 것이 판을 뒤집을 열쇠라는 걸 알았다. 핵심은 인간의 관성을 이용하는 것이다. 장기기증을 하려면 신청자가 직접 등록해야 하는 ‘등록 옵션’ 나라인 독일과 미국보다 전 국민을 장기기증자로 등록한 뒤 취소 가능성을 열어둔 ‘취소 옵션’ 나라인 영국과 오스트리아에서 기증 비율이 더 높은 것처럼 개인정보 역시 ‘등록 옵션’이 기본값이 되어야 한다는 것이다.(234쪽)

그런데 개인정보를 넘기지 않으면 많은 서비스를 포기해야 하는데 불가능하지 않을까? 저자는 이미 넷플릭스와 애플 등 거대 테크기업에서 이용하고 있는 ‘연합 학습’ 기술을 예로 들며 충분히 할 수 있다고 말한다. 이 기술을 이용하면 기업은 개인정보 보안에 비용을 낭비하지 않으면서 서비스를 개선할 수 있고, 고객은 개인정보를 넘기지 않아도 맞춤형 콘텐츠를 추천받을 수 있다.(238쪽)

정부는 개인 데이터를 수집하는 기업에 세금을 부과하고, 반독점법을 실행해 거대 테크기업들이 개인정보를 독점하지 않도록 별도의 회사로 분리해야 한다. 미국의 경우 데이터 브로커들은 사용자의 개인 데이터를 최대한 많이 수집해 이윤을 남기는데, 미국 항공업계 전체의 매출액 또는 방글라데시 GDP와 동일한 금액인 약 2,500억 달러의 수익을 창출하는 이 산업에 세금을 2퍼센트만 부과해도 50억 달러의 추가 세수가 확보된다. 이 돈은 다른 부문에서 세금을 낮추거나 개인정보 보호 기술을 개발하는 데 사용할 수 있다. 반독점법 역시 산업의 후퇴를 우려한 것과 달리 1982년 처음 실행된 이후 실리콘밸리의 혁신은 멈추지 않았다는 걸 모두가 알고 있다.(249쪽)

시민인 우리가 할 수 있는 일은 무엇일까. 열쇠는 ‘데이터 협동조합’에 있다. 협동조합은 조합원들에게 가장 큰 이익이 되도록 행동할 법적 의무가 있고, 조합원들은 조합의 운영방식에 대한 부분적인 통제권을 갖는다. 의료 협동조합, 신용 협동조합처럼 우리가 조합으로 뭉친다면 정부와 기업에 대항할 협상력을 갖출 수 있다. 사람들의 데이터를 사용해 창출되는 인사이트를 기업과 정부만 이용할 수 있었던 것과 달리 협동조합을 만들면 우리가 누리는 것도 가능해진다. 데이터 시장이 빛의 속도로 발전하는 지금, 정부와 기업, 시민에게는 새로운 사회계약이 필요하다. 모두가 이익을 얻을 수 있고, 우리는 삶에 대한 통제권을 되찾는 기회를 잡을 수 있을 것이다.(255쪽)

추천의 말

한국어판 서문. 디지털 세상에서 한국만이 해낼 수 있는 일

들어가는 말. 심리 타깃팅을 역이용하라

1부. 데이터는 심리를 들여다보는 창이다

1장. SNS에 남긴 ‘좋아요’로 성격을 알 수 있을까?

알고리즘이 죽마고우보다 나를 더 잘 알게 되는 이유

2장. 데이터는 정체성을 사냥할 수 있는 완벽한 장소다

당신이 좋아하는 걸 말해주면 당신이 누구인지 말해주겠다

3장. 우리가 남긴 디지털 발자국을 추적하는 자들

우리가 하는 모든 것이 데이터다

4장. 배고플 때는 성격도 달라진다

상황(맥락)은 우리를 어떤 사람으로 만드는가

2부. 심리 타깃팅은 흉기일까, 도구일까?

5장. 알고리즘으로 어디까지 조종할 수 있을까?

심리 타깃팅의 원리와 놀라운 실험 결과

6장. 심리 타깃팅을 우리에게 유익하게 사용하는 법

저축을 늘리고, 우울증을 개선하고, 정치 성향을 변화시키기

7장. 개인정보는 어떻게 차별과 통제의 먹이가 되는가

우리가 잃게 되는 건 단지 사생활만이 아닌 이유

3부. 데이터가 우리를 위해 일하게 하라

8장. 모두가 개인정보를 보호하기에는 너무 바쁘다

데이터를 스스로 관리하면 문제가 해결될까?

9장. 개인정보 보호와 편리한 서비스, 둘 다 잡는 법

취소 옵션과 등록 옵션, 그리고 연합 학습에 대해서

10장. 개인정보 권력을 되찾기 위해 모인 동맹군들

와인 협동조합에서 집합적 데이터 관리의 실마리를 얻다

나가는 말. 통제권을 회복할 수 있는 희망이 있다

감사의 말

부록 A

부록 B

주

찾아보기