후기

[과학읽기] 유발하라리<넥서스> 6.새로운 구성원:컴퓨터는 인쇄술과 어떻게 다른가? 7장 집요하게:네트워크는 항상 켜져 있다

알고리즘의 노예들이 만드는 세상

소셜 미디어 알고리즘이 많은 나라에서 증오를 퍼뜨리고 사회적 결속을 약화하는 데 기여하고 있다. 2016년 미얀마에서 페이스북 알고리즘이 반로힝야족 폭력을 부추겼던 일이 가장 대표적인 사례다. 가혹한 군부 통치가 끝나고 자유의 시대가 열릴 시점에 미얀마는 민족 간 긴장이 높아졌다. 로힝야족은 미얀마 서부에 거주하는 무슬림들로 자신들의 상황도 개선될 것이라고 희망을 품었으나 대규모 학살에 직면해야 했다. 많은 폭력이 페이스북에 퍼진 가짜 뉴스에서 시작되었다. 

페이스북은 2016년 미얀마에서 수백만 명이 사용한 주요한 뉴스 출처이자 정치적 동원에 가장 중요하게 이용된 플랫폼이었다. 반로힝야족 메시지들이 ‘극단주의자’들에 의해 만들어졌고, 게시글을 추천할지 말지 결정한 것은 페이스북 알고리즘이었다. 국제사면위원회는 “알고리즘이 페이스북 플랫폼에서 폭력, 증오, 차별을 부추기는 콘텐츠를 선제적으로 증폭하고 추천했다”는 사실을 밝혀냈다. 페이스북은 증오 발언이 확산된 것에 대한 책임의 대부분을 플랫폼 사용자들에게 전가하고, 페이스북의 죄는 기껏해야 사용자들이 생산한 콘텐츠를 효과적으로 관리하지 못한 ‘부작위’에 해당한다는 논리를 펼쳤다. 

소셜 미디어 알고리즘이 인쇄술이나 라디오 장치와는 근본적으로 다르다는 사실을 이해해야 한다. 알고리즘은 인쇄기보다는 신문 편집자에 더 가깝다. 어떤 건 고의적으로 누락하고 어떤 건 의도적으로 게시한다. 알고리즘은 단순히 추천하는 것 이상의 일을 한다. 그리고 우리가 알지 못하는 작용이 더 있다. 온건하고 선한 메시지가 담긴 영상을 선택한 사용자를 화면 앞에 계속 붙들어두기 위해 페이스북 알고리즘은 증오로 가득한 영상을 자동 재생하기 시작한다. 사람들은 무엇을 볼지 스스로 선택하고 있지 않았다. 알고리즘이 대신 선택해주고 있었다. 

그렇다면 알고리즘은 왜 자비가 아니라 분노를 추천하기로 결정했을까? 페이스북의 목표는 ‘사용자 참여 극대화’였고, 알고리즘은 수백만 사용자들을 대상으로 실험하면서 ‘분노가 참여도를 높인다’는 사실을 알아냈다. 인간은 자비를 가르치는 법문보다 증오로 가득한 음로론에 더 끌리는 경향이 있다. 로힝야족 학살 사태는 비인간 지능의 결정이 이미 중요한 역사적 사건에 영향을 미칠 수 있다는 것을 보여준다. 우리는 미래에 대한 통제력을 잃을 위험에 놓여 있다. 

이전 네트워크에서는 구성원이 인간이었고, 모든 사슬은 인간을 거쳐야 했으며, 기술은 인간을 연결하는 역할만 했다. 새로운 컴퓨터 기반 네트워크에서는 컴퓨터 자체가 구성원이고, 인간을 거치지 않는 컴퓨터와 컴퓨터의 연결로만 이루어지는 사슬이 존재한다. 이런 연결이 가진 함의에 대해 숙고해 볼 필요가 있다. 우리의 미래를 계속 우리가 통제하기 위해서는 컴퓨터의 정치적 잠재력만큼은 반드시 이해해야 한다. 컴퓨터가 인간과 비슷한 방식으로 결정을 내리고 아이디어를 생성한다면, 컴퓨터는 ‘새로운 인간’일 것이다. 

네트워크는 항상 켜져 있다, 집요하게

관료의 가장 중요한 역할은 국민 전체를 감시하는 것이다. 통치자, 성직자, 상인은 우리를 통제하고 조종하기 위해 우리의 비밀을 알고 싶어 했다. 물론 안보, 보살핌, 필수품을 제공하기 위해서도 국민의 정보를 수집해야 했다. 많은 데이터를 모으고 분석하여 패턴을 파악하는 일이 중요했다. 하지만 감시는 늘 불완전했다. 기술적 한계도 있었다. 20세기에도 전 국민을 효과적으로 감시할 수 있는 데는 한계가 있었다. 한 가지 방법은 서로를 감시하게 하는 것이었다. 감시의 힘은 모든 사람을 끊임없이 감시하는 능력에 있는 게 아니라 감시당하고 있다는 두려움을 심어주는 데 있었다. 

전체주의 국가들은 결과적으로 감시에 실패할 수밖에 없었다. 그러나 새로운 도구가 등장하면서 감시의 형태와 방법이 달라졌다. 2025년 현재 우리는 도처에 깔린 컴퓨터 네크워트가 전세계 인구를 하루 24시간 따라다니며 감시할 수 있는 시대를 지나고 있다. 이 네트워크는 수백만 명의 인간 요원들을 고용하여 훈련시킬 필요가 없다. 그 대신 디지털 요원들에게 의존하다. 보수를 지불할 필요도 없다. 시민들이 자발적으로 이 요원들에게 대가를 지불하며 가는 곳마다 요원들을 데리고 다니기 때문이다. 이 네트워크는 우리가 뭘 자주 하고 무슨 말을 하고 다니는지 훨씬 알아내기 쉽다. 우리 스스로가 네트워크에 데이터를 제공하는 정보원이다.

머신러닝과 AI의 마법 덕분에 컴퓨터는 자신이 축적한 정보의 대부분을 스스로 분석할 수 있다. 더구나 패턴을 찾아내어 알고리즘화하는 능력이 인간보다 훨씬 뛰어나다. 좋든 싫든 이 디지털 관료는 우리가 세상에서 하는 일을 감시하는 것 외에 우리 몸 안에서 일어나는 일까지 지켜볼지도 모른다. 2020년대 들어와 CCTV 카메라와 노트북과 스마트폰에 내장된 카메라는 단 몇 밀리초 동안만 지속되는 동공과 홍체의 미세한 변화를 포함해 우리의 안구 운동에 대한 데이터를 일상적으로 수집하고 분석하기 시작했다. 미래의 독재자들은 컴퓨터 네트워크를 단지 눈동자를 감시하는 것보다 훨씬 더 깊이 침투시킬 수 있을 것이다. 2023년에 일론 머스크의 뉴럴링크는 미국 정부로부터 인간을 대상으로 실험을 시작해도 좋다는 승인을 받았고, 2024년 1월 인간에게 최초의 두뇌 칩을 이식했다.

정부의 감시 네크워크는 당사자가 알든 모르든 전 국민의 생체 데이터를 일상적으로 수집한다. 140개 이상의 국가에서 여권을 신청할 때 지문, 얼굴 스캔, 홍채 스캔을 의무적으로 요구한다. 또한 한 사람이 하는 모든 활동은 데이터 흔적을 남긴다. 모든 구매 내력은 어떤 데이터베이스에 기록된다. 온라인 활동도 모두 기록될 수 있다. 이런 시스템은 좋은 목적으로도 나쁜 목적으로도 쓰일 수 있다. 미국 국회의사당 습격 사건이 일어난 후 FBI와 미국 정부는 습격에 참여한 사람들을 찾아내 체포하기 위해 최첨단 감시 시스템을 활용했다. 이란의 히잡 법 위반을 찾아낼 때도 AI 감시 시스템이 적극 이용됐다. 

알고리즘은 이용자들을 평가한다. 이용자는 등급이 매겨져 그에 따른 특전을 제공받는다. 모두가 다른 모두를 끊임없이 평가한다. 온라인 여행 플랫폼 기업인 트립어드바이저는 카메라나 스파이웨어에 투자할 필요도 없고, 고도로 정교한 생체 인식 알고리즘을 개발할 필요도 없다. 수백만 명의 인간 이용자들이 회사 운영에 필요한 거의 모든 데이터를 제공하고 거의 모든 업무를 수행한다. 트립어드바이저 알고리즘이 하는 일은 인간이 매긴 점수를 집계하여 웹에 게시하는 것뿐이다. 이런 방식이 바로 정부의 개입 없는 개인 간 감시 네크워크의 토대다. 

인간은 주기적인 생물학적 시간에 맞춰 살아가는 유기체다. 때로는 깨어 있고 때로는 잠들어 있다. 때때로 쉬어야 하고, 성장하고 늙는다. 사람들의 네트워크도 마찬가지로 생물학적 주기를 따른다. 반면 컴퓨터 네트워크는 항상 켜져 있다. 결과적으로 컴퓨터는 사람들에게 항상 연결되어 감시당하는 새로운 종류의 존재가 되도록 강요하고 있다. 의료 서비스 같은 일부 상황에서는 이것이 이득이다. 하지만 전체주의 국가의 시민들과 같은 상황에서는 재앙일 수 있다. 유기체는 쉴 기회가 없으면 쇠약해져 죽는다. 하지만 컴퓨터는 쉴 필요가 없다.

컴퓨터 네트워크가 사회를 완전히 장악하는 것을 막아야 하는 이유는 단지 휴식을 위해서만이 아니다. 브레이크가 필요한 더 중요한 이유는 네트워크를 바로잡을 기회를 갖기 위해서다. 이대로 발전이 가속화된다면 네트워크의 오류도 우리가 찾아내 바로잡을 수 있는 속도보다 훨씬 빠르게 축적될 것이다. 완전한 감시 시스템은 세상과 인간에 대한 진실을 발견하는 대신 자신의 막강한 힘을 이용해 새로운 종류의 세계 질서를 만들고 그것을 우리에게 강요할지도 모른다. 컴퓨터가 항상 세상을 정확하게 이해하는 것은 아니고, 정보는 진실이 아니다는 사실을 늘 상기해야 한다.