후기

[북뱅클럽] <기술이 인류를 구원한다는 착각> 3장 종이 집게 골렘 

AGI는 과연 필연적일까? 지능에 대한 맹신이 낳은 것들

챗PGT와 같은 지금의 대규모 언어모델 인공지능(LLM)에 이어 곧 일반인공지능, AGI가 나온다고 한다. 기정사실인 것 같다. LLM도 이미 인간보다 시험 문제를 잘 풀고, 프로그래밍을 하고, 심리상담까지 하는 수준인데 그보다 더 뛰어난 인공지능이 나온다니 세상이 진짜 급변할 것 같다. 빅테크 수장들이, 실리콘밸리의 똑똑한 기술과학자들이 그렇다고 하는 데에는 필시 이유와 근거가 있을테니 일단 눈과 귀를 열어놓아 보자. 

AI가 계속 발전한다는 예측에 꼭 따라나오는 이야기가 있다. 바로 AI 정렬 문제다. AI가 인간의 가치와 정렬되지 않으면 인간에게 실존적 위협이 될 수 있다는 것인데, 이 문제를 닉 보스트롬은 한 가지 사고실험으로 설명했다. 인간이 AI에게 ‘최대한 많은 종이 집게를 만들어라’는 명령을 했다고 치자. 처음에는 그저 종이 집게 공장을 자동으로 돌리려고 했을 지도 모른다. 종이 집게를 많이 만들어 낼 방법을 궁리하던 AI는 자신의 지능을 증강시켜 더 빨리 더 독창적으로 해법을 찾아간다. 더 많은 컴퓨터와 연결하여 슈퍼컴퓨터로 진화하며 종이 집게를 빨리 만드는 법을 터득하여 순식간에 세상에 존재하는 모든 것을 종이 집게를 바꾸어 버린다. 결국 우주 전체가 종이 집게로 변한다. 이렇게 되는 데는 몇 분, 몇 시간, 며칠 정도밖에 걸리지 않는다. “AGI는 목표가 무엇이든간에 그 목표를 달성하기 위한 행동을 하게 될 뿐”이다. 

이 이야기를 시작으로 등장한 것이 ‘AI 안전’ 분야이다. AGI의 개발은 필연적으로 순간적인 지능 폭발(이 지점이 ‘특이점’이다)로 이어지고 머지 않아 지구의 멸망을 가져올 것이기에 AGI 개발 자체를 폐기해야 한다는 주장도 있다. AI 선두 기업인 ‘오픈AI’는 한때 정렬 관련 연구 성과를 공개했었다. 그러나 CEO 샘 울트먼의 태도가 묘하게 변하기 시작했다. 2021년 오픈AI에서 일하던 다리오·다니엘라 애머데이 남매는 회사가 정렬 문제를 충분히 고려하지 않는다며 회사를 떠나 안전에 좀 더 초점을 둔 ‘앤드로픽’(클로드AI)을 설립했다. 

그러나 모든 전문가가 정렬 문제에 동의하는 것은 아니다. “실제 세상에는 눈을 감고서 멋진 과학소설 같은 생각이나 하게 해주는 것”, “‘인류 존재에 위협’이라는 이야기는 우리가 정말로 겪고 있고, 생각하고, 해결해야 할 진짜 위협들로부터 주의를 분산시킬 뿐”, “그런 전지전능한 초지능은 정말로 먼 미래의 일”이라며 무시하는 이들도 있다. “지능은 그렇게 작동하는 것이 아니다. 인지과학자들처럼 지능을 연구해 본 적이 없는 사람들이나 그런 시나리오를 만들어 퍼뜨린다.”

지능을 무엇이라고 생각하는가. AI가 한 순간에 인류의 종말을 가져올 것이라고 경고하는 사람들은 지능을 ‘개인의 능력’으로만 여긴다. 아이큐 테스트에서 높은 점수를 받은 사람이 지능이 높다라고 생각하는 식이다. 지능은 우리의 문명과 문화 속에서 걸쳐 있는 능력이다. 하지만 어떻게 정의해도 모호할 수밖에 없는 게 ‘지능’이다. 제대로 된 정의도 없으면서 다들 지능이 극대화한 이후의 결과를 가지고 인류를 위협하는 용도로 사용하고 있는 것이다. “지능이란 눈금에 맞춰서 마음대로 올리고 내리고 할 수 있는 게 아니라, 특정한 진화의 틈새 안에서 적응하게 해주는 일반 능력과 특별 능력이 복합된 것이다. 가상적인 종이 집게 AI와 달리, 인간의 지능은 정해진 목표의 극대화에 매어있지 않다. 인간의 목표란 자신의 지능을 지지해 주는 사회적·문화적 환경과 인간의 내재적 욕구가 복합적으로 결합되어 생겨난다.” 이는 ‘기계지능이 우월하다, 인간지능이 우월하다’의 문제가 아니다. 기계지능과 인간지능은 다를 수밖에 없다.

초지능 기계가 인류를 멸망시킨다고 주장하는 이들의 특징은 더 있다. 자본주의를 민주주의보다 우선시한다는 것. 오늘날 자유지상주의자들 사이에서 흔히 발견되는 태도다. 이들은 세상에 존재하는 불의와 불평등의 근원이 인종차별, 성차별, 그리고 부의 불공평한 배분이 아니라 사람들 사이의 선천적 차이라고 쉽게 결론내린다. 흑인들이 인류 평균보다 IQ가 낮다는 우생학적 태도에서 하나도 나아가지 못한 주장들. 어떤 인간 집단이 다른 집단보다 태생적으로 우월하다는 생각이 이들 세계관의 핵심이다. “세계를 구원하고 있다고 느끼고 싶어하는 기술억만자들”이 대부분 이런 생각을 공유하고 있다. 

기계지능이 진화하여 인류를 멸망시킨다는 주장의 선두주자인 엘라이저 유드코스키(AI, 신의 탄생 인간의 종말/저자)는 대형 언어모델과 미래의 초지능 AGI에 대한 은유로 H.P.러브크래프트 이야기에 나오는 괴물 ‘쇼고스’를 소환한 적이 있다. 러브크래프트의 이야기에는 뿌리박힌 외국인혐오, 인종차별, 성차별 상징이 자주 등장하고, 무엇보다 사람의 몸을 일종의 생물 기계로 보는 데 대한 깊은 반감이 드러난다. 육신에 대한 공포, 죽음에 대한 두려움이 묻어난다. 이런 육신에 대한 공포는 ‘특이점’ 주창자 커즈와일에게서도 많이 보인다. 육신은 이들이 품은 영생과 성장의 꿈을 지탱해 주기엔 너무나 연약한 사물이다. 영생하려면 육신을 폐기해야 하고, 육신이야말로 바로 인류의 적이다. 하루라도 빨리 기계에 뇌를 업로드하여 영생해야 한다. 

AI대재앙 주장은 복음주의 컬트 종교의 종말론과 많이 닮아 있다. 지능이 모든 걸 해결해줄 것이라는 맹신이 결국 특이점과 AI대재앙이라는 종말론적 주장을 만들어내고, 사람들이 기계지능을 두려워하게 함으로써 새로운 담론을 만들어 자본을 끌어들이고, 자본으로 권력을 더욱 공고히 하여 또 다른 헛소리를 만들어내는 구조. 실리콘밸리발 종말론은 실리콘밸리를 넘어 의사당으로 들어갔고, 국경을 넘어 전세계로 퍼져나갔다. 도대체 지능이란 무엇일까.