공포는 어떻게 증거를 앞서는가 — 브라이언 캔트릴의 AI 멸종론 비판

TL;DR

• 기술 전문가가 만든 공포는 뒤늦은 해명보다 빨리 퍼질 수 있다. 캔트릴은 대학 시절 거짓 바이러스 경보로 다른 학생들의 작업을 잃게 한 경험을 출발점으로 삼는다. 전문성을 믿는 사람에게 경고하는 일에는 그 신뢰만큼의 책임이 따른다.
• 글의 비판 대상은 AI가 인류 전체를 죽일 수 있다는 전망과 향후 10년 안에 그 확률이 10%를 넘는다는 주장이다. 연결된 원문에서 이 수치를 밝힌 사람은 Evan Hubinger이며 개인적 판단이라고 명시한다. 이를 Anthropic의 공식 확률 추정이나 검증된 통계로 읽으면 안 된다.
• 캔트릴은 지능의 향상만으로 물리 세계에서의 실행 능력이 자동으로 따라오지는 않는다고 반박한다. 컴퓨터와 로봇, 기반시설에는 인간이 만든 장치와 통제 조건이 필요하다. 멸종 시나리오라면 그 연결을 구체적으로 입증해야 한다는 요구다.
• 위험을 주장하는 쪽이 설명과 증거의 부담을 져야 한다는 것이 글의 결론이다. 다만 이 글도 AI 멸종 가능성이 수학적으로 0임을 증명한 분석은 아니다. 전문가의 경고가 대중에게 전달되는 방식과 주장의 근거를 비판한 논설로 읽어야 한다.

거짓 바이러스 경보가 실제 피해를 만들었다

브라이언 캔트릴은 대학 첫해에 저지른 일을 고백한다. 컴퓨터를 잘 모르는 사람들을 얕보던 동료 학생들과 함께 다른 전산실에 가서 바이러스가 퍼지고 있으니 플로피 디스크를 꺼내라고 거짓 경보를 했다. 학생들은 디스크를 빼는 데 그치지 않고 컴퓨터 전원을 끄거나 케이블을 뽑았으며 시험을 앞두고 작성하던 과제 일부를 잃었다. 장난이었다고 해명했을 때는 이미 화가 난 사람과 해명 자체를 믿지 못하는 사람이 뒤섞여 있었다.[2]

그는 지식이 부족한 대중을 비웃을 수 없다는 교훈을 기억한다. 기술을 아는 학생들이 경고하자 다른 학생들은 그 전문성을 믿고 행동했으며 실제 바이러스가 없어도 피해는 발생했다. 시설 책임자는 사과문을 쓰게 하고 재발하면 학교를 떠나야 한다고 엄하게 경고했지만 졸업할 때는 보관한 사과문을 돌려주었다. 캔트릴은 이 사건을 부끄러운 기억이자 신뢰를 다루는 책임을 배운 경험으로 제시한다.[2]

위험 전망의 크기와 근거를 분리해서 묻는다

캔트릴이 이 기억을 꺼낸 계기는 최근 AI 멸종 위험에 관한 발언이다. 그는 수많은 사람이 피해를 입을 수 있다는 주장과 인류 전체가 사라질 수 있다는 주장을 구별하며 후자를 기술자가 할 수 있는 가장 극단적인 경고로 본다. 이런 주장은 자녀의 미래와 가족의 안전에 대한 감정을 직접 건드리므로 대중이 어떻게 그런 일이 가능한지 묻게 되는 것은 자연스럽다는 설명이다. 그는 기반시설 해킹이나 생물학적 위협을 언급하는 것만으로 그 규모의 결론이 입증되지는 않는다고 비판한다.[2]

글에 연결된 두 게시물을 구분하면 주장과 수치의 출처가 더 분명해진다. Jacob Coxon은 AI를 만드는 사람들이 2020년대가 끝나기 전에 AI가 모두를 죽일 수 있다고 진심으로 믿으며 이것이 홍보용 발언은 아니라고 썼다.[3] Evan Hubinger는 이에 동의하면서 향후 10년 안의 확률을 개인적으로 10% 초과로 본다고 밝혔다. 초지능 정렬을 해결할 계획이 아직 없다는 우려도 덧붙였다.[4] 개인적 확률 판단과 회사의 공식 입장, 실제로 측정된 사건 빈도는 서로 다르며 두 사람이 사용한 시간 표현도 완전히 같지는 않다.

두려워하는 전문가의 수가 증거처럼 보이는 과정

캔트릴은 모든 사람이 LLM과 기반시설, 생물학과 멸종 문제를 전부 이해할 수는 없다고 본다. 기술이 너무 넓고 깊어 생활의 어느 지점에서는 전문가의 설명을 신뢰할 수밖에 없기 때문이다. 문제는 그 신뢰를 통해 전달된 공포가 증거보다 먼저 자리를 잡을 수 있다는 점이다. 자신이 대학에서 거짓 경보를 철회해도 상황을 되돌리지 못했던 경험이 현재의 위험 소통과 연결된다.[2]

그가 특히 경계하는 것은 두려움이 반복되면서 독립적인 근거처럼 취급되는 현상이다. 어떤 전문가가 다른 사람에게서 들은 우려를 다시 전하고 비슷한 말을 하는 전문가가 많아지면 그 숫자가 합의의 증거처럼 보일 수 있다. 이런 환경에서는 반대 의견이 충분히 검토되기 전에 묻힐 수 있다는 것이 그의 진단이다. 다만 이는 캔트릴이 설명하는 공포 확산의 경로이며 실제로 우려를 표한 모든 연구자가 같은 방식으로 판단했다는 조사 결과는 아니다.[2]

지능과 물리 세계의 실행 사이에는 조건이 남는다

컴퓨터를 만드는 엔지니어인 캔트릴은 자신의 전문 분야를 좁혀 반론을 제시한다. 엔지니어링에는 지능뿐 아니라 사람이 가진 특성과 물리 세계에서의 행동·추론이 필요하다는 주장이다. 미래의 로봇이 대신하면 된다는 설명도 오늘의 로봇 능력이나 제시된 멸종 시간표와 맞는지 검토해야 한다고 본다. 그의 판단으로는 현재 로봇이 그 역할을 수행하지 못하며 주장된 시간 안에 가능해질 것으로 보이지도 않는다. 더 똑똑한 소프트웨어라는 전제만으로 현실의 장치와 생산·행동 조건을 건너뛸 수 없다는 논리다.[2]

디지털 시스템이 물리 세계에 영향을 미칠 때는 인간이 만들어 놓은 시스템과 허용한 권한을 거친다는 점도 강조한다. 지능이 높아져도 물리적 제약에서 면제되지는 않으며 책임과 통제를 고려해 설계한 시스템의 조건을 구체적으로 다뤄야 한다는 설명이다. 이것이 그의 반박에서 가장 중요한 기술적 근거다. 다만 이 글은 가능한 모든 공격 경로나 인간의 통제가 실패할 경우를 체계적으로 평가한 안전성 보고서는 아니므로, 이 논점만으로 모든 AI 위험이 제거됐다고 해석할 수는 없다.[2]

경보의 입증 책임은 경보를 울리는 쪽에 있다

캔트릴은 극단적인 주장에는 그에 걸맞은 증거가 필요하다는 원칙을 요구한다. 대중에게 여러 전문 분야를 공부해서 멸종론의 진위를 직접 판정하라고 떠넘기는 대신, 주장을 제기한 전문가가 인과 경로와 근거를 설명할 책임을 져야 한다는 입장이다. 그는 글 말미에서 적어도 멸종 위험에 관해서는 두려워할 필요가 없다는 강한 안심의 메시지까지 제시한다. 이 결론은 그의 견해이며 위험 확률을 계산해 얻은 값은 아니다.[2]

글 전체를 관통하는 기준은 기술 전문성이 대중의 신뢰를 맡는 위치라는 사실이다. 경고를 할 때는 그 신뢰가 사람의 행동과 불안에 직접 영향을 준다는 점을 고려해야 하며 특히 극단적인 위험을 말할수록 더 신중해야 한다. 동시에 한 분야의 전문성이 인접한 모든 분야의 결론을 보증하지는 않는다. 캔트릴의 고백은 이 원칙을 타인에게만 요구하는 대신 자신이 과거에 같은 신뢰를 남용했다는 책임에서 시작한다.[2]

참고 자료

[2] https://bcantrill.dtrace.org/2026/09/13/the-contagion-of-fear — The contagion of fear — Bryan Cantrill

[3] https://x.com/hilbertspaess/status/2097476203863224394 — Jacob Coxon — AI extinction-risk post

[4] https://x.com/EvanHub/status/2097497037956891126 — Evan Hubinger — Personal AI-risk estimate