AI 보안 열풍이 놓치는 패치와 이해의 문제

TL;DR

• 취약점을 더 많이 찾는 것과 시스템이 더 안전해지는 것은 다르다. Jan Schaumann은 실제 병목을 운영 환경의 패키지 업데이트에서 찾는다. 탐지 건수보다 자산 파악과 반복 가능한 패치 배포에 자원을 써야 한다는 비판이다.
• AI 도입에는 토큰 비용 외에 숙련 인력과 협업의 기회비용이 든다. 탐지 환경과 보고 처리 절차에 투입한 시간이 기본 방어 체계를 개선할 시간을 잠식할 수 있다. 개별 에이전트가 바쁘게 일한다고 부서 간 조정까지 끝나지는 않는다.
• AI의 유용성과 윤리적 비용을 분리해 판단할 수 있는지도 질문해야 한다. 저자는 지식재산권, 권력 집중, 유해 콘텐츠, 군사적 사용과 환경 부담을 함께 문제 삼는다. 이는 강한 입장의 비평이며 개별 사건의 책임을 검증한 조사 보고서는 아니다.
• 코드 생성과 패치, 리뷰까지 AI에 맡기면 사람이 시스템을 이해하는 정도가 줄어들 수 있다. 승인하는 사람이 있어도 내용을 판단하지 못하면 검토는 형식에 그친다. 복잡한 장애를 해결할 지식이 조직 안에 남아 있는지가 핵심이다.

AI가 늘어난 하루와 줄어든 일의 즐거움

인프라 보안 전문가 Jan Schaumann은 하루 업무 시간의 75% 이상을 AI와 직접 또는 간접적으로 씨름하는 데 쓰면서 일의 즐거움을 잃었다고 토로한다. 주변에서는 충분한 엔지니어링 배경 없이 만든 시제품이 산업을 바꿀 해법으로 소개되고 이메일과 글은 비슷한 AI 문체로 수렴한다. 사람과 대화하는 대신 사람이 중계하는 모델의 답을 받는 듯한 피로도 여기에 겹친다. 이 시간 비율은 저자의 개인적 경험이며 전체 보안 업계의 업무 분포를 측정한 값은 아니다.

불만의 대상은 단순히 문장이 부자연스럽다는 데서 끝나지 않는다. 무엇을 만들었는지 충분히 이해하지 않은 채 제품을 제안하고 다른 사람에게 그 결과를 처리하게 하는 작업 방식이 문제다. 저자는 이를 AI가 인간의 이해를 대체하는 의존 관계로 본다. 글 전체의 거친 표현은 그 피로와 거부감을 드러내지만 판단의 근거는 어떤 일이 실제로 완료되고 어떤 책임이 사람에게 남는지에 있다.

윤리를 잠시 치워 두자는 말에 대한 거부

Schaumann은 AI 제품의 효용을 이야기할 때 윤리 문제를 먼저 제외하는 태도를 받아들이지 않는다. 학습 과정의 지식재산권 문제와 소수 기업에 집중되는 권력, 아동 성착취물 생성, 군사적 표적 선정 같은 사용을 같은 생태계의 문제로 묶는다. 서비스를 계속 이용하는 일이 그 생태계를 경제적으로 지지하는 행위와 분리되는지도 묻는다. 특정 기업이나 개별 사건의 법적 책임과 인과관계는 이 에세이의 주장만으로 확정할 수 없지만 저자의 논점은 그런 비용을 제품 평가 밖으로 밀어내지 말자는 데 있다.

비용을 가리는 표현 방식도 비판한다. 토큰 단위의 소비가 실제 지출의 감각을 흐릴 수 있다는 카지노 칩 비유와, 부실한 문서를 넣은 고객지원 챗봇의 투자수익률을 확인했는지 묻는 장면이 등장한다. 원문은 이런 도입 관행에 회의적이지만 모든 챗봇의 수익성이 없다는 계산을 제시하지는 않는다. 사용량과 신기함, 실제로 얻는 이익을 서로 다른 항목으로 판단할 필요가 있다.

취약점 발견 이후에 남는 병목

글의 기술적 비판은 AI 기반 취약점 탐지 프로젝트에 집중된다. 저자는 Glasswing과 Daybreak 같은 프로그램에 참여하면서 숙련된 보안 엔지니어들이 탐지용 실행 환경을 만들고 쏟아지는 결과를 기존 취약점 관리 절차에 연결하며 제품 담당자와 수정 작업을 조정하는 데 많은 시간을 썼다고 지적한다. 조직마다 수백만 달러에 이를 것이라는 비용 표현은 저자의 추정이다. 취약점이 많이 발견됐다는 사실만으로 그 자원 투입이 최선이었는지는 알 수 없다.

Schaumann이 보는 최종 병목은 취약점의 발견도, 심각도 확인도, 패치 작성과 새 버전 공개도 아니다. 실제 운영 중인 패키지를 업데이트하는 일이다. 수정된 버전이 있어도 어디에 어떤 패키지가 쓰이는지 모르거나 서비스를 안전하게 갱신할 수 없다면 노출은 남는다. 그 관점에서 새로운 발견을 계속 추가하는 활동은 조직의 처리 능력을 늘리지 않은 채 대기열만 키울 수 있다.

대안으로 제시하는 것은 세밀한 패키지 정보를 포함한 자산 목록, 빈번하고 자동화된 운영체제·애플리케이션 업데이트, 전체 IP 범위와 클라우드에 걸친 공격 표면 파악이다. 업데이트를 실제로 적용하도록 재부팅을 운영에 포함하는 예시도 나온다. 30일 가동 뒤 재부팅하거나 숙련 엔지니어들을 6개월 동안 기본 체계 개선에 투입하자는 수치는 원문의 제안이며 모든 환경의 안전한 운영 기준은 아니다. 핵심은 개별 탐지 도구보다 반복해서 패치할 수 있는 조직의 능력을 강화하는 데 있다.

재앙의 예측보다 지금 지불하는 비용

저자는 AI 기업이 극단적인 미래 위험을 강조하며 규제를 요청하는 태도에도 의문을 제기한다. 정말 인류를 파괴할 제품이라고 믿는다면 개발을 멈추는 선택도 가능하다는 반문이다. 경쟁자를 제약하는 규제의 효과와 기업 스스로 감당하는 책임을 구분해야 한다는 비판이지만 규제 요청의 동기를 독립적으로 입증한 분석은 아니다. 이 부분은 기업의 주장과 행동이 일관되는지를 묻는 정치적 논평이다.

환경 비용에 대해서는 미래의 초지능 재앙을 기다릴 필요조차 없다는 입장을 편다. 데이터센터가 요구하는 전력과 물, 화석연료 사용과 대기오염, 환경 규제 완화가 이미 현재의 문제라는 주장이다. 글은 관련 보도를 연결하지만 모델별 환경 부담을 수치로 비교하지는 않는다. 또한 조직 안의 숙련 인력은 여전히 한정돼 있으므로, 많은 작업을 에이전트별로 동시에 실행하는 일이 협업과 기본 운영의 개선을 대신하지 못한다는 기회비용의 논리로 돌아간다.

사람의 승인이 시스템 이해를 보장하지 않는다

AI가 취약점을 찾고 AI가 패치를 만들며 AI가 그 패치를 리뷰하는 흐름에서, 사람의 역할이 마지막 승인 버튼만 누르는 것으로 줄어들 수 있다. 사람이 검토 과정에 있다는 설명만으로는 그 사람이 판단에 필요한 이해를 갖췄는지 알 수 없다. Schaumann은 자동화가 늘수록 코드베이스가 조직 전체에 불투명해질 가능성을 우려한다. 이는 자동화가 반드시 이해를 없앤다는 실험 결과보다 업무 설계에서 경계해야 할 실패 경로다.

평상시에는 결과물이 작동하므로 이해의 공백이 잘 드러나지 않을 수 있다. 그러나 복잡한 분산 시스템이 실패하면 생성된 코드의 양보다 구성요소의 관계와 동작을 추적하는 능력이 필요하다. 저자의 결론은 윤리적 비용과 이런 이해의 손실을 감수하면서까지 AI 의존을 계속 늘리고 싶지 않다는 개인적 거부다. 이 글이 남기는 보안 판단의 기준은 새 취약점의 개수나 에이전트의 작업량을 넘어, 실제로 패치를 적용하고 장애를 설명할 수 있는 조직인가에 있다.

참고 자료

Jan Schaumann — Everybody’s Lost Their Minds