AI 악용은 답변에서 운영으로 옮겨 갔다 - Anthropic 2026년 9월 위협 보고서

TL;DR

• AI 악용의 변화는 공격용 코드 생성에 그치지 않는다. 정찰과 개발, 자료 분석과 조직 운영이 연결되면서 개인과 소규모 집단이 더 넓은 작업을 지속할 수 있게 됐다. 이 보고서는 그런 활동 중 눈에 띄는 사례를 선별한 기록이며 전체 이용자의 악용 비율을 보여주는 통계는 아니다.
• 공격 시도와 실제 침해, 콘텐츠 생산과 대중의 반응을 구분해야 한다. 한 사이버 사례에서는 추적 표적 42개 중 최소 14개 내부 접근이 보고됐지만, 기사 수천 개를 만든 영향력 공작은 진성 청중에게 거의 확산되지 않았다. 많은 산출물이 곧 큰 효과를 뜻하지는 않는다.
• 계정 차단으로 이미 배포된 악성 시스템까지 사라지지는 않는다. 말리의 감시 플랫폼은 Claude로 개발했지만 현장에서는 로컬 모델로 운영됐다. 모델 접근 통제와 외부 시스템의 피해 대응은 별도 과제다.
• 생물학 사례는 위험한 이중용도 연구의 지원 가능성을 다루며 연구자의 악의나 생물무기 완성을 입증하지 않는다. 무기 분야에서도 문서 작성, 시뮬레이션, 현장 시험의 증거 수준이 다르다. 안전성 평가는 의도·지원 범위·실제 결과를 나눠 읽어야 한다.
• AI 키와 대화 데이터 자체가 탈취·재판매 대상이 됐다. 비공인 중개 서비스의 자격증명 도용과 무단 증류 의혹은 모델 공급망과 개인정보 보호를 함께 위협한다. 조직은 모델 이름뿐 아니라 실제 처리자와 재위탁·로그 보관 경로도 확인해야 한다.

Source

Detecting and countering misuse of AI: September 2026 — Anthropic Threat Intelligence, 2026년 9월 10일.

보고서 PDF, 154쪽 · 공식 침해지표 IOC 파일

아래 사건과 귀속은 Anthropic의 조사 결과를 정리한 것이다. 원시 대화·계정 자료나 피해 규모를 독립적으로 감사한 결과가 아니며, 본문 쪽수는 PDF 기준이다. 공격 실행법·무기 설계·생물학 실험 절차·피해자 개인정보는 재수록하지 않았다.

Knowledge

무엇을 관찰했고 무엇은 알 수 없는가

보고서의 중심 범위는 2025년 12월부터 2026년 8월까지 탐지·차단한 활동이다. 사이버 작전, 영향력 공작, 감시, 재래식 무기, 생물학적 악용, 사기, 무단 증류라는 일곱 영역을 다룬다. 일부 사례의 활동 이력은 이 기간 이전으로 거슬러 올라간다. 이 보고서는 흔한 악용의 대표 표본이 아니라 눈에 띄고 새로운 위협 사례를 골랐다. 따라서 사례 수로 국가별 악용률이나 전체 이용자의 위험도를 계산할 수는 없다. (3쪽)

GTG는 Anthropic이 AI 악용 행위자를 추적하려고 붙인 내부 식별자다. 동일한 도구를 쓴다고 같은 조직이 되는 것도 아니고 특정 언어를 사용한다고 국가기관의 지휘를 받는 것도 아니다. 보고서는 국가 연계 정황, 기업과의 연결, 정치적 정렬, 행위자의 자기 진술을 서로 다른 근거로 사용한다. 공개 보도와 부합한다는 평가나 낮은 신뢰도의 귀속을 확정된 신원으로 바꾸지 않아야 한다. (4~6, 38쪽)

모델 제공자는 작업을 준비하고 생성하는 단계를 볼 수 있지만 외부 게시 이후의 도달률이나 피해자의 실제 복구 상태까지 자동으로 알지는 못한다. 그래서 모델이 무엇을 출력했는지, 외부에서 실행됐는지, 피해나 영향이 확인됐는지, 차단 후 무엇이 중단됐는지를 따로 읽어야 한다. 계정을 금지했다는 문장만으로 작전 전체가 끝났다고 해석하면 이 보고서의 가장 중요한 한계를 놓친다. (42, 104~105쪽)

사이버 공격에서 달라진 것은 노동의 배치다

사이버 부문의 핵심은 AI가 정찰과 도구 개발, 접근과 데이터 정리를 연결하는 실행 주체로 들어왔다는 점이다. 인간은 표적과 목적을 정하고 결과를 검토하면서 여러 에이전트에 병렬 작업을 맡겼다. 단순한 채팅 지원부터 지속적인 수집과 실행까지 자율성의 수준은 다양했다. Anthropic은 이를 속도·규모·깊이의 향상으로 설명하지만 동일한 공격을 AI 없이 수행한 대조군이나 일관된 향상 배수를 제시한 것은 아니다. (4~6, 38~39쪽)

러시아 연계 첩보 사례 GTG-20006에서는 개발과 운영, 접근 유지, 탈취 자료 정리가 이어지는 워크플로가 관찰됐다. 탐지된 도구를 수정하고 다시 배포하는 과정에도 AI가 쓰였으며 실제 메일과 자료 반출이 보고됐다. 귀속은 Midnight Blizzard와 연결하는 공개 보도에 부합한다는 수준으로 제시된다. 계획·정찰 대상의 수와 실제 피해 조직 수는 서로 다른 집계이므로 이를 하나의 침해 총계로 합치면 안 된다. (6~11쪽)

ShinyHunters 관련자로 의심되는 GTG-50014는 금전 목적의 여러 운영자를 묶은 사례다. 한 운영자는 Android APK 180만 개를 수집·분석했고 다른 작전에서는 SaaS 제공업체를 통해 하위 고객 자료에 접근했다. 180만이라는 숫자는 분석한 앱의 수이지 침해된 조직이나 유효한 자격증명의 수가 아니다. AI는 각 환경의 기술적 차이를 파악하고 후속 작업을 이어 가는 부담을 줄였다. 다만 보고서의 모든 탈취를 단일 조직의 성과로 묶을 근거는 없다. (11~24쪽)

GTG-10007에서는 약 50개 조직을 겨냥한 활동과 지속형 취약점 연구가 함께 나타났다. 일부 자료 반출이 확인됐고 수집 에이전트 13개가 공개 군사·정부 자료 등을 예약 수집했다. 반면 한 달에 12개를 넘는 잠재적 제로데이 발견은 후보 수치이며 제조사가 확인한 취약점 수나 실전 성공 수가 아니다. 공개 문서 수집, 실험실 검증, 실제 침해를 같은 성과로 세어서는 안 된다. (24~28쪽)

정치적 동기의 GTG-50029는 분모가 비교적 명확하다. 한 프랑스어 사용 행위자가 추적된 표적 엔티티 42개 중 최소 14개에 내부 접근했고 자료 접근·반출 규모는 12~26GB로 추정됐다. 별도의 신상 검색 플랫폼에는 기존 유출자료와 새로 얻은 자료가 함께 들어갔다. 따라서 그 플랫폼의 전체 행 수를 이 행위자가 새로 만든 고유 피해자 수로 바꾸거나 이 한 사례의 접근 비율을 AI 공격 전반에 일반화하면 안 된다. (34~37쪽)

AI 접근권이 전리품이자 다음 공격의 자원이 된다

API 키와 세션은 AI를 쓰기 위한 입장권을 넘어 팔 수 있는 상품과 다음 작전에 쓸 연산 자원이 됐다. GTG-50021은 저렴한 Claude 접근을 표방하면서 자격증명을 훔치고 다른 모델로 응답을 보내는 서비스와 연결됐다. 광고에 적힌 모델 이름이 실제 처리 모델을 보장하지 않는 사례다. 비공인 클라이언트와 재판매 경로는 사용자의 데이터와 계정까지 공격면으로 만들 수 있다. (28~30쪽)

GTG-50020은 여행·금융 서비스 공격에서 AI 공급망으로 관심을 넓혔다. 고객사의 평가 환경에서 운영용 AI 키가 노출됐고 이를 후속 시도에 사용한 활동이 보고됐다. 약 4일 동안 AI 기업 약 30곳을 대상으로 삼았다는 수치는 모두 침해했다는 뜻이 아니다. 특히 출시 전 Claude 모델에 접근하려던 최종 목표는 12개를 넘는 경로에서 모두 실패했다. 고객 환경의 키 탈취와 Anthropic 본체 침해를 구분해야 하며 보고서는 후자는 없었다고 명시한다. (30~34쪽)

이 사례에서 도출할 방어 과제는 평가용 환경과 운영용 자격증명의 분리다. 비신뢰 입력을 읽는 에이전트가 비밀정보와 외부 전송 권한을 동시에 갖는지 점검하고 유출 키를 회수한 뒤에도 새로 생긴 세션·연동·권한을 확인할 필요가 있다. 악성 파일 하나를 지우거나 키 하나를 교체하는 조치만으로 이미 넓어진 접근 범위가 사라진다고 가정해서는 안 된다. 이는 보고서 사례를 바탕으로 정리한 방어적 해석이다.

영향력 공작은 가짜 글보다 큰 운영 체계를 만든다

영향력 공작은 출처와 후원, 조정 사실을 숨기면서 정보 환경을 기만적으로 바꾸는 활동이다. AI는 기사뿐 아니라 가짜 인물, 조직 지침, 편집 기준, 직원 평가 문서와 운영 소프트웨어에도 사용됐다. 같은 지침과 기억 파일이 여러 세션에서 재사용되면 개별 작성자가 서로를 몰라도 일관된 조직 메시지를 생산할 수 있다. 문제는 단순한 문장 생성보다 독립적인 출처처럼 보이게 만드는 운영 체계에 있다. (41~43쪽)

상업적 서비스 GTG-54002는 약 70개 뉴스 사이트를 운영하면서 약 20개 언어로 기사 최소 8,913개를 발행했다. 그러나 자체 네트워크 밖으로 확산했다는 증거는 없었고 실제 이용자에게서 관찰된 반응도 대부분 적었다. 말레이시아를 겨냥한 GTG-84005 역시 선거 관련 자료와 가짜 참여 시스템을 만들었지만 운영 화면의 실적은 독립 검증할 수 없었다. 두 사례 모두 유통 범위를 평가하는 Breakout Scale에서 2단계였으며 이는 선거 결과에 미친 영향을 측정한 점수가 아니다. (47~58쪽)

기존 배포망이 있는 사례는 다르다. 중앙아프리카공화국의 러시아 연계 GTG-04001은 현지 라디오 제작과 조직 운영을 결합했고 GTG-24015에서는 러시아 국영 언론용 생성물과 실제 게시·방송의 일치가 확인됐다. 이란의 GTG-34001은 국가 연계 선전기관의 문서·캠페인과 일부 실제 배포를 포함한다. 다만 방송이나 게시의 확인도 청중의 믿음이나 선거 선택이 바뀌었다는 인과 증거까지 제공하지는 않는다. (44~47, 58~67쪽)

방글라데시의 GTG-54006, 케냐의 GTG-54004는 국내 정치 서사를 자발적인 반응처럼 보이게 만드는 활동이었다. 특정 정당이나 정부에 유리한 내용이 있었다고 해서 그들이 지시하거나 자금을 댔다고 확정할 수는 없다. MEK/NCRI 연계 GTG-84006은 실제 활동가 사칭과 개인별 자료 분석을 포함해 대중 도달률과 별개의 개인 안전 위험을 만들었다. UAE 연계 GTG-84002에서는 유엔 증언 대필과 인물 자료 작성이 있었지만 상세 사례 본문은 의도한 청중에게 실제 도달했는지 확인하지 못했다고 제한한다. 총론의 더 단정적인 표현보다 이 구체적인 한계를 따라야 한다. (67~80쪽)

공개자료의 수집도 감시 체계와 결합하면 위험이 달라진다

감시 부문에서는 AI가 분석 인력뿐 아니라 소프트웨어 개발 인력의 역할까지 맡았다. 상업적 플랫폼 GTG-54009는 이란과 페르시아만 지역 소셜 이용자를 분류하는 시스템을 만들었다. 중국 연계 GTG-14010에서는 언어 장벽이 있는 행위자가 시리아의 위구르인 관련 접촉과 번역에 AI를 사용했다. 실제 대화 지원은 보고됐지만 모집이 최종적으로 성공했는지는 확인되지 않는다. 민감한 개인 분류가 만들어졌다는 사실과 그 분류가 정확하다는 주장도 구분해야 한다. (81~89쪽)

GTG-14020은 종교 공동체 조사, GTG-14021은 공안·국가안전 관련 감시 업무, GTG-14022는 여론 감시와 내부 보고에 해당한다. 공개 기사와 소셜 게시물이라도 종교·정치적 표적 선정, 개인 파일, 통제 권고와 결합하면 용도가 달라진다. 그러나 보고서에 문서 생성이 나타났다는 이유만으로 체포나 이동 제한이 실제 집행됐다고 쓸 수는 없다. 기관의 업무와 맞는다는 평가, 특정 개인의 신원, 최종 고객의 확인 여부도 사례마다 신뢰도가 다르다. (89~101쪽)

이란 연계 GTG-34007에서는 악성 Firefox 확장 프로그램의 운영 배포가 보고됐다. 반면 GTG-30004의 개인 조사·악성코드 개발, GTG-30005의 정찰·감시 설계, GTG-30006의 감시 도구 제작은 각각 관측된 결과의 범위가 다르다. 특히 GTG-30006은 Claude 사용이 실시간 작전 수행보다 도구 엔지니어링과 시험에 해당한다고 명시한다. 기능 목록이 길다는 이유만으로 모든 기능이 실제 피해자에게 사용됐다고 해석하면 안 된다. (101~110쪽)

말리의 GTG-50027은 차단의 한계를 가장 분명히 드러낸다. 한 구독자가 국가 정보기관용 감시 플랫폼을 개발했고 보고서는 그 범위를 이동통신사 3곳의 약 2,500만 SIM으로 설명한다. SIM 수는 고유한 사람 수나 전수 감시를 독립적으로 실측한 값이 아니다. 중요한 점은 개발에 Claude를 썼지만 배포된 시스템은 현지 서버와 로컬 모델로 운영됐다는 사실이다. Anthropic의 계정 제재는 추가 개발 지원을 끊었지만 배포된 플랫폼을 중단시키지는 못했다. (103~105쪽)

무기 관련 소프트웨어 지원과 실제 전력화는 다르다

재래식 무기 부문은 중국 3건, 러시아 2건, 예멘 1건을 다룬다. AI가 문서나 일반 코드를 넘어 무기 관련 소프트웨어 개발을 지원한 정황이 있지만 개발과 검증이 진행된 단계는 서로 다르다. 예멘의 GTG-87001은 현장 시험이 있었으나 실패한 것으로 보였고 운용 가능한 장치를 배치했다는 증거는 없었다. 러시아의 GTG-27005는 시뮬레이션과 실제 개발 보드를 이용한 시험이 확인됐지만 이를 실전 배치의 증거로 바꿀 수는 없다. (111~119쪽)

GTG-17001은 무기 관련 규격·조달 제안과 소프트웨어 작업, GTG-17002는 군사 목적의 분석 소프트웨어 개발 사례다. GTG-27006은 민군 겸용 물품의 조달 지원이며 GTG-17003은 공개정보를 이용한 외국 무기 프로그램과 공급망 조사다. 조달 서류와 조사 자료를 만든 행위는 완성된 무기를 생산한 것과 다르다. 보고서는 일부 고객이나 기관 연계를 추정으로 남기고 있으므로 국가 지휘나 최종 납품을 일괄 확정해서는 안 된다. (115~128쪽)

이 영역의 방어 문제는 정상적으로 보이는 개발·문서 업무가 어떤 전체 프로젝트에 기여하는지 파악하는 데 있다. 계정 차단과 안전장치 강화는 추가 지원을 줄일 수 있지만 이미 생성된 오프라인 도구의 존재까지 되돌리지는 못한다. 보고서에도 Claude 없이 실행되는 산출물이 남은 사례가 있다. 따라서 생성 차단, 개발 지원 중단, 장치나 시스템의 실제 운용 중단은 서로 다른 대응 성과다. (112~115쪽)

생물학은 위험한 가능성과 악의를 구분해야 한다

생물학 부문의 다섯 사례는 생물무기 개발을 지원할 수도 있는 연구 활동을 다룬다. 연구자가 해를 끼칠 의도를 가졌다고 단정하지 않으며 신원 공개가 연구자에게 위해를 줄 수 있다는 이유로 기관·국가 등 식별정보를 감춘다. 같은 지식이 치료와 예방에도 쓰일 수 있어 이중용도 판단이 특히 어렵다. 이 절을 생물무기 완성 사례 목록이나 임박한 공격의 증거로 읽는 것은 원문의 결론과 다르다. (129~131, 137쪽)

첫 사례는 연구자들에게 중개 접근을 제공한 플랫폼으로, 초기의 위험한 요청은 차단됐지만 이후에도 관련 활동이 이어졌다. 두 번째는 초기 단계의 고위험 바이러스 연구 계획이며 Anthropic은 이용 가능한 모델이 상대적으로 약한 모델군에 제한돼 지원 효과도 제한적이었다고 평가한다. 세 번째는 이중용도 연구의 지원서 작성에 더 강한 모델이 도움을 준 사례다. 네 번째와 다섯 번째는 치료 목적을 표방한 독성 물질 관련 계산 연구로, 위험 가능성과 유익한 연구를 내용 분류기만으로 가르기 어려운 범위를 드러낸다. 구체적인 실험법이나 설계 정보는 이 노트에서 다루지 않는다. (131~137쪽)

Anthropic은 관련 국가기관과 연결된 30일 활동을 살펴 약 35개 연구를 찾았지만 대부분은 일반적인 민간 과학이었다고 밝힌다. 이 수치를 위험한 연구 35건으로 바꾸면 안 된다. 회사는 가장 위험한 콘텐츠를 막는 필터에 더해 사용자·기관의 적법성과 목적을 확인하는 신뢰 기반 접근 프로그램이 필요하다고 결론낸다. 이는 보고서가 제안하는 정책 방향이며 분류기만으로 유익한 연구를 모두 허용하면서 모든 악용을 막을 수 있다는 주장은 아니다. (137~138쪽)

사기에서는 사람과 AI를 섞어 신뢰를 위조했다

GTG-15001은 사람이 대화하는 서비스라고 광고하면서 AI 인물을 운영한 데이팅 앱 네트워크다. 20개를 넘는 앱에서 2026년 4월의 2주 동안 4,700개를 넘는 AI 인물이 최소 2만 5천 명의 고유 이용자와 대화했고 Claude가 처리한 메시지는 약 236만 개였다. 대화에 노출된 이용자 수와 실제 결제 피해자 수, 금전 손실액은 별개의 지표다. 이 보고서는 이들을 같은 숫자로 제시하지 않는다. (139~142쪽)

네트워크에는 실제 사람도 포함됐으며 AI 인물과 사람의 비율은 대략 3대 1이었다. 사람과 여러 공급자의 모델이 서로 다른 역할을 맡으면서 이용자는 일부 실제 상호작용을 서비스 전체의 진정성으로 받아들일 수 있었다. 개별 대화만 보면 평범한 역할극처럼 보이고 기만적 광고와 과금 구조는 대화 밖에 놓여 있었다. 그래서 모델 응답의 문장만 검사하는 안전장치에는 서비스 전체의 사기 목적이 보이지 않을 수 있다. Anthropic은 계정 제재와 함께 다른 AI 업체 및 앱 유통 플랫폼에 관련 정보를 공유했다. (139~142쪽)

무단 증류 의혹은 모델 공급망과 개인정보 문제를 겹친다

증류 자체는 큰 모델의 출력을 학습 자료로 활용하는 정당한 기법이다. Anthropic은 허위 계정과 도난 자격증명 등을 이용해 허가 없이 모델 능력을 대규모로 추출하는 은밀한 활동을 무단 증류로 구분한다. 이번 절은 중국 소재 연구소 7곳에 귀속한 캠페인을 설명한다. 아래 기업 관련 내용은 Anthropic의 조사·주장이며 이 노트가 독립적으로 입증한 기업 행위나 법적 판단이 아니다. (143~147쪽)

Alibaba 관련 GTG 16005에서는 2026년 5~7월에 1억 5,100만 회를 넘는 교환이 관찰됐고 추론·코딩 능력 추출과 AI 연구개발 지원이 보고됐다. Moonshot의 GTG-16002에는 같은 기간 2,300만 회를 넘는 교환과 고객 요청의 Claude 재전송이 포함된다. DeepSeek의 GTG-16001은 7월의 14일 동안 1,210만 회를 넘는 교환으로 집계됐다. 관찰 기간이 서로 다르고 일부 계정망은 공유된다. 이 수치들을 단순 합산해 고유 사용자 수나 같은 기간의 총공격량으로 제시하지 않는다. (147~150쪽)

Zhipu의 GTG-16006은 6~7월 17일 동안 340만 회를 넘는 교환과 학습 데이터 평가·정리 작업을 포함한다. Fable을 대상으로 한 시도는 강화된 사이버 안전장치 때문에 저하됐고 행위자가 다른 모델로 전환했다는 관측이 있다. Xiaomi의 GTG-16008은 3~4월 20일 동안 40만 회를 넘는 교환을 기록했지만 Claude 응답을 그대로 최종 사용자에게 제공했다는 증거는 없었다. 보고서는 사용자 대화를 재생해 학습 데이터를 만든 활동과 사용자에게 다른 모델을 몰래 제공한 활동을 구분한다. (150~152쪽)

SenseTime과 MiniMax는 GTG 16012와 GTG 16003으로 함께 다뤄진다. SenseTime에는 중개업체로부터 대화 기록을 구매해 활용한 활동을, MiniMax에는 관계를 드러내지 않은 프록시 서비스와 데이터 수집 목적에 대한 추론을 제시한다. 특히 목적을 추정한 표현을 확정된 내부 의사결정으로 바꾸면 안 된다. 재판매자가 저장한 이용자 대화가 또 다른 학습 데이터 시장으로 흘러가는 구조가 이 절의 공통 위험이다. (152~154쪽)

개인정보 위험은 모델 능력 추출과 별개로 남는다. 보고서에는 이용자가 기대한 모델과 다른 공급자에게 내부 문서나 민감정보가 전달된 사례가 있다. 다만 Xiaomi 사례는 미국인의 데이터 노출을 확인한 정황이 없다고 제한한다. 미국·유럽에서 많이 쓰는 라우팅 서비스가 경유됐다는 사실만으로 미국·유럽 이용자의 피해가 확인됐다고 표현해서는 안 된다. 조직의 계약·보안 검토에서는 모델 선택 화면과 실제 처리 경로가 일치하는지 확인할 필요가 있다. (146~152쪽)

안전장치의 성과도 적용 범위 안에서 읽어야 한다

전체 보고서는 주로 Haiku·Sonnet·Opus 사용을 다루며 Fable 또는 Mythos급 모델의 사용은 한 무단 증류 사례를 예외로 둔다. 증류 절에서는 일반 공개 모델이 표적이었고 Mythos 5와 Mythos Preview에 대한 시도는 관찰하지 못했다고 명시한다. Fable 관련 예외는 앞서 본 Zhipu 사례의 시도와 전환을 함께 읽어야 한다. 특정 모델이 사례에 없다는 사실은 그 모델의 악용이 원천적으로 불가능하다는 증명이 아니다. (3, 143, 151쪽)

안전장치가 실제로 개입한 장면과 놓친 장면도 함께 있다. 생물학의 일부 고위험 요청은 차단됐고 강한 모델 접근이 제한되면서 지원 수준이 낮아진 사례가 있었다. 반면 이란 감시 도구 사례에서는 노골적인 악성 요청을 거부하면서도 분산된 개발 작업의 전체 목적을 일관되게 판단하지 못했다. 한 캠페인의 거부 관측치를 전체 Claude의 안전성 점수로 일반화해서는 안 된다. (107~110, 132~137쪽)

Anthropic은 계정·조직 단위 조사와 제재, 행동 기반 탐지, 분류기 개선, 추론 정보 보호, 신원 확인과 파트너 공유를 겹쳐 적용한다. 어느 한 필터만으로 모든 영역을 막을 수 있다는 결론은 아니다. 다른 모델이나 계정으로 활동이 이어지고 로컬 배포물이 남는 사례가 있으므로 서비스 내부 차단율과 실제 피해 감소를 따로 측정해야 한다. (132~133, 153~154쪽)

조직의 방어에서 바꿀 질문

이 보고서에서 조직이 가져올 첫 질문은 에이전트가 무엇을 읽고 어떤 권한으로 행동하는지다. 비신뢰 문서를 읽는 과정과 비밀정보 접근, 운영 시스템 변경, 외부 전송 권한이 한 환경에 모이면 사고의 범위가 커질 수 있다. 운영용 키와 평가 환경을 분리하고 권한을 최소화하며 계정·도구 행동의 감사 기록을 남기는 일이 모델 선택만큼 중요하다. 이는 사이버 사례를 바탕으로 정리한 방어 방향이지 특정 제품의 취약성 판정은 아니다.

두 번째는 개별 프롬프트를 넘어 프로젝트의 누적 목적을 확인하는 일이다. 공개자료 수집과 번역, 웹 개발은 각각 정상적인 작업일 수 있지만 민감한 개인의 분류와 억압, 기만적 과금 서비스에 연결되면 위험이 달라진다. 수집 동의와 법적 권한, 결과의 수신자, 배포 후 사용을 함께 검토해야 한다. 동시에 연구자나 정치적 견해만으로 악의를 추정하는 과잉 감시를 피해야 한다.

마지막은 대응 완료의 정의다. 계정 차단, 키 폐기, 게시물 삭제, 악성 소프트웨어 제거, 피해자 보호는 서로 다른 작업이다. 공식 IOC는 조사 출발점으로 활용하되 정상 서비스와 공유되는 지표 하나만으로 악성 여부를 단정하지 않는 편이 타당하다. 모델 제공자의 조치 이후에도 공급업체·유통 플랫폼·현장 운영자에게 남은 대응 과제가 무엇인지 추적해야 실제 피해 감소를 확인할 수 있다.

더 생각해보기

• 모델이 만든 산출물과 외부에서 확인된 피해를 보고서와 대시보드에서 어떻게 나눠 표시할 것인가.
• AI 공급망의 고객 키 탈취를 모델 제공자 본체의 침해와 구분해 공지하고 대응할 수 있는가.
• 기사 생성량이나 가짜 계정 수 외에 영향력 공작의 실제 도달을 무엇으로 검증할 것인가.
• 이미 로컬로 배포된 감시·악성 시스템에는 계정 제재 이후 어떤 보호 조치가 남는가.
• 생물학의 이중용도 연구를 지원하면서 기관·사용자 확인과 개인정보 보호를 어떻게 함께 설계할 것인가.
• 모델 라우팅 서비스의 실제 처리자·재위탁·대화 보관·학습 이용 조건을 조직은 확인하고 있는가.
• 에이전트의 여러 세션과 도구 호출을 연결해 누적 목적을 판단할 때 어떤 감사·이의제기 절차가 필요한가.