LLM의 출력을 이해하는 법, Karpathy가 꼽은 글쓰기에서 설명 영상까지의 네 단계

TL;DR

• Karpathy는 앞으로 사람이 LLM의 결과물을 이해하는 데 훨씬 많은 시간을 쓰게 된다고 본다. 이해를 돕는 출력 형식을 네 가지로 제안하며 뒤로 갈수록 더 낫다고 말한다.
• 네 형식은 ASD-STE100 통제 언어로 쓴 설명, 다이어그램, HTML 웹 페이지, 맞춤형 설명 영상이다. 그가 가장 기대하는 것은 설명 영상이고, 이미 작동하기 시작했다고 말한다.
• 요지는 LLM이 더 나아질수록 실무 대부분을 자율적으로 처리하고 사람의 일은 감독과 이해라는 추상 수준으로 올라간다는 것이다.
• 지능과 코드가 흔해졌으니 웹 앱이나 영상처럼 예전에는 만들 가치가 없던 크고 일회용인 산출물을 요청해 이해에 쓰라는 제안이 결론이다.
• 글은 짧은 X 게시물이며 효과를 측정한 자료가 없다. 그가 제안한 형식이 이해를 실제로 높인다는 근거는 저자의 경험이고, 생성된 산출물의 정확성을 어떻게 확인할지는 다루지 않는다.

이해해야 할 출력이 늘어난다는 전제

Karpathy는 짧은 X 게시물에서 언어 모델의 출력을 이해하는 데 앞으로 훨씬 많은 시간을 쓰게 될 것이라고 전제하고 몇 가지 생각과 요령을 공유한다. 핵심은 모델이 무엇을 만들어 내느냐보다 사람이 그것을 어떤 형태로 받아야 가장 잘 이해하느냐다. 결과물이 늘어나는 환경에서는 읽는 비용이 병목이 된다는 문제의식이다.

이 전제는 코드 생성이 빨라진 뒤 리뷰가 막힌다는 최근의 관찰과 같은 축에 있다. 생성 속도가 올라갈수록 병목은 사람의 이해로 옮겨 가고 그렇다면 출력의 형식도 사람이 소화하기 쉬운 쪽으로 설계해야 한다는 논리로 이어진다. 게시물은 그 설계 선택지를 사다리처럼 제시한다.

네 단계 사다리

첫 번째는 글쓰기다. 그는 LLM에게 ASD-STE100으로 설명해 달라고 요청하면 성과가 좋았다고 적는다. 항공우주 정비 문서를 위해 만든 통제 언어 규격이고 LLM이 이 언어를 잘 알며 깔끔한 문체에 강한 제약을 걸어서 읽기 쉽게 느껴진다는 이유다. 규격이 매우 엄격해서 가끔은 ASD-STE100의 80% 정도만 따르라고 느슨하게 요청한다. 그러고는 더 나은 것이 있다며 다음 단계로 넘어간다.

두 번째는 다이어그램이다. 글 대신 다이어그램을 만들어 달라고 하면 처리하고 파악하고 이해하기가 훨씬 쉬울 수 있다고 본다. 세 번째는 웹 페이지다. HTML로 출력해 달라고 하면 아름답고 인터랙티브한 페이지를 얻는다. LLM이 프런트엔드를 정말 잘하게 되어 애니메이션 같은 경험까지 만들 수 있다고 적는다. 각 단계마다 그는 더 나은 것이 있다고 덧붙이는데, 이 반복이 글의 구조를 만든다.

네 번째는 설명 영상이다. 그가 가장 낙관하는 출력 형식이며 임의의 주제에 대한 완전한 맞춤형 설명 영상이다. 예시 프롬프트는 어떤 주제에 대해 3Blue1Brown 스타일의 영상 설명을 만들고 음성 해설에는 자신의 ElevenLabs API 키를 쓰라는 식이다. 키가 없다면 로컬 연산으로 돌릴 수 있는 괜찮은 무료 대안을 LLM에게 찾아 달라고 하면 된다. 그는 이것이 실제로 작동하기 시작했다고 말한다. 다만 그 작동의 품질이나 재현성을 보여 주는 사례는 게시물에 없다.

ASD-STE100은 무엇인가

ASD-STE100은 Simplified Technical English의 규격이다. 공식 사이트에 따르면 1970년대 후반 유럽 항공우주산업협회(AECMA, 지금의 ASD)가 미국 항공우주산업협회의 지원을 받아 유럽 항공사들의 요청으로 개발했다. 영어 기초만 아는 독자도 항공기 정비 문서를 이해하게 하려는 목적이었다. 1986년 AECMA Simplified English Guide가 나왔고 2005년에 국제 규격이 됐으며 2025년에는 국제 표준이 되었다. 현재 판은 2025년 1월 15일자 Issue 9이고 무료 공식 사본을 신청해 받을 수 있다.

ASD 자료는 이 언어를 명확한 작성 규칙과 승인된 어휘를 가진 통제 자연어로 설명한다. 능동태, 짧은 문장, 논리적 구조가 규칙이고 승인된 단어만 쓰며 각 단어는 하나의 의미만 갖는다. 항공우주와 방위에서 출발해 정보 기술과 산업, 학계로 쓰임이 넓어졌다고 한다. 글에 첨부된 이미지는 이 규격의 개요 인포그래픽이다. 이미지를 분석한 결과 규칙 문서와 사전의 두 부분 구조, 승인되지 않은 단어와 대체어 표, 절차 문장과 설명 문장의 단어 수 상한 같은 내용이 담겨 있다. 세부 수치는 이미지에서 읽은 것이고 규격 원문은 이 노트에서 확인하지 않았으므로 정확한 규칙은 공식 문서로 확인해야 한다.

흥미로운 점은 이 첨부 이미지 자체가 글의 논지를 보여 준다는 것이다. 규칙을 글로 나열하는 대신 트리, 표, 게이지, 연표를 한 장에 배치해 구조를 한눈에 보이게 했다. 글쓰기 다음 단계가 다이어그램이라는 주장을 이미지가 시연하는 셈이다. 다만 이 이미지를 LLM이 만들었는지는 게시물에 밝혀져 있지 않다.

감독과 이해로 올라가는 일, 일회용 산출물이라는 발상

요약에서 Karpathy는 두 가지를 말한다. LLM이 나아질수록 실무를 더 많이 자율적으로 처리하고 우리 일은 점점 추상화 사다리를 올라가 감독과 이해가 된다. 다행히 이 이해도 LLM이 도울 수 있다. 지능과 코드가 점점 풍부해지므로 예전에는 만들 이유가 없던 크고 맞춤형이며 버려도 되는 소프트웨어 산출물, 예컨대 웹 앱이나 설명 영상을 요청할 수 있다. 그는 이 경계를 밀어붙여 보면 놀랄 것이라고 권한다.

이 발상의 새로운 점은 산출물의 수명과 비용에 대한 전제를 바꾸는 데 있다. 웹 앱이나 영상은 만드는 데 비용이 들어서 재사용될 때만 가치가 있었다. 생성 비용이 거의 없다면 한 번 이해하는 데 쓰고 버려도 된다. 이해를 위한 일회용 도구가 일상적인 작업 방식이 될 수 있다는 제안이다.

읽을 때 유의할 점

이 글은 측정이나 비교 없이 개인의 경험으로 쓴 게시물이다. 통제 언어로 쓴 글이 더 읽기 쉽다는 주장도, 설명 영상이 가장 낫다는 순위도 검증된 사실이 아니다. 형식이 화려해질수록 이해한 것 같은 느낌과 실제 이해가 어긋날 수 있다는 위험도 게시물은 다루지 않는다. 이 지적은 게시물에 없는 노트의 관찰이다. 생성한 다이어그램이나 영상이 틀렸을 때 그것을 알아챌 감독 능력은 어디서 오는지가 남는 질문이다. 감독으로 올라가는 일이 늘수록 확인 수단을 함께 설계해야 한다.

그래도 실용적으로 가져갈 수 있는 것은 분명하다. 모델의 출력을 받을 때 형식을 요청에 포함할 수 있고 같은 내용을 글, 다이어그램, HTML로 바꿔 요청해 보며 내게 맞는 형식을 찾을 수 있다. 처음부터 완성도를 요구하기보다 이해를 위한 일회용 산출물로 가볍게 시도해 보는 것이 그의 제안에 가깝다.

참고 자료

Andrej Karpathy — We’ll be spending a lot more time trying to understand the outputs of language models (X)

ASD-STE100 공식 사이트 — 개발 배경과 연혁, Issue 9 정보를 대조했다. 규격 본문은 열어 보지 않았다.

ASD — Simplified Technical English — 통제 자연어로서의 규칙과 적용 분야를 확인했다.