가르치지 말고 배울 이유를 만들어라, 정형원의 MIT 강연과 인센티브로 보는 범용 AI

TL;DR

• 정형원의 핵심 주장은 범용 AI에 필요한 능력을 사람이 하나하나 가르칠 수 없다는 것이다. 모델이 스스로 익히도록 유도해야 한다고 본다. 사람이 짠 구조는 규모가 커지면 병목이 된다.
• 다음 토큰 예측은 대규모 암묵적 다중 과제 학습이라는 가설이다. 수조 개의 과제를 풀려면 외우기보다 범용 능력을 익히는 편이 유리하다.
• 환각은 정답 +1, 모른다 0, 확신한 오답 −4 같은 보상으로 풀 수 있다고 본다. 모델이 자신이 무엇을 아는지 구분하게 된다는 논리다. 그는 이것이 유일한 근본 해법이라고 주장한다.
• 실용적 태도는 안 된다 대신 아직 안 된다로 생각하는 것이다. 새 모델이 나올 때마다 낡은 직관을 버려야 한다.
• 모두 2024년 강연에서 나온 가설이며 실험으로 증명된 결론이 아니다. 이 노트는 그 강연을 한국어로 정리한 X 글과 영어 자막의 핵심 대목을 대조한 것이다.

글의 성격과 확인한 범위

원문은 BSPK가 X 아티클로 올린 글이다. 2024년 공개된 정형원의 MIT EI 세미나 강연을 요약과 강연 재구성으로 옮겼고 당시 정형원은 OpenAI 연구원이었다. 글은 자신의 요약을 먼저 싣고 뒤이어 강연 본문을 한국어로 풀어 쓴다. 요약은 BSPK의 정리이고 강연 내용은 정형원의 발언이라는 점을 구분해서 읽어야 한다.

강연의 실재와 핵심 주장은 YouTube 영어 자막으로 대조했다. 연산 비용 그래프, 환각 보상표, 물고기 비유, 작은 트랜스포머로 설명한 창발, 아직이라는 관점이 자막에 같은 내용으로 나온다. 자막 전체 길이는 약 36분이고 이 노트는 전수 비교가 아니라 핵심 대목을 확인했다. 한 가지 날짜 차이가 있다. MIT CSAIL 행사 페이지는 세미나를 2024년 5월 2일로 적고 영상 공개는 2024년 9월이다. 글이 말하는 2024년 9월은 공개 시점이다.

연산 비용이 기하급수적으로 떨어진다는 전제

정형원은 자신이 아는 AI 자료 중 가장 중요한 그래프로 Rich Sutton이 소개한 자료를 꼽는다. 가로축은 1900년경부터 2020년까지의 시간이고 세로축은 1,000달러로 살 수 있는 초당 연산량을 로그 눈금으로 나타낸다. 같은 돈으로 할 수 있는 연산량이 약 100년 동안 기하급수적으로 늘었다는 뜻이다. 그는 이만큼 강하고 오래 이어진 흐름을 달리 알지 못한다고 말한다. 그 흐름을 볼 때 하는 생각은 두 가지다. 경쟁하지 말 것, 그리고 연구와 삶에서 최대한 활용할 것이다.

이 전제에서 연구자의 일이 정의된다. 하드웨어가 이렇게 빨라지니 알고리즘도 더 많은 연산을 넣을수록 더 좋아지는 방법이어야 한다. 그는 지금 1,000억 달러어치 연산을 주면 제대로 쓸 수 있는지 묻고 아직 누구도 충분히 알지 못한다고 답한다. 늘어나는 연산을 성능으로 바꿀 길을 찾는 것이 연구자의 일이라는 주장이다.

쓴 교훈과 사람이 정한 구조의 대가

정형원은 Sutton의 「쓴 교훈」에 전적으로 동의한다고 말한다. 지난 70년의 AI 발전을 이끈 것은 사람이 미리 짠 구조를 줄이고 더 범용적인 방법에 더 많은 데이터와 연산을 투입한 일이라는 요지다. 글은 데이터와 연산 규모를 가로축에, 성능을 세로축에 놓고 두 종류의 방법을 비교한다. 사람이 정한 구조가 많은 방법은 지름길이 되어 초반 성과가 좋지만 어느 지점에서 성능이 멈춘다. 구조가 적은 방법은 처음에는 잘 안 되지만 자원이 충분해지면 규모를 키운 만큼 계속 나아간다.

예로 든 것은 SVM 같은 커널 방법과 딥러닝이다. 커널 방법에서는 데이터 표현을 사람이 상당 부분 정하고 딥러닝에서는 표현 자체를 모델이 학습한다. 처음에는 딥러닝이 부진했지만 더 많은 자원을 쓸 수 있었기에 앞서 나갔다. 그가 인정해야 한다고 말하는 사실은 세 가지다. 정교한 구조는 규모가 커질수록 병목이 되기 쉽다. 장기적으로 유망한 방법은 단기적으로 형편없어 보일 수 있다. 컴퓨터가 싸지는 속도가 연구자가 나아지는 속도보다 빠르다. 그는 인간 지능이 지능의 상한선이라고 생각하지 않으며 지능이 어떤 모습이어야 하는지까지 미리 정할 이유가 없다고 말한다.

스케일링을 다시 정의하다

흔한 정의는 더 많은 기계로 같은 일을 하는 것이지만 그는 그것만으로는 흥미롭지 않다고 본다. 그가 쓰는 스케일링은 두 단계다. 규모를 키우는 데 걸림돌이 되는 모델링 가정이나 귀납적 편향을 찾고 그것을 더 많은 연산을 효과적으로 쓰는 방법으로 바꾼다. SVM에서 딥러닝으로의 변화가 이런 의미의 스케일링이다.

여기에는 연구자의 자존심에 대한 비판이 붙는다. 연구자는 자기만의 모델링 아이디어를 넣고 싶어 하고 규모를 키우는 일은 지루한 엔지니어링이라고 여기는 사람도 있다. 그는 왜 AI를 연구하는지 되묻는다. 궁극적 목적은 사람들에게 도움이 되는 가치를 만드는 것이고 연구자의 자존심보다 중요하다. 10년 연구한 방법이라도 더 이상 연산을 효과적으로 쓰지 못하면 다시 생각해야 하고 필요하면 새로 배워야 한다. 그는 OpenAI가 연구자들이 이 관점을 따르는 점을 잘하는 일로 꼽는데, 이는 당시 소속 연구자의 평가이며 외부 검증은 아니다.

다음 토큰 예측은 대규모 암묵적 다중 과제 학습이다

정형원은 LLM이라는 이름의 두 L이 모두 적절하지 않다고 말한다. Large는 상대적이라 오늘의 큰 모델이 내년에는 작아질 수 있고 Language는 모델이 배우는 것이 언어만이 아니라 세상에 대한 지식이기 때문이다. 언어는 그 지식이 표현되는 한 방식일 뿐이다.

다음 토큰 예측이 왜 잘 되는지에 대해 널리 합의된 설명은 없다고 그는 전제한다. 자신에게 도움이 된 가설은 이것이 대규모 암묵적 다중 과제 학습이라는 것이다. 모델이 풀 과제를 사람이 정하지 않아도 다양한 텍스트가 저절로 서로 다른 과제를 낸다. 영화 평가 문장의 빈칸은 단순한 패턴으로 풀리지만 주가가 5% 올랐을 때의 값은 계산을, 다른 언어의 문장은 그 언어를, 열역학 제1법칙은 과학 지식을 요구한다. 웹 규모 데이터에서는 이런 과제가 수조 개에 이르고 과제마다 요령을 따로 익히면 아무리 큰 모델도 감당하기 어렵다. 그래서 여러 문제에 두루 쓰이는 능력, 곧 언어 구조와 의미 이해, 개념을 연결하는 추론을 익히는 편이 유리해진다는 가설이다. 그는 이것이 엄밀한 설명이 아니라고 스스로 밝힌다.

이어 직접 주는 학습 신호와 그것이 만드는 학습 동기를 구분한다. 다음 토큰 예측의 신호는 토큰을 맞히라는 것이지만 그것을 잘하려면 언어 이해와 추론을 익혀야 한다. 요구한 일과 그 일을 잘하려고 배우게 되는 것은 다를 수 있다. 바둑 같은 게임에서 이기라는 신호를 주면 좋은 수가 무엇인지를 가르치지 않아도 익히게 되는 것과 같은 구조다.

환각과 물고기 비유

환각은 이 관점에서 다룬다. 강연에서 그는 John Schulman의 발표에서 가져와 바꾼 보상 구조를 보여 준다. 확신을 갖고 답해 정답이면 +1, 확신이 없다고 밝혔지만 정답이면 +0.5, 모른다고 답하면 0, 확신이 없다고 밝혔고 오답이면 −2, 확신을 갖고 답했는데 오답이면 −4다. 모른다는 답을 정식 선택지로 인정하는 것이 핵심이다. 질문이 100개이고 그중 50개의 답을 모른다면 모르는 문제를 외울 수 있다. 질문이 수조 개라면 외울 수 없으니 안다는 것과 모른다는 것의 일반적 구분을 익히는 쪽이 유리해진다. 그는 이것이 환각을 근본적으로 해결하는 유일한 방법이라고 본다.

물고기 비유는 이 구조를 쉽게 보여 준다. 물고기를 주는 것이 답을 넣어 주는 것이고 낚시를 가르치는 것이 기술을 직접 가르치는 것이라면, 인센티브 방식은 물고기 맛을 알게 하고 배고프게 만드는 것이다. 그러면 사람이 낚시를 배우고 기다리는 인내, 날씨 읽기, 미끼 고르기 같은 더 넓은 능력도 익힌다. 자율 에이전트의 정렬에도 같은 논리를 적용해 금지할 행동을 일일이 규칙으로 정하는 대신 보상 구조와 다양한 경험으로 해로운 행동을 스스로 익히게 할 수 있다는 것이 X 글 요약의 결론이다. 이 적용은 강연의 확장이며 강연 자막에서 정렬 부분은 이 노트에서 따로 확인하지 못했다.

전문 모델과 범용 모델, 문턱과 창발

이런 방식은 간접적이라 연산이 훨씬 많이 들고 비효율적으로 보일 수 있다. 정형원은 무엇이 한정된 자원인지 따져 보라고 답한다. 사람에게는 시간이 희소하고 하루에 깨어 있는 시간이 16~17시간 안팎이라, 여러 분야를 익히는 시간은 한 분야를 깊이 파는 시간을 줄인다. 기계는 모델마다 쓸 수 있는 연산이 다르고 하루가 1년인 방을 쓰는 사람의 365배보다 훨씬 큰 격차가 날 수 있다. 그래서 작은 전문 모델이 큰 범용 모델을 이긴다는 주장에는 사람의 경험에서 온 편향이 숨어 있다는 것이 그의 입장이다. 그는 범용 모델이 특정 분야에서도 더 잘할 수 있다고 본다. 이것은 강연자의 관점이고 실제로 전문 모델이 유리한 조건은 비용, 지연, 데이터 접근 등 여러 요인에 달려 있어 일반 법칙으로 받아들이기는 어렵다.

인센티브가 효과를 내려면 먼저 일정 수준 이상의 지능이 필요하다. 원숭이에게 바나나를 아무리 약속해도 수학적 추론을 하게 만들 수는 없다는 비유다. GPT-4 같은 모델은 많은 과제에서 그 문턱을 넘어 이제 인센티브 설계가 의미를 갖는다고 본다. 같은 학습 목표도 모델 규모에 따라 다른 능력을 낳는다. 아주 작은 트랜스포머는 수학 문제를 풀지 못하고 GPT-4는 푼다면 그 사이에 변곡점이 있고 그는 그것을 창발이라고 실용적으로 정의한다. 창발이 신기루라는 논쟁의 세부는 중요하지 않다는 입장이다.

안 된다가 아니라 아직 안 된다

가장 실용적인 태도로 그는 아직이라는 관점을 든다. 열역학 실험은 3년 뒤에도 300년 뒤에도 비슷하지만 언어 모델 연구는 그때그때 가장 뛰어난 모델이 전제 역할을 한다. GPT-3가 나왔을 때 쌓은 직관은 GPT-4가 나오자 상당수 무효가 됐다. 몇 년마다 다른 행성으로 옮겨 가는 것과 같아서 낡은 전제를 버리는 과정이 계속 필요하지만 실제로는 충분히 이뤄지지 않는다고 말한다. 이 때문에 경험이 적은 신입에게 기회가 있다. 버려야 할 직관이 적어 더 유연하다는 해석이다. OpenAI에도 전통적인 기계학습 박사 출신이 아닌 사람이 많고 중요한 것은 배경보다 새 증거에 맞춰 접근을 바꾸는 태도라고 한다.

연구 방향을 정하는 그림도 소개한다. 능력마다 창발에 필요한 규모가 다르다. GPT-3도 GPT-4도 못 하지만 조금 더 나은 모델에서 조짐이 보일 능력 1, 훨씬 큰 발전이 필요한 능력 2, 이미 가능한 능력 3이 있다. 그는 실용적인 사람으로서 능력 2보다 능력 1을 연구해 다음 모델에 대비하고 싶다고 한다. 작은 모델이 이미 잘하는 일을 연구한다면 앞으로 개선할 여지가 얼마나 남았는지 냉정하게 봐야 한다는 조언이다.

읽을 때 유의할 점

이 글의 주장은 대부분 가설이거나 강연자의 관점이다. 다음 토큰 예측이 암묵적 다중 과제 학습이라는 설명은 그 자신이 엄밀하지 않다고 밝힌 가설이고 환각을 해결하는 유일한 방법이라는 표현은 강한 확신이지 증명이 아니다. 보상 구조를 쓴 학습에서 모델이 실제로 모름을 잘 구분하게 되는지는 강연에서 결과로 제시되지 않는다. 또 강연은 2024년 시점이다. 글 머리에는 o1과 DeepSeek-R1 같은 추론 모델을 이해하는 데 도움이 된다는 평이 붙어 있는데 이는 BSPK의 해석이다.

그래도 이 글이 쓸모 있는 이유는 설계 질문을 남기기 때문이다. 내가 만드는 시스템에서 사람이 정한 규칙과 구조는 어디에 있고 그것이 자원이 늘어나면 병목이 되는가. 직접 가르치는 대신 어떤 신호를 주면 원하는 능력이 따라오는가. 이 질문은 모델 학습뿐 아니라 에이전트와 팀을 설계하는 일에도 그대로 옮겨 볼 수 있다.

참고 자료

BSPK — “Don’t teach, Incentivize,” ex-OAI 정형원 (X)

Hyung Won Chung — MIT EI seminar, “Don’t teach. Incentivize.” (YouTube) — 영어 자동 자막으로 연산 비용 그래프, 환각 보상표, 물고기 비유, 창발과 아직의 관점을 대조했다. 전수 비교는 하지 않았다.

MIT CSAIL — EI Seminar: Hyung Won Chung (OpenAI) — 세미나 일시와 제목을 확인했다.