채점할 수 없는 일에 가치가 있다, Phil Chen의 AI 시대 커리어 조언 여섯 가지

TL;DR

• 핵심 전제는 AI 모델이 손실 함수를 쓸 수 있는 일을 점점 잘하게 된다는 것이다. 학교의 문제는 대부분 정답이 있는 채점형이므로, 앞으로 10년의 가치는 모델 학습 기간 안에 채점할 수 없는 일에서 나온다고 저자는 본다.
• 한계 자원은 시간과 관계, 평판이다. 자본에 접근하기는 쉬워졌지만 좋은 사람들과의 실시간 관계와 입증된 성과는 여전히 드물다.
• 에이전트 네이티브 회사의 채용 기준은 문제를 찾아내 토큰과 시간을 배분하는 능력으로 옮겨 갔다. 코딩 면접과 시스템 설계 면접은 실제 성과와 상관이 낮다고 본다.
• 가장 야심 찬 형태의 문제를 고르고 마지막 구간을 끝까지 다듬으라는 조언이 이어진다. 결과는 멱법칙으로 갈리고 평균은 에이전트가 성긴 프롬프트로 내놓는 수준이다.
• 모든 내용은 창업자이자 채용자인 한 사람의 경험과 신념이며 검증된 연구가 아니다. 글은 채용 홍보로 끝난다.

채점할 수 있는 일은 모델이 가져간다

Phil Chen은 창업자이면서 Helm AI, Scale AI, OpenAI, Google에서 일한 경력을 가진 사람으로 자신을 소개한다. 글의 첫 문장이 논지를 압축한다. AI 모델은 손실 함수를 쓸 수 있는 모든 것에서 나아지고 학교는 거의 손실 함수로 이뤄져 있다는 것이다. 정답이 알려진 잘 정의된 문제를 채점하는 구조이기 때문이다. 그래서 다음 10년의 가치 있는 일은 모델 학습 기간 안에 채점할 수 없는 모든 것이라고 그는 결론짓는다.

이 전제는 글 전체의 뼈대이지만 저자의 주장일 뿐이고 어떤 일이 채점 불가능한지 어떻게 가려내는지는 글에서 다루지 않는다. 저자는 에이전트 코딩이 등장하면서 많이 바뀌었다고 하면서도 “로켓에 올라타면 자리를 가리지 말라” 같은 오래된 격언 중 상당수는 여전히 참이라고 본다. 그가 창업한 회사는 완전히 에이전트 네이티브여서 과거 어느 회사와도 필요한 인력이 다르다. 이 글은 의욕 있는 커리어 초기 사람에게 주는 조언이라는 점도 전제한다.

한계 자원에 집중하고 문제를 찾는 법을 배운다

첫 번째 조언은 정말로 한정된 자원에 집중하라는 것이다. 저자는 Scale에 들어가기 전에 보장 현금이 훨씬 높은 퀀트 제안이 있었지만 커뮤니티와 다양한 제품을 접할 기회가 좋아서 Scale을 택했다. 그 경험이 LLM 추론 제공자들과의 접점이 되어 DeepMind와 OpenAI의 기회로 이어졌고 그때 만난 동료들이 지금은 창업자 공동체가 되었다. 그에게는 그 네트워크와 배움이 포기한 현금보다 삶에 훨씬 크게 기여했다. 그의 진단은 자본 접근은 과거 어느 때보다 쉬워졌지만 다른 사람과의 실시간 접촉과 강한 관계는 여전히 드물다는 것이다. 관련 분야에서 입증된 성과가 여전히 가장 강한 신호이므로, 좋은 일을 하고 그것을 좋은 일을 하는 평판 있는 사람들에게 알리라고 조언한다. 시간과 관계, 평판이 진짜 한계 자원이다. 바이브 코딩으로 쉽게 돈이 되는 기회를 찾을 수 있지만 진짜 가치를 찾을 때 보상이 대체로 훨씬 크다는 말을 덧붙인다.

두 번째는 문제를 푸는 능력에 더해 찾는 능력을 기르라는 것이다. 아무도 코드를 손으로 쓰지 않는 회사에서는 리트코드식 문제나 시스템 설계 질문이 실제 직무 성과와 상관이 없다고 느껴, 지원자가 주어진 환경을 빠르게 파악하고 풀 가치가 있는 문제를 골라 기존 환경의 제약 안에서 해결하는지를 재는 면접으로 바꿨다. 가장 중요한 기술은 문제 선택과 자원 배분이다. 에이전트가 복잡하고 잘 정의된 문제를 맡을 수 있으니, 영향력 큰 사람은 중요한 문제를 알아보고 토큰과 시간을 배분하는 사람이다. 에이전트가 과제를 모두 푼다며 낙담하는 학생이 있지만 그가 면접에서 본 지원자들은 해답에 도달하는 데 드는 시간과 토큰이 크게 다르다. 뛰어난 지원자는 상위 수준의 직관과 바깥 맥락을 에이전트와의 협업에 가져온다. 높게 평가한 지원자들은 자기 열정 프로젝트나 의미 있는 문제가 사람 수보다 많은 고성장 회사에서 문제 환경에 몰입한 경험이 있었다. 이 관찰은 저자가 본 표본에서 나온 인상이며 통계가 아니다.

가장 야심 찬 문제와 마지막 구간

세 번째 조언은 문제의 가장 야심 찬 형태를 고르라는 것이다. 연구에서 지난 10년간 가장 유용했던 틀인 쓴 교훈, 즉 범용 방법을 확장하는 쪽이 과제별 최적화를 결국 이긴다는 생각을 회사와 문제 선택에도 적용한다. 회사와 커리어의 결과는 늘 멱법칙을 따랐지만 AI가 그 속도를 높였다. 소프트웨어를 만들기가 훨씬 쉬워져 누구나 간단한 시스템을 쉽게 만들 수 있기 때문에, 지속 가능한 진짜 가치는 정말 야심 찬 문제에 극도로 집중할 때만 만들어진다. 회사를 고르는 기준은 그 회사가 자기 문제의 가장 야심 찬 형태를 다루는지, 그리고 실제로 풀 가능성이 있는지다. 역할을 고를 때는 그 회사가 푸는 문제의 최전선에서 직접 일할 수 있는지를 본다.

네 번째는 마지막 구간을 끝까지 달리라는 것이다. Alfred Lin의 글에서 마지막 10%가 일의 90%이자 보상의 90%라는 생각을 빌린다. 에이전트가 성긴 프롬프트로 내놓는 결과가 중앙값이라서 AI는 결과를 양극화했고 가치는 문제의 한 조각에 대한 독특한 관점이나 세부에 대한 집착에서 나온다. 마지막 구간을 잘 다루려면 연습과 집중이 필요하고 처음부터 완벽한 것은 없으니 반복이 핵심이다. 코딩 에이전트의 진전이 빠르기 때문에 이전 반복에서 배운 것을 들고 다음 세대 지능으로 처음부터 다시 시작하는 편이 나은 경우가 많다는 조언이 눈에 띈다. 자기 프로젝트로 연습하고 다듬기, 깔끔한 설계, 확장성, 창의성에 조금 더 시간을 쓰는 사람이 지원자들 사이에서 차이를 만든다고 그는 본다.

기회를 보는 눈과 득점 효율, 연구 진입

다섯 번째는 축구의 xG(기대 득점)와 효율의 비유다. xG는 기회의 질로 팀이 넣을 것으로 기대되는 득점이고 효율은 그 기회를 실제로 득점으로 바꾸는 비율이다. 저자는 2023년에 당시 약 50명이던 Anthropic과 비창업자 직원이 2명이던 Cursor의 제안을 거절하고 DeepMind에서 프런티어 모델 추론과 학습을 택했으며 2024년에는 두 곳을 다시 거절하고 OpenAI로 갔다. 커리어 관점에서 높은 xG였지만 자신의 관심과 문화 적합, 목표에 맞는 쪽을 골랐다고 한다. 지나고 보면 많은 결정이 옳았지만 결정을 내리기 전에 데이터를 더 모았어야 했다고 돌아본다. 이 서술은 개인 회고라서 결과가 인과를 증명하지 않는다.

그는 ASI가 지식 노동의 모든 사람을 대체하리라고는 믿지 않는다. 인간은 ASI가 풀 의미 있는 문제를 고르고 그 문제를 풀 자본을 배분하는 데 차별적 능력이 있기 때문이라는 이유다. 이것은 신념이며 글은 근거를 제시하지 않는다. 기회를 볼 수 있는 자리에 있는 것이 득점의 첫걸음이고 그것은 평판과 전문성에 달렸다. 그는 Cursor의 기회가 창업자들과 공통 지인 사이에서 쌓은 평판에서, Anthropic의 기회가 그 팀이 흥미로워하는 문제에 업무 안팎의 시간을 투자한 데서 왔다고 설명한다. 초기 회사를 고를 때는 본질적으로 팀과 시장을 본다. 지금의 제품에 매달리는 지원자가 많지만 팀이 좋으면 제품은 거의 항상 전혀 다른 것으로 진화하며 그가 처음 본 Anthropic의 데모는 자신에게 ChatGPT보다 못한 슬랙봇이었다는 일화를 든다.

여섯 번째는 지금 연구에 진입할 수 있다는 것이다. 연구는 컴퓨트가 많을수록 쉽지만 좋은 출발점은 모델을 써 보며 자기 직관을 평가로 증류하는 일이다. 공개 최적화 리더보드도 아이디어를 구조적으로 탐색할 장이고 Modal 같은 컴퓨트 제공자는 학계에 크레딧을 준다. 대부분의 아이디어는 규모를 키우면 실패하지만 그 실패를 이해하는 것이 실제로 되는 것을 이해하는 첫걸음이다. 연구자는 직업이 아니라 마음가짐이라는 결론이다. 프런티어 연구소의 일은 새 아이디어를 탐색할 호기심, 인프라와 싸워 구현하는 끈기, 시스템을 극도로 세밀하게 이해해 디버깅하는 능력, 더 많은 컴퓨트를 얻기 위해 결과의 가치를 설명하는 능력이 섞인 것이며 이는 프런티어 연구소 밖에서도 할 수 있다.

읽을 때 유의할 점

이 글은 X 아티클로 발행된 개인의 조언이다. 창업자가 채용 대상에게 보내는 글이라 마지막에 함께 일하자는 말이 붙는다. 수치와 경력은 본인 서술이며 노트에서 독립적으로 확인하지 않았다. 글이 링크한 Gemini 팀 동료의 연구 진입 글과 Alfred Lin의 글, 리더보드 자료는 읽지 않았다. 인용된 이직 결정은 하나의 성공한 사례이므로 다른 선택이 더 나빴다는 증거로 읽을 수 없다. 그래도 문제 선택과 자원 배분이 핵심 역량이라는 관찰은 에이전트와 함께 일하는 사람에게 실용적인 질문을 남긴다. 내가 하는 일 중 채점 가능한 부분과 그렇지 않은 부분이 어디인가 하는 질문이다.

참고 자료

Phil Chen — Career advice in the age of AI (X)