안전을 위해 늦추려면 가중치를 공개하라 - Jake Gold의 공개서한

TL;DR

• Jake Gold는 대중에게 제공하는 AI 모델의 가중치를 공개하도록 법으로 의무화하자고 제안한다. 내부 연구 모델 전체를 공개하라는 요구는 아니다. 공개 서비스로 출시하는 시점에 적용하자는 구상이다.
• 가중치 독점이 기업가치와 차세대 학습 자금의 기반이라는 판단이 제안의 출발점이다. 공개 의무로 독점의 경제적 가치를 낮추면 개발 속도도 줄일 수 있다는 논리다. 실제 감속 효과가 입증된 정책은 아니다.
• Gold는 복잡한 안전 규제가 기존 대형 연구소의 진입장벽이 될 위험을 제기한다. 대안의 핵심은 안전 약속을 경쟁사의 준수 비용보다 자신의 독점 이익을 포기하는 선택으로 시험하는 것이다. 가중치 공개의 안전 문제와 법적 세부 조건은 이 짧은 서한에 충분히 다뤄지지 않는다.

Jake Gold가 Dario Amodei에게 요구하는 법은 단순하다. 기업이 AI 모델을 대중에게 제공한다면 그 가중치도 공개하도록 하자는 요구다. Amodei가 외부 평가자의 상주와 업계 공조를 통한 발전 속도 조정을 제안하자, Gold는 같은 목표를 달성할 다른 수단으로 가중치 공개 의무를 제시한다. 상대가 안전을 진심으로 중시한다는 전제에서 자신의 경제적 이익까지 포기할 의사가 있는지 묻는 공개서한이다.

공개 의무는 서비스로 내놓은 모델에 적용한다

제안은 학습 중인 모든 모델이나 내부 연구 모델까지 공개하는 방식이 아니다. 기업이 대중에게 제공하기로 선택한 모델을 대상으로 하며 정부가 미공개 모델에 접근하는 가능성도 남긴다. 서한은 Anthropic의 Fable과 OpenAI의 Astra를 출시일에 가중치를 공개해야 할 예로 든다. 공개 서비스의 독점적 모델과 내부 연구 자산 사이에 경계를 그으려는 구상이다.

여기서 open weights는 모델 가중치에 접근할 수 있다는 뜻이다. 학습 데이터와 전체 학습 코드, 사용·수정·재배포에 관한 모든 권리가 자동으로 함께 공개된다는 뜻은 아니다. 이 서한은 라이선스 조건과 공개 방식, 대중에게 제공한다는 범위까지 상세히 정의하지는 않는다. 간결한 원칙을 제안한 글이며 곧바로 집행할 수 있는 완성된 법안으로 읽을 수는 없다.

안전 심사 대신 자금 조달의 유인을 바꾼다

Gold의 논리는 가중치의 독점적 소유가 선도 AI 기업의 높은 가치평가를 지탱한다는 데서 출발한다. 투자자가 앞으로 얻을 독점 수익을 크게 기대할수록 차세대 모델 학습에도 많은 자금이 들어갈 수 있다. 공개 의무가 이 기대를 낮추면 향후 학습에 투입할 돈도 줄어들 수 있다. 규제기관이 개별 학습 실행의 속도를 결정하는 대신 자금 조달의 조건을 바꿔 연구소 전반을 늦추자는 발상이다.

이 인과관계는 저자의 정책 가설이다. 가중치가 공개돼도 서비스 운영이나 배포 기반, 고객 관계에서 수익이 남을 수 있고 다른 개발자가 그 가중치를 활용해 연구를 이어 갈 수도 있다. 서한은 이런 반작용을 계산하거나 어떤 규모의 자금 감소가 필요한지 제시하지 않는다. 독점 이익의 축소가 특정 기업의 투자를 늦추는 것과 AI 전체의 발전을 늦추는 것은 구분해서 검토해야 한다.

복잡한 규칙이 기존 기업을 보호할 수 있다

Gold가 상주 평가자와 연산량 기준, 반독점 예외를 둔 업계 조정을 비판하는 이유는 규제 포획이다. 기술 세부를 가장 잘 아는 기존 연구소들이 규칙 설계에 참여하고 사고가 날 때마다 규정이 늘어나면 준수 비용도 커진다. 대기업은 법무·준수 조직을 운영할 수 있지만 뒤따르는 기업은 같은 부담을 감당하기 어렵다. 안전 규제가 결과적으로 기존 기업의 지위와 이익을 보호할 수 있다는 우려다.

서한은 규제를 통한 감속이 결국 포획으로 이어진다고 강하게 단정한다. 그러나 모든 외부 감사나 안전 기준이 필연적으로 같은 결과를 낸다는 실증을 제공하지는 않는다. 규제의 목적과 경쟁에 미치는 효과를 따로 따져야 한다는 문제 제기로 읽는 편이 정확하다. 가중치 공개라는 대안 역시 법적 의무이므로 규제 자체를 없애자는 주장이라기보다 규제가 겨누는 유인을 바꾸자는 주장이다.

공익 약속을 이익 포기의 문제로 돌린다

Gold는 Amodei를 단순한 위선자로 묘사하지 않는다. 오히려 원칙을 위해 선택을 바꿔 온 사람으로 평가하고 Anthropic의 공익법인, 즉 PBC 구조를 거론한다. 인류의 장기적 이익을 위한 AI 개발이라는 사명이 있다면 단기 이익보다 사명을 앞세우는 결정을 할 수 있어야 한다는 요구다. 다만 PBC라는 법적 형태가 가중치 공개를 자동으로 의무화하거나 제안의 안전성을 입증하는 것은 아니다.

남는 쟁점은 경쟁과 안전의 목표가 항상 같은 방향으로 움직이는지다. 가중치를 널리 배포하면 독점 통제는 줄어들 수 있지만 배포 뒤 사용을 제한하거나 회수하기 어려워지는 문제도 있다. 이 서한은 그런 위험과 비용을 비교한 종합 안전 정책은 아니다. 핵심은 감속을 요구하는 기업의 진정성을 말이나 경쟁사의 준수 비용이 아니라 자신이 가진 독점 자산을 내놓는 선택으로 시험하자는 데 있다.

참고 자료

An open letter to Dario: if you mean it, open the weights! — Jake Gold, 2026년 9월 12일.

We Must Pace the Frontier — Dario Amodei. 서한이 비판하는 상주 평가자와 업계·국제 공조 제안의 원문이다.