영상을 A/B 테스트하면 무엇이 깨지나, Brownlee의 Dear YouTube와 창작의 확신

TL;DR

• YouTube가 곧 내놓을 영상 A/B 테스트는 여러 편집본을 올려 실제 시청자에게 보이고, 시청 유지율이 가장 긴 쪽을 업로더가 고르게 하는 기능이다. Marques Brownlee는 이 기능에 반대한다.
• 그가 YouTube 엔지니어에게 확인한 바로는 두 영상의 유사도를 의미 분석 모델이 판정해 충분히 비슷할 때만 테스트를 허용하고, 새 영상의 공개 시점에만 쓰게 한다. 댓글 타임스탬프와 시청 버전 식별 문제는 답이 없었다.
• 핵심 논거는 유지율이 가장 높은 영상이 더 좋은 영상은 아니라는 것이다. 최적화는 효율 지표로 환산되지 않는 재미와 개성을 깎아 낸다.
• Jim Nielsen은 이를 소프트웨어 제작자에게도 적용한다. 측정 가능한 것만 좇는 플랫폼은 자기 정체성에 대한 불안을 사용자에게 기능으로 넘긴다고 본다.

기능이 하는 일과 Brownlee가 던진 질문

Nielsen의 글은 Brownlee의 영상 에세이 Dear YouTube에서 출발한다. YouTube는 제작자가 같은 영상의 여러 변형을 올려 어느 쪽이 더 잘 되는지 보는 A/B 테스트를 내놓을 예정이다. 썸네일과 제목 테스트는 이미 작년부터 있었고 Brownlee도 몇 차례 써 보며 시청자가 무엇을 누르는지 배웠다고 말한다. 그러나 영상 자체를 테스트하는 것은 너무 나아간 일이라고 본다.

발표된 시연은 오프닝 훅을 두 가지로 찍어 둔 제작자의 고민이다. 컷들을 올리면 YouTube가 실제 시청자에게 보여 주고 끝나면 세 버전의 유지율 그래프를 보여 준 뒤 시청 유지가 가장 긴 쪽을 고르게 한다. Brownlee에게는 곧바로 질문이 쏟아졌다. 시청자는 지금 보는 영상이 테스트 중인지 알 수 있는가. 댓글을 쓴 사람이 어느 버전을 봤는지 어떻게 아는가. 타임스탬프가 들어간 댓글은 다른 버전에서 깨지지 않는가. 링크를 보낸 사람과 받은 사람이 서로 다른 영상을 보게 되지 않는가.

엔지니어에게 들은 답과 남은 빈칸

Brownlee는 YouTube 엔지니어와의 통화 내용을 공개한다. 영상 교체 기능은 이미 내부적으로 매우 제한된 형태로 존재했고 사실 오류 정정처럼 구체적 사유가 있는 경우에만 같은 URL에 새 파일을 올릴 수 있었다. 교체본은 바뀐 한 부분을 빼면 길이가 같아야 했다. 내년 초 전체 공개를 앞둔 A/B 테스트에서는 두 영상 전체를 훑는 의미 분석 모델이 유사도를 매겨, 점수가 충분한 경우만 테스트를 허용한다. 테스트는 영상 공개 시점에만 가능하고 옛 영상을 돌려 가며 바꿔치기할 수는 없다.

나머지 질문에는 답이 없었다. Brownlee는 타임스탬프 댓글이 혼란스럽거나 깨질 것이라고 거의 확신하며 업로더는 댓글러가 어느 버전을 봤는지 모르고 시청자도 테스트 중임을 모를 것이라고 본다. 유사도 판정이 실제로 얼마나 잘 작동하는지도 불확실하다. 한 문장이 결론을 바꾸는 경우나 순서만 다른 편집본을 모델이 어떻게 다룰지는 두고 봐야 한다. 테스트 결과에 대해서도 그는 썸네일 경험을 들어, 차이가 작은 변형은 통계적으로 의미 있는 결과를 주지 못하고 큰 차이가 있을 때만 배울 것이 생긴다고 말한다. 그렇다면 허용 범위를 넓히면 함께 보는 경험이 흔들리고 좁히면 배울 것이 없다는 긴장이 생긴다.

지표가 아니라 창작이 기준이어야 한다는 논거

Brownlee는 이 기능을 두고 함께 같은 영상을 본다는 YouTube 공동체의 불문율이 깨진다고 본다. 같은 것을 함께 본 경험이 영상이 문화 현상이 되는 바탕이라는 이유다. 그는 이것이 한 번의 사건이 아니라 흐름의 일부라고 짚는다. 싫어요 수 공개를 없앤 일, 첫 프레임만 로드돼도 조회수로 세는 방식으로 바뀐 일이 모두 경쟁 플랫폼을 따라간 사례다.

제작자에게 보내는 메시지는 분명하다. 대부분의 제작자는 이 기능이 필요하지 않고 쓰지 않는 편이 낫다. 이 기능은 더 좋은 영상을 만들게 해 주는 것이 아니라 유지율이 가장 높은 버전을 찾아 줄 뿐이다. 유지율에 최적화된 결정이 아닌데도 재미있고 개성 있는 창작 결정이 많은데, 반복적인 최적화는 이야기를 가장 효율적으로 전하는 방법이 아닌 요소를 모두 깎아 낸다. 그의 결론은 분명하다. 영상을 만들고 끝내는 일을 거듭하는 편이 한 편의 제목, 썸네일, 컷을 수없이 다듬어 평균 시청 시간을 몇 퍼센트 올리는 일보다 낫다. 자기 선택을 밀고 나가고 성공과 실패에서 배워 다음 작품을 만들라는 확신의 요구다. 그 역시 자신이 구세대 유튜버라서 그럴 수 있다며 한 걸음 물러서는 말을 덧붙인다.

소프트웨어를 만드는 쪽으로 옮겨 읽기

Nielsen은 Brownlee의 논점이 소프트웨어 제작에도 적용된다고 본다. 창작자의 기술은 조회수나 유지율을 극대화하는 데 있지 않고 이야기를 전하고 개념을 가르치고 생각을 탐구할 창의적 방법을 찾는 데 있으며 지표는 그 결과로 따라온다. 끝내는 일을 거듭하는 쪽이 하나를 만들어 변형을 끝없이 시험하는 쪽보다 낫다는 점, 효율만 좇으면 재미있는 부분이 먼저 잘려 나간다는 점이 그가 꼽는 대목이다. 그가 든 예는 『모비 딕』이다. 이 소설은 그 이야기를 전하는 가장 효율적인 방식이 아니었다.

그의 가장 날카로운 해석은 이 기능이 어디서 왔는가에 있다. 여러 변형을 만들어 모두 시험하고 가장 잘 되는 것을 고른다는 발상은 자신이 무엇이 되고 싶은지 모르는 플랫폼의 사고방식이다. 그런 곳은 남들이 하는 것을 따라 하고 측정 가능한 변덕을 좇으며 시간을 쓴다. 플랫폼이 자기 불안을 다루는 방식이 기능이 되어 사용자에게 흘러내린다는 지적이다. 이 진단은 Nielsen의 해석이며 YouTube 내부 의사결정에 대한 증거는 글에 없다. 그가 함께 링크한 데이터 관련 글은 이 노트에서 읽지 않았다.

참고 자료

Jim Nielsen — Dear Software Makers

Marques Brownlee — Dear YouTube (YouTube) — 영어 수동 자막 전체(약 12분 16초)를 읽고 엔지니어에게 들은 내용과 기능 설명을 대조했다.