제목·썸네일 A/B 시험과 전후 비교의 차이

같은 기간에 나눠 노출하는 시험과 순서대로 비교하는 전후 비교

전후 비교에서는 변경 전과 변경 후 사이에 시간이 흐르므로, 그동안 생긴 다른 변화가 숫자에 섞일 수 있습니다. 영상이 처음 올라간 직후와 몇 주가 지난 뒤는 영상을 찾아오는 시청자가 다를 수 있고, 계절이나 다른 영상의 게시도 숫자에 영향을 줄 수 있습니다. 이 때문에 숫자가 올랐어도 제목 덕분인지 시간 덕분인지 가르기 어려울 수 있습니다.

병원 채널에서 제목·썸네일 시험을 계획한다면 먼저 유튜브 공식 도구가 후보를 어떻게 나눠 노출하는지, 어떤 영상 형식을 지원하는지, 무엇으로 결과를 판정하는지를 확인하고, 시험이 진행되는 동안 영상 정보를 변경하지 않도록 담당자끼리 미리 정합니다.

전후 비교와 A/B 시험의 차이

전후 비교와 A/B 시험의 차이를 정리한 표에서 가장 큰 차이는 노출 방식 줄입니다. 나머지 줄은 노출 방식에서 따라 나오는 차이로, 후보가 같은 기간을 공유하면 시간과 시청자 구성의 영향이 후보 사이에서 비슷해질 수 있습니다.

유튜브가 안내하는 시험의 작동 방식

유튜브 고객센터의 「제목 및 썸네일 A/B 테스트」 도움말은 크리에이터가 최대 3개의 서로 다른 제목과 썸네일을 테스트하고 비교할 수 있으며, 테스트가 끝나면 시청 시간이 가장 긴 제목 또는 제목과 썸네일의 조합이 모든 시청자에게 표시된다고 안내합니다.

같은 도움말은 유튜브의 A/B 테스트가 동시 실행되는 실제 A/B/C 테스트로, 모든 변동이 시청자에게 동시에 표시된다고 설명합니다. 대다수의 서드 파티 도구는 A/B 테스트를 순차적으로 실행하므로 결과가 다를 수 있고, 서드 파티 도구는 대개 클릭률만을 고려해 최적화한다고도 밝힙니다. 전후 비교도 순서대로 비교한다는 점에서 이 순차 방식과 같은 한계를 안을 수 있습니다.

클릭률이 아니라 시청 시간으로 판정하는 이유

도움말은 유튜브가 클릭률과 같은 다른 측정항목보다 전반적인 시청 시간을 기준으로 테스트를 최적화한다고 설명합니다. 훌륭한 제목과 썸네일은 시청자가 잘못된 동영상을 클릭하느라 시간을 낭비하지 않도록 동영상 내용을 파악하는 데 도움을 준다는 것이 그 까닭입니다.

병원 영상에 이 기준을 옮기면, 눈길을 모으는 문구로 클릭을 늘린 후보라도 시청자가 기대한 내용과 영상이 다르면 시청 시간 점유율에서 앞서지 못할 수 있습니다. 진료 설명 영상이라면 영상이 실제로 답하는 질문을 제목에 담은 후보와, 같은 질문을 다른 말로 담은 후보를 비교하는 편이 영상 내용과 어긋나지 않는 시험이 될 수 있습니다.

시험 전에 맞춰야 할 조건

도움말은 라이브 보관 파일은 A/B 테스트가 가능하고, Premieres 동영상은 종료 후 긴 형식 동영상으로 전환된 후에만 테스트를 진행할 수 있다고 안내합니다. 또한 콘텐츠는 커뮤니티 가이드를 준수해야 하며, 그렇지 않으면 이 기능을 사용하지 못하게 될 수 있다고 밝힙니다.

시험 중 변경을 막는 방법

도움말은 테스트 중에 동영상 제목이나 썸네일이 변경되면 테스트가 자동으로 중지되고, 중지 후 A/B 테스트를 다시 시작해야 한다고 안내합니다. 병원 채널은 여러 사람이 스튜디오에 접속하는 경우가 있어, 한 사람이 오타를 고치거나 썸네일을 교체하면 시험이 멈출 수 있습니다.

시험을 시작하면 채널 담당자 모두에게 시험 대상 영상과 시작일을 알리고, 시험이 끝날 때까지 그 영상의 제목과 썸네일을 변경하지 않기로 정합니다. 설명란이나 고정 댓글처럼 시험 대상이 아닌 정보를 고칠 일이 생기면, 고치기 전에 시험 담당자에게 알리는 순서를 정하면 실수를 줄일 수 있습니다.

시험 기간과 통제 그룹

도움말은 테스트가 2주 이내에 완료된다고 안내하고, 노출수 차이, 동영상 게시 시점, 기타 요인에 따라 완료하는 데 며칠에서 최대 2주까지 걸릴 수 있다고 설명합니다. 제목과 썸네일이 서로 너무 비슷하면 테스트가 더 오래 걸릴 수 있다고도 밝힙니다.

또한 유튜브가 소량의 트래픽을 실험에서 제외된 시청자 통제 그룹으로 유지할 수도 있고, 통제 그룹에서는 기본 제목과 썸네일만 표시되며 그 실적은 실험 계산에서 제외된다고 안내합니다. 따라서 시험 기간에 기본 제목이 계속 일부 시청자에게 노출되더라도 시험이 잘못된 것은 아닐 수 있습니다.

시험 결과의 세 가지 형태

도움말은 실험이 끝나면 시청 시간 점유율을 기준으로 최고의 옵션, 실적이 같음, 결과가 확실하지 않음 가운데 하나가 표시된다고 설명합니다. 최고의 옵션은 한 옵션의 실적이 다른 옵션보다 월등히 우수하고 그 결과가 통계적으로 유의미하다고 유튜브 시스템이 판단한 경우입니다.

실적이 같음은 모든 옵션의 실적이 거의 동일하다는 의미로, 도움말은 이때 자신이 선호하는 옵션을 선택하면 된다고 안내합니다. 결과가 확실하지 않음이면 처음 업로드한 제목과 썸네일이 기본값이 되며, 언제든지 원하는 제목과 썸네일로 직접 변경할 수 있다고 설명합니다. 결과 화면은 동영상의 세부정보 페이지나 분석 페이지의 도달범위 탭에서 확인할 수 있습니다.

시험할 영상을 정하는 방법

도움말은 채널의 전반적인 조회수에 미치는 영향을 줄이기 위해 이전 동영상부터 먼저 테스트하는 것이 좋다고 권합니다. 병원 채널이라면 게시한 지 시간이 지났지만 지금도 검색으로 찾아오는 진료 설명 영상이 첫 시험 대상이 될 수 있습니다.

후보는 서로 충분히 다르게 만듭니다. 제목에서 질문을 앞에 놓을지 진료 이름을 앞에 놓을지처럼 한 가지 차이를 분명히 하면, 결과가 나왔을 때 무엇이 차이를 만들었는지 설명하기 쉬워질 수 있습니다.

제목·썸네일 시험 차례

1. 시험 대상 영상이 지원 형식과 공개 상태 조건에 맞는지 확인합니다.
2. 한 가지 차이가 분명한 후보를 최대 3개까지 준비합니다.
3. YouTube 스튜디오에서 제목만, 썸네일만, 제목과 썸네일 가운데 시험 종류를 정하고 후보를 올립니다.
4. 담당자 모두에게 시험 시작을 알리고 영상 정보 변경을 멈춥니다.
5. 도달범위 탭에서 결과를 확인하고 결과의 형태와 시험 기간을 기록합니다.

다섯 번째 작업의 기록에는 후보 문구와 썸네일 파일, 결과의 형태, 시험 시작일과 종료일을 함께 남깁니다. 같은 영상을 나중에 또 시험할 때 앞선 시험과 비교할 근거가 됩니다.

결과가 확실하지 않음을 승리로 읽는 착오

시험이 끝난 뒤 처음 올린 제목이 계속 표시되는 것을 그 제목이 이긴 것으로 받아들이는 착오가 있습니다. 도움말에 따르면 결과가 확실하지 않을 때도 처음 업로드한 제목과 썸네일이 기본값이 되므로, 표시되는 제목만으로는 승패를 알 수 없습니다.

도움말은 실제 실험에는 항상 통계적 변동이 있어 같은 동영상이라도 테스트 결과가 매번 달라질 수 있고, 초반 노출은 기존 시청자에게서, 이후 노출에는 신규 시청자가 포함될 가능성이 높다고 설명합니다. 결과 화면에 표시된 형태를 그대로 기록하고, 한 번의 결과를 채널 전체의 제목 원칙으로 넓히지 않는 편이 안전할 수 있습니다.

시험 기록과 광고 시작일

시험 기록에는 어느 후보가 어떤 결과를 얻었는지와 시험 시작일, 종료일이 남습니다. 도움말이 설명하듯 시청자층 구성이 달라지면 결과도 달라질 수 있으므로, 시험 기간에 같은 영상으로 광고 노출을 늘리면 광고로 들어온 시청자가 결과에 섞일 수 있습니다.

광고를 먼저 시작해야 하는 사정이 있다면 시험 대상은 광고에 쓰지 않는 다른 영상으로 정할 수 있습니다. 그런 사정이 없다면, 병원은 시험 종료일 뒤로 이 영상을 쓰는 병원 유튜브 광고의 시작일을 정합니다.