제목과 썸네일 조합 시험으로 알 수 있는 범위

조합 시험이 답하는 것과 답하지 않는 것

제목과 썸네일 방식에서 후보 하나는 제목 하나와 썸네일 하나가 묶인 한 쌍입니다. 그래서 결과도 쌍 단위로 나옵니다. 조합 A가 조합 B보다 나았다는 결과가 나와도, 두 조합의 제목과 썸네일이 모두 다르다면 그 차이가 제목에서 왔는지, 썸네일에서 왔는지, 아니면 그 제목과 그 썸네일이 함께 놓였을 때만 생긴 것인지는 결과만으로 가를 수 없습니다. 제목은 그대로 좋았는데 썸네일이 조금 못했고 그 둘이 합쳐져 차이가 작아졌을 가능성도 결과 안에 섞여 있습니다.

따라서 조합 시험을 시작하기 전에 무엇을 알고 싶은지부터 정합니다. 이 영상에 남길 조합 하나를 정하는 것이 목적이라면 조합 시험으로 충분합니다. 다음 영상에도 쓸 제목 원칙이나 썸네일 원칙을 얻는 것이 목적이라면, 한 번에 한 요소만 다르게 한 시험이 필요합니다. 아래 표는 알고 싶은 것에 따라 시험 방식과 후보 조합을 정하는 기준입니다.

시험 질문을 한 문장으로 정하기

시험 질문은 「이 영상에서 제목을 질문형으로 쓰면 시청 시간 점유율이 달라지는가」처럼 무엇을 다르게 하고 무엇으로 판정하는지가 드러나는 한 문장으로 씁니다. 「어떤 썸네일이 좋은가」처럼 열린 질문으로 시작하면 후보를 만들 때 제목과 썸네일을 함께 손대게 될 수 있고, 결과가 나와도 처음 질문에 답했는지 알 수 없습니다.

질문이 정해지면 시험 방식은 질문에서 따라 나옵니다. 질문에 제목만 나오면 제목만 방식으로, 썸네일만 나오면 썸네일만 방식으로 겁니다. 질문에 제목과 썸네일이 함께 나오면, 그 질문이 남길 조합을 정하려는 것인지 두 요소를 한 시험에서 좁히려는 것인지에 따라 위 표의 셋째 줄과 넷째 줄 가운데 하나를 씁니다.

판정 기준도 질문에 넣습니다. 유튜브 고객센터는 이 시험이 클릭률 같은 다른 측정항목보다 전반적인 시청 시간을 기준으로 최적화된다고 안내합니다. 따라서 「어느 썸네일이 더 많이 눌리는가」라는 질문은 이 시험의 판정 기준과 맞지 않습니다. 질문은 시청 시간 점유율을 기준으로 씁니다.

후보 조합 짜기

후보는 시험 질문에 나온 요소만 다르게 만듭니다. 제목의 효과를 알고 싶다면 썸네일 파일은 하나만 쓰고 제목만 2~3개로 나눕니다. 두 요소를 한 시험에서 좁히려면 표의 넷째 줄처럼 기준 조합 A를 하나 정하고, B는 제목만, C는 썸네일만 다르게 합니다. 이렇게 하면 제목과 썸네일을 둘 다 다르게 한 조합은 빠지지만, 결과가 어느 요소 쪽에서 나왔는지는 좁힐 수 있습니다.

후보끼리의 차이는 분명하게 만듭니다. 고객센터는 제목과 썸네일이 서로 너무 비슷하면 최고의 옵션을 결정할 만큼 차이가 크지 않아 시험이 더 오래 걸릴 수 있다고 안내합니다. 글자 하나나 색 하나만 다른 후보는 시험 질문을 바꿀 만한 차이인지 먼저 따집니다.

기준 조합은 첫 번째로 올립니다. 고객센터는 최고의 옵션이 명확하지 않으면 업로드한 첫 번째 제목 또는 조합이 모든 시청자에게 표시된다고 안내합니다. 결과가 나지 않았을 때 남을 조합이 지금 쓰는 조합이 되도록 순서를 정하는 것입니다.

썸네일 해상도도 후보 사이에 맞춥니다. 해상도가 720p(1280x720)보다 낮은 썸네일이 하나라도 있으면 모든 실험 썸네일이 480p(854x480)로 축소된다고 안내되어 있으므로, 후보 썸네일은 모두 1280x720 이상으로 준비합니다.

시험 중에 지킬 것

시험 중에는 제목과 썸네일을 손대지 않습니다. 고객센터에 따르면 시험 중에 동영상 제목이나 썸네일이 변경되면 시험이 자동으로 중지되고, 중지 뒤에는 시험을 새로 시작해야 합니다. 조합 시험은 제목과 썸네일이 모두 걸려 있으므로, 설명란 문구를 고치다가 제목까지 손대는 일이 없도록 시험 기간을 담당자 모두에게 알립니다.

시험은 2주 이내에 끝나며, 노출수 차이와 게시 시점 같은 요인에 따라 며칠에서 2주까지 걸릴 수 있다고 안내되어 있습니다. 유튜브가 소량의 트래픽을 통제 그룹으로 남길 수 있고, 통제 그룹에는 기본 제목과 썸네일만 표시되며 그 실적은 실험 계산에서 빠집니다.

시험을 걸 수 없는 영상도 있습니다. 이 기능은 컴퓨터의 YouTube 스튜디오에서만 쓸 수 있고 고급 기능을 사용 설정해야 합니다. Shorts 동영상, 예약된 라이브, Premieres 동영상은 시험할 수 없고, Premieres 동영상은 끝난 뒤 긴 형식 동영상으로 전환된 다음부터 시험할 수 있습니다. 아동용, 성인용, 비공개 동영상에도 이 기능을 쓸 수 없습니다.

결과를 조합 단위로 읽기

결과는 세 가지 가운데 하나로 나옵니다. 「최고의 옵션」은 한 옵션이 시청 시간 점유율에서 다른 옵션보다 크게 앞서고, 유튜브 시스템이 시청자 데이터를 근거로 그 차이를 통계적으로 의미 있다고 판정한 결과입니다. 「실적이 같음」은 모든 옵션의 실적이 거의 같은 경우이고, 「결과가 확실하지 않음」은 옵션 사이에 통계적으로 확실한 차이가 없는 경우입니다.

조합 시험에서 최고의 옵션이 나오면 그 조합이 이 영상에서 나았다고 씁니다. 제목과 썸네일이 함께 다른 조합끼리 겨뤘다면 그 이상은 쓰지 않습니다. 실적이 같음은 조합 사이에 차이가 없었다는 뜻이지, 제목과 썸네일 각각에 효과가 없었다는 뜻은 아닙니다. 한 조합 안에서 제목은 나았고 썸네일은 못했다면 두 차이가 서로 상쇄되어 같은 실적으로 나올 수 있습니다.

조합 시험 기록

조합 시험을 걸 때마다 아래 기록을 남깁니다.

후보끼리 다른 요소 칸이 「둘 다」인 기록은 결과 칸에 무엇이 나와도 다음 영상의 제목 원칙이나 썸네일 원칙으로 옮기지 않습니다. 그런 기록에서 원칙을 얻으려면 다음 시험 칸에 한 요소만 다른 시험을 써서 이어 겁니다.

조합 결과를 잘못 읽는 경우

첫째는 이긴 조합의 제목을 제목 원칙으로 삼는 경우입니다. 그 조합의 썸네일이 함께 이긴 것일 수 있으므로, 제목만 다른 시험으로 이어 가기 전에는 원칙이 되지 않습니다.

둘째는 이긴 조합을 클릭이 많은 조합으로 읽는 경우입니다. 판정 기준은 시청 시간이므로, 이긴 조합은 시청 시간 점유율이 높았던 조합입니다. 클릭률은 결과가 말하는 범위 밖입니다.

셋째는 한 번의 결과를 이 채널의 법칙으로 삼는 경우입니다. 고객센터는 같은 동영상이라도 시험할 때마다 결과가 달라질 수 있고, 시간이 지나면서 시청자 구성이 바뀌어 결과가 달라질 수도 있다고 안내합니다. 초반 노출은 기존 시청자에게서, 이후 노출은 채널을 몰랐던 새 시청자에게서 나올 가능성이 높다는 설명도 함께 있습니다.

넷째는 외부 도구의 결과와 같은 저울로 견주는 경우입니다. 고객센터는 유튜브의 시험이 모든 후보를 같은 기간에 동시에 보여 주는 방식이고, 다른 도구 상당수는 후보를 순서대로 돌리며 클릭률을 기준으로 삼으므로 결과가 다를 수 있다고 안내합니다.

홈페이지에 영상을 쓰는 경우

병원 홈페이지에도 영상을 싣고 있다면, 시험이 끝나면 구조화 데이터에 넣은 제목과 썸네일도 남은 조합과 같은지 맞댑니다. 조합은 유튜브에서 교체되었는데 홈페이지의 제목과 썸네일이 이전 그대로라면, 같은 영상이 두 곳에서 다른 모습으로 나옵니다. 시험 기록의 결과 칸에 날짜가 들어오면 홈페이지 담당에게 남은 조합을 알립니다.