A/B 시험에서 승자가 없을 때 제목을 정하는 기준

승자가 없을 때 넘어가는 정확성 기준

정확성 기준으로 옮겨 가기 전에 두 가지를 먼저 따집니다. 하나는 표본, 곧 시험 기간 동안 노출이 충분했는지이고, 다른 하나는 후보끼리 너무 비슷하지 않았는지입니다. 둘 가운데 하나라도 해당하면 결과가 없는 까닭이 제목의 우열이 아니라 시험의 조건일 수 있으므로, 조건을 바꾸어 시험을 새로 할지를 정합니다. 병원영상마케팅의 제목은 시청자가 영상을 누르기 전에 받는 첫 안내이므로, 시험으로 가려지지 않은 차이는 정확성과 내용 일치로 가립니다.

병원 영상의 제목에서 정확성이 앞서는 까닭은 제목이 진료에 관한 기대를 만들기 때문입니다. 영상이 다루지 않는 효과나 범위를 제목이 약속하면, 그 제목은 시청 시간을 늘리더라도 시청자가 영상을 끝까지 본 뒤 기대와 다른 내용을 받았다고 느끼게 합니다. 승자가 없다는 결과는 시청 시간으로는 후보들 사이에 의미 있는 격차가 없다는 뜻이므로, 이때 정확성을 기준으로 정해도 시청 시간에서 잃는 것이 드러나지 않습니다.

A/B 시험의 공식 결과와 병원의 결정

「실적이 같음」과 「결과가 확실하지 않음」은 둘 다 승자가 없다는 점에서 같아 보이지만 뜻이 다릅니다. 「실적이 같음」은 시험이 충분히 이루어졌고 그 결과 후보들의 실적이 거의 같았다는 뜻이어서, YouTube도 이 경우 선호하는 옵션을 선택하면 된다고 안내합니다. 「결과가 확실하지 않음」은 차이의 있고 없음을 시험이 가리지 못했다는 뜻이어서, 처음 업로드한 제목이 그대로 기본이 됩니다. 앞의 경우는 바로 정확성 기준으로 옮겨 가고, 뒤의 경우는 표본과 후보 유사성을 먼저 따집니다.

결과 기록에서 결정 근거 남기기까지

1. 시험 결과를 공식 결과의 이름 그대로 기록하고, 후보별 숫자는 참고로만 함께 기록합니다.
2. 시험 기간의 노출이 충분했는지 따집니다.
3. 후보끼리 너무 비슷하지 않았는지 따집니다.
4. 승인된 후보마다 영상 내용과의 일치와 표현의 정확성을 대조합니다.
5. 택한 제목과 그 근거를 결정 기록에 남깁니다.

첫째 단계에서 결과의 이름을 그대로 적는 까닭은, 후보별 숫자만 남기면 근소한 격차가 승패처럼 읽히기 때문입니다. YouTube는 같은 동영상이라도 실제 실험에는 항상 통계적 변동이 있어 테스트 결과가 매번 달라질 수 있다고 설명합니다. 「실적이 같음」을 받은 시험에서 한 후보의 숫자가 조금 높았다면, 그 차이는 이 변동 안에 있다고 읽습니다.

둘째 단계의 표본은 YouTube가 「최고의 옵션」이 나오지 않는 이유로 든 노출수 부족을 따지는 일입니다. YouTube는 동영상의 조회수가 많을수록 「최고의 옵션」이 선정될 가능성이 높아진다고 안내합니다. 시험한 영상이 게시된 지 오래되어 새로 노출되는 일이 드물었다면, 결과가 없는 까닭은 후보보다 노출에 있을 가능성이 큽니다. YouTube는 테스트 결과를 동영상의 세부정보 페이지나 분석 페이지의 도달범위 탭에서 확인할 수 있다고 안내하므로, 결과와 함께 같은 기간의 노출 흐름도 그 화면에서 읽어 결정 기록에 옮깁니다.

셋째 단계에서는 후보끼리의 차이를 따집니다. YouTube는 제목과 썸네일이 서로 너무 비슷하면 「최고의 옵션」을 결정할 만큼 후보 간 격차가 크지 않아 테스트가 더 오래 걸릴 수 있다고 설명합니다. 낱말 순서만 다른 후보들이었다면, 시험을 새로 하더라도 후보를 다른 각도로 새로 써야 결과가 달라질 수 있습니다. 예를 들어 같은 질문을 「무엇을 준비하나」로 묻는 제목과 「무엇을 물어야 하나」로 묻는 제목은 시청자가 기대하는 내용이 달라, 낱말 순서만 바꾼 두 제목보다 시험에서 격차가 드러날 여지가 큽니다.

넷째 단계의 대조는 시험 결과와 상관없이 승인된 후보 안에서만 합니다. 제목이 약속하는 내용이 영상의 첫머리에서 나오는지, 제목의 질환명과 진료명이 영상에서 쓰는 이름과 같은지, 의료진이 승인한 표현 범위를 벗어나지 않는지를 후보마다 맞댑니다. 병원은 진료 페이지 SEO를 제목 후보의 용어 대조 기준으로 씁니다. 진료 페이지에는 병원이 승인한 질환명과 진료명이 이미 정해져 있어, 그 이름과 같은 낱말을 쓴 제목이 영상과 진료 페이지를 같은 말로 잇기 때문입니다.

다섯째 단계의 결정 기록에는 시험 결과의 이름, 표본과 후보 유사성에 대한 판단, 택한 제목, 택한 근거가 된 대조 항목을 남깁니다. YouTube는 테스트가 완료된 후 언제든지 동영상의 제목을 직접 변경할 수 있다고 안내하므로, 결과 화면에 표시된 기본 제목과 병원이 택한 제목이 다르다면 YouTube 스튜디오에서 직접 변경합니다.

「실적이 같음」 뒤 결정 기록의 예

위 기록은 「실적이 같음」 결과를 받은 가상의 시험을 예로 꾸민 것입니다. 시험 숫자에서는 B가 가장 높았지만 결과의 이름이 「실적이 같음」이므로 B를 승자로 읽지 않았고, 넷째 단계의 대조에서 B는 영상이 다루는 범위보다 넓은 약속을 하는 제목이어서 제외되었습니다. A와 C는 점검 항목을 모두 통과했으며, 영상의 첫머리 문장과 더 가까운 A로 정했습니다. 병원은 병원 유튜브 광고를 A/B 시험이 끝나 확정된 제목으로 집행합니다. 시험 중인 영상은 어느 제목이 기본으로 남을지 정해지지 않은 상태여서, 광고 문구와 시청자가 영상에서 만나는 제목이 서로 어긋날 수 있기 때문입니다.

바로 정할지 새로 시험할지의 조건

승자가 없는 시험 뒤에 바로 정할지, 시험을 새로 할지는 아래 조건에 따라 달라집니다.

첫째, 결과가 「실적이 같음」이라면 시험을 새로 하지 않고 넷째 단계의 대조로 바로 정합니다. 시험이 충분히 이루어져 격차가 거의 없다는 것이 드러났으므로, 같은 후보로 새로 시험해도 시청 시간이 판단을 대신해 주기 어렵습니다.

둘째, 결과가 「결과가 확실하지 않음」이고 시험 기간의 노출이 적었다면, 노출이 늘어날 시점에 같은 후보로 시험을 새로 할 수 있습니다. 다만 YouTube는 테스트 중에 동영상 제목이나 썸네일이 변경되면 테스트가 자동으로 중지된다고 안내하므로, 시험 기간에는 제목을 고치지 않을 일정을 함께 정합니다.

셋째, 결과가 「결과가 확실하지 않음」이고 후보끼리 낱말 순서만 달랐다면, 후보를 서로 다른 각도로 새로 쓴 뒤 시험합니다. 각도가 다르다는 것은 시청자가 제목에서 기대하는 내용이 다르다는 뜻이며, 새 후보도 의료진이 승인한 표현 범위 안에서만 씁니다.

넷째, 승인된 후보 가운데 대조 항목을 모두 통과한 것이 하나뿐이라면, 시험 결과와 상관없이 그 후보로 정합니다. 정확성과 내용 일치를 통과하지 못한 후보는 시험 숫자가 높더라도 택하지 않습니다.

네 조건 모두에서 마지막 판단의 기준은 같습니다. 시험은 후보를 가르는 도구 가운데 하나이고, 시험이 가르지 못한 부분은 영상 내용과 승인된 표현이라는 병원의 기준으로 채웁니다. 조건이 달라지는 것은 시험을 새로 할지의 여부뿐입니다.