두 가지를 나눠서 재보기

쉽게 말하면

이 방법의 힘은 비교 대상이 나 자신의 같은 시간대라는 데서 나와요. 날씨·요일·광고·명절처럼 결과를 흔드는 것들이 양쪽에 똑같이 걸리니까, 남는 차이는 화면 차이뿐이에요.

제대로 되려면 세 가지가 지켜져야 해요

반씩 나누기만 하면 되는 게 아니에요. 아래 셋 중 하나라도 깨지면 숫자는 나오지만 그 숫자가 아무 뜻이 없어요. 결과지가 예쁘게 나오기 때문에 더 위험해요.

1. 1아무 기준 없이(무작위) 갈라야 해요. 폰으로 온 사람에게 A, 컴퓨터로 온 사람에게 B를 보여주면 화면을 비교한 게 아니라 폰 손님과 컴퓨터 손님을 비교한 거예요. 갈리는 기준이 손님의 성격과 얽히는 순간 실험은 끝나요.
2. 2같은 사람은 계속 같은 쪽을 봐야 해요. 새로 고칠 때마다 화면이 바뀌면 한 사람이 두 판을 다 보게 돼요. 그러면 어느 쪽이 그 사람을 설득했는지 알 수 없고, 손님은 그냥 사이트가 이상하다고 느껴요.
3. 3두 화면을 같은 기간에 동시에 열어 둬야 해요. 시간으로 나누는 순간 그건 반씩 나눠 재기가 아니라 앞뒤 비교예요. 날씨·요일·광고가 차이에 섞여 들어와요.

손님이 적으면 왜 못 쓰나

여기가 이 문서의 핵심이에요. 반씩 나눠 재기가 실패하는 가장 흔한 이유는 방법이 틀려서가 아니라 손님 수가 모자라서예요.

손님이 적을 때 비율은 한 사람 손에 달려 있어요. 각 화면에 50명이 들어와서 A는 5명, B는 8명이 샀다고 해볼게요. 10%와 16%, 60% 넘게 좋아 보여요. 그런데 B에서 마음이 바뀐 사람이 세 명만 있었으면 두 화면은 동점이에요. 세 사람이 결론을 뒤집을 수 있다면, 그건 결론이 아니에요.

표에서 볼 것은 숫자가 아니라 줄어드는 속도예요. 찾으려는 차이가 절반으로 작아지면 필요한 손님은 두 배가 아니라 네 배로 늘어요. 그래서 큰 차이는 싸게 재고, 작은 차이는 아주 비싸게 재요. 위 값은 흔히 쓰는 계산으로 잡은 어림이고, 정확한 값은 표본 크기 계산기라고 불리는 도구에 지금 전환율을 넣어 보면 나와요.

이럴 때는 하면 안 돼요

하는 법을 아는 것보다 하지 않을 때를 아는 게 더 어려워요. 아래는 재보기 자체가 답이 아닌 경우예요.

대신 쓸 수 있는 방법, 그리고 각각의 대가

손님이 적을 때 쓸 수 있는 방법이 없는 게 아니에요. 다만 공짜는 없어요. 손님 수가 덜 필요한 방법은 대개 믿을 수 있는 정도를 내주고 그 대신 빠르거나 이유를 알려줘요.

이겼는데 손해 보는 경우

재보기의 함정 하나는 재는 숫자가 하나뿐이라는 데서 와요. 그 숫자만 이기고 장사는 지는 조합이 실제로 흔해요.

그래서 시작할 때 숫자를 두 종류로 적어요. 올리려는 숫자 하나, 그리고 떨어지면 이긴 것도 무효인 숫자 한두 개예요. 뒤쪽이 없으면 매달 이기면서 조금씩 손해 보는 길로 걸어가게 돼요.

사장님이 실제로 겪는 장면

남에게 맡길 때: 요구할 것과 확인할 것

직접 하지 않고 대행사나 도구에 맡길 수 있어요. 그때 사장님이 할 일은 방법을 아는 게 아니라 무엇을 요구하고 무엇을 받아 볼지 정하는 거예요.

1. 1시작 전에 한 장으로 받아요. 올릴 숫자 하나, 지켜야 할 숫자, 한쪽 목표 건수, 끝내는 날짜, 이 넷이 적혀 있어야 해요. 시작한 뒤에 정하면 사후에 말이 바뀌어요.
2. 2갈리는 방식을 물어요. 무작위로 나누는지, 같은 사람이 계속 같은 쪽을 보는지 확인해요. "폰과 컴퓨터로 나눴다"는 답이 오면 그건 화면 비교가 아니에요.
3. 3중간에 멈추지 않는다는 약속을 받아요. 목표 건수에 도달하기 전 결과는 보고서로 쓰지 않기로 미리 정해요.
4. 4결과지에 건수와 기간과 방문 수를 넣게 해요. 비율만 있는 결과지는 되돌려 보내세요. 판단할 재료가 없는 종이예요.
5. 5속도와 깜빡임을 확인해요. 화면이 뜬 뒤에 내용을 바꿔치기하는 도구는 손님 눈에 한 번 번쩍여요. 그 자체가 결과를 망치고 이탈을 늘려요. 폰으로 직접 열어 보세요.
6. 6손님 정보 처리 범위를 물어요. 어떤 기록을 어디에 얼마나 보관하는지 문서로 받아요. 개인정보처리방침에 반영해야 할 수 있어요.

자주 묻는 것

Q. 화면을 세 개, 네 개 같이 비교하면 더 빠르지 않나요?

더 느려져요. 손님이 셋으로 쪼개지니 한쪽에 모이는 수가 줄어요. 게다가 후보가 많아지면 그중 하나가 우연히 앞설 확률도 같이 올라가요. 후보 넷 중 1등은 실력자가 아니라 그날 운이 좋았던 쪽일 수 있어요. 시작은 둘이 정석이에요.

Q. 며칠 만에 확실히 앞서면 일찍 끝내도 되나요?

권하지 않아요. 매일 들여다보다 앞선 날 멈추면, 우연히 벌어진 날을 결론으로 채택하는 셈이에요. 목표 건수와 종료일을 미리 정해 두는 이유가 이거예요. 예외는 한쪽이 고장일 때뿐이에요. 그때는 즉시 멈추고 고쳐요.

Q. 이겼는데 전체 매출이 안 늘었어요.

세 가지를 확인해요. 재던 숫자가 매출과 실제로 이어지는 숫자였는지, 지켜야 할 숫자가 대신 떨어졌는지, 그리고 이긴 폭이 원래 우연 범위 안이었는지요. 이긴 화면을 전체에 적용한 뒤 다음 2주 건수를 다시 보는 것도 좋은 확인이에요.

Q. 결과를 폰과 컴퓨터로 쪼개서 봐도 되나요?

봐도 되지만 결론으로 쓰기는 위험해요. 잘게 쪼갤수록 각 칸의 사람 수가 줄어 우연이 커지고, 여러 칸을 훑다 보면 그중 하나는 반드시 이겨 보여요. 쪼갠 숫자는 다음에 무엇을 재볼지 정하는 힌트로 쓰고, 정말 알고 싶으면 그 칸만 다시 재요.

Q. 얼마나 오래 돌려야 해요?

건수가 목표에 닿을 때까지이고, 그와 별도로 최소 한 주, 되도록 두 주를 채워요. 요일마다 손님이 다르기 때문에 주 단위로 끊어야 양쪽 요일 구성이 같아져요. 대신 2주를 넘겨야 끝나는 실험이라면 규모가 안 맞는다는 신호예요.

Q. 바이브캠퍼스에서도 반씩 나눠 보여줄 수 있나요?

손님을 자동으로 반씩 갈라 주는 기능을 전제로 설명하지 않았어요. 지금 할 수 있는 현실적인 방법은 두 가지예요. 후보 화면을 각각 만들어 두고 기간을 나눠 걸어 보는 것(앞뒤 비교라는 한계를 알고), 또는 외부 도구나 대행에 맡기고 위 요구 목록으로 검수하는 것이에요. 어느 쪽이든 후보 두 판을 안전하게 보관하는 데는 되돌리기와 백업이 필요해요.

Q. 손님 절반이 나쁜 화면을 보는 게 손해 아닌가요?

맞아요. 그게 이 방법의 값이에요. 그래서 기간을 짧게 잡고, 명백한 고장은 실험 대상으로 삼지 않고, 매출이 몰린 주는 피해요. 값을 치를 만큼 배울 게 있을 때만 하는 거예요.