의미 있는 차이인지

우연을 성과로 착각해 잘못된 결정을 굳히는 걸 막아요. 숫자는 아무것도 바꾸지 않아도 위아래로 흔들리는데, 그 흔들림 폭보다 작은 차이는 결론이 아니에요.

쉽게 말하면

계산대 마감 장부를 넉 주 펼쳐 보세요. 평범한 화요일 매출이 38만, 45만, 39만, 42만원처럼 오갈 거예요. 아무것도 바꾸지 않아도 이만큼은 흔들려요. 그러니 진열을 바꾼 화요일에 43만원이 나왔다고 진열 덕분이라고 말할 수 없어요. 43만원은 원래 흔들리던 범위 안에 있으니까요. 먼저 알아야 하는 건 새 매출이 아니라 아무것도 안 바꿨을 때 벌어지는 폭이에요. 그 폭 밖으로 나갔을 때만 효과라고 부를 수 있어요.

이 폭에는 이름이 있어요. 흔히 우연의 폭이라고 불러요. 손님 한 명 한 명이 사거나 안 사는 건 그날 기분에도 달려 있어서, 같은 화면을 두 번 열어도 결과 숫자는 다르게 나와요.

그래서 두 화면을 비교했을 때 나올 수 있는 답은 둘이 아니라 셋이에요. B가 낫다, A가 낫다, 그리고 지금 자료로는 모른다. 세 번째 답을 인정하지 않는 사람이 잘못된 결정을 굳혀요.

우연의 폭을 안 재고 본 결과

A 결제 100건 B 결제 108건 판정: "B가 8% 낫다, 전체 적용"

100건 규모에서는 아무것도 바꾸지 않아도 한쪽이 10건쯤 앞서는 일이 흔해요. 8건 차이를 성과로 기록하면, 다음 결정이 전부 그 위에 쌓여요.

우연의 폭을 먼저 잰 결과

A 결제 100건 B 결제 108건 우연의 폭 한쪽 ±10건쯤 판정: 아직 모름, 보류

결론을 못 낸 게 실패가 아니에요. "8% 개선"이라는 문장을 회의록에 남기지 않은 것만으로 이 실험은 값을 했어요.

우연의 폭은 손님 수가 정해요

우연의 폭은 취향이 아니라 계산이에요. 그리고 그 계산에 들어가는 값은 비율이 아니라 건수예요. 전환율 3%라는 말만으로는 폭을 구할 수 없고, 몇 건이 모였는지를 알아야 구할 수 있어요.

한쪽에 모인 전환 건수	우연만으로 흔들리는 폭(어림)	이 규모에서 우연과 구분되는 차이
9건	±3건쯤	두 배 가까이 벌어져야 이야기가 시작돼요
25건	±5건쯤	6할쯤 좋아져야 해요
100건	±10건쯤	3할쯤 좋아져야 해요
400건	±20건쯤	1할 5푼쯤 좋아져야 해요
2,500건	±50건쯤	6푼쯤 좋아져도 잡혀요

표를 만든 어림은 간단해요. 한쪽 흔들림 폭이 대략 건수의 제곱근이에요. 100건이면 10건, 400건이면 20건이에요. 두 쪽을 비교하면 양쪽 흔들림이 겹치니까 폭은 더 커지고, 우연과 구분하려면 차이가 그 폭을 넉넉히 넘어야 해요. 그래서 실무에서는 제곱근의 세 배쯤을 최소 차이로 잡아요. 정확한 값은 유의성 계산기에 네 칸을 넣으면 나와요.

건수를 네 배 모아야 잡을 수 있는 차이가 절반이 돼요

표에서 볼 것은 값이 아니라 줄어드는 속도예요. 100건에서 400건으로 네 배를 모으면 잡을 수 있는 차이가 3할에서 1할 5푼으로 절반이 돼요. 두 배가 아니라 네 배라는 게 핵심이에요. 이 하나가 "큰 개선은 싸게 확인되고 작은 손질은 거의 확인되지 않는다"는 현실을 만들어요. 필요한 손님 수를 잡는 방법은 반씩 나눠 재기에 표로 정리돼 있어요.

p값과 신뢰구간, 두 가지 표기

결과지에 나오는 표기는 대개 둘이에요. p값과 신뢰구간이에요. 둘은 같은 계산에서 나오는데, 답해 주는 질문이 달라요. p값은 "우연으로 설명될까"에 답하고, 신뢰구간은 "그래서 얼마나 좋아졌을까"에 답해요.

표기	실제 뜻	이렇게 읽으면 틀려요
p값 0.03	두 화면이 사실은 똑같은데도 지금 본 만큼의 차이가 우연히 생길 확률이 3%라는 뜻이에요	"B가 이길 확률 97%"가 아니에요. 방향이나 크기에 대한 확률이 아니에요
p값 0.20	지금 모인 자료로는 우연과 구분이 안 된다는 뜻이에요	"두 화면이 같다"가 아니에요. 증거가 부족하다는 뜻이에요
95% 신뢰구간 +1%에서 +9%	진짜 차이가 이 범위 안에 있을 만하다는 뜻이에요. 범위 전체가 0보다 크니 방향은 잡혔어요	9%가 아니라 1%일 수도 있어요. 상한만 골라 읽으면 안 돼요
95% 신뢰구간 -2%에서 +9%	좋아졌을 수도 나빠졌을 수도 있다는 뜻이에요. 범위가 0을 품고 있어요	"가운데가 +3.5%니까 조금 좋아졌다"로 읽으면 안 돼요

사장님이 실제로 결정할 때 더 쓸모 있는 쪽은 신뢰구간이에요. p값은 통과와 탈락만 알려주는데, 신뢰구간은 범위를 보여주니까 "이 정도면 개편 비용을 쓸 값어치가 있나"를 바로 따질 수 있어요.

0.05는 법이 아니라 관례예요

"p값 0.05 미만이면 유의하다"는 오래 굳어 온 관습이에요. 자연법칙이 아니라서 사장님이 결정의 대가에 맞춰 조절할 수 있어요. 되돌리기 쉬운 문구 변경이면 조금 느슨하게 봐도 손해가 작고, 결제나 약관처럼 잘못되면 비싼 자리라면 더 엄하게 잡아요. 대신 그 기준을 결과를 보기 전에 정해야 해요. 결과를 본 뒤에 기준을 옮기면 기준이 없는 것과 같아요.

이렇게 읽으면 반드시 틀려요

유의성 계산은 틀리기 어려워요. 계산기가 해 주니까요. 틀리는 곳은 늘 읽는 쪽이에요. 아래 다섯 가지가 현장에서 가장 자주 나오는 오독이에요.

흔한 읽기	왜 틀렸나	대신 볼 것
"p값이 작으니 차이가 크다"	p값에는 차이의 크기가 안 들어 있어요. 손님이 아주 많으면 0.1%p 차이에도 p값이 작아져요	신뢰구간의 아래쪽 값. 그게 최소한 얼마 좋아졌다는 선이에요
"p값이 크니 두 화면이 같다"	없다는 증거가 아니라 증거가 모자라다는 뜻이에요. 건수가 적으면 진짜 차이가 있어도 p값은 커요	신뢰구간의 폭. 폭이 넓으면 실험이 아직 아무것도 못 좁힌 거예요
"유의하니 바꿀 값어치가 있다"	통계로 의미 있는 차이와 장사에 의미 있는 차이는 다른 질문이에요. 개편 비용이 이득보다 클 수 있어요	바꾸는 데 드는 시간과 돈. 그리고 전환율 개선분이 실제 매출로 얼마인지
"열 개 지표 중 하나가 유의했다"	관례선을 0.05로 두면 지표 스무 개를 훑을 때 아무 차이가 없어도 평균 한 개는 유의해 보여요	시작 전에 못박은 지표 하나만 판정에 써요. 핵심지표 한 개
"이겼으니 다음 판도 이 방향으로"	한 번의 유의한 결과는 그 화면 그 기간의 이야기예요. 손님 구성이 바뀌면 방향도 바뀔 수 있어요	적용 후 2주 건수를 다시 보기. 가입 시기별로 나눠 보려면 코호트 분석

장면 1 · 대행사 결과지에 p값 한 줄이 있다

“p값 0.04로 유의합니다. 전환율 6% 개선이니 전체 적용하겠습니다.”

물어볼 것이 셋이에요. 신뢰구간이 어디서 어디까지인가, 판정 지표와 종료 조건을 시작 전에 정했는가, 지표를 몇 개 봤는가. 6% 개선의 신뢰구간이 0.5%에서 12%로 나왔다면 그건 "거의 안 변했을 수도 있다"는 뜻이에요. 그리고 지표를 열 개 보다가 유의한 하나를 골라 왔다면, 그 0.04는 판정선을 통과한 게 아니라 골라낸 값이에요. 답이 안 오면 결과지를 되돌려 보내는 게 맞아요.

판정선을 결정으로 바꾸기

유의성은 읽는 기술이 아니라 미리 적는 기술이에요. 결과를 본 뒤에 정하는 기준은 기준이 아니에요. 아래 순서를 종이 한 장에 적고 시작하면 오독이 거의 사라져요.

1판정할 숫자 하나를 못박아요. 결제 완료 건수처럼 셀 수 있는 것 하나예요. 두 개를 적는 순간 둘 중 이긴 쪽을 고르게 돼요.
2바꿀 값어치가 있는 최소 폭을 적어요. "3% 좋아지면 개편할 값어치가 있나"를 먼저 답하는 거예요. 이 칸을 욕심내면 실험이 끝나지 않아요.
3그 폭을 잡으려면 건수가 얼마나 필요한지 확인해요. 계산기에 지금 전환율과 최소 폭을 넣으면 나와요. 못 모을 규모라면 시작하지 않는 것이 이득이에요.
4목표 건수와 종료일을 적고, 그때 한 번만 봐요. 중간 p값은 보고서에 쓰지 않기로 미리 정해요.
5판정을 세 갈래로 미리 써 둬요. 유의하고 최소 폭도 넘으면 바꿔요. 유의하지만 폭이 작으면 개편 비용과 견줘요. 유의하지 않으면 보류하고, 무엇을 배웠는지만 남겨요.
6회의록에 비율만 남기지 않아요. 각 쪽 방문 수, 건수, 기간, 신뢰구간을 함께 남겨요. 반년 뒤에 그 기록을 다시 읽는 사람이 사장님이에요.

보류도 결과예요

"모른다"로 끝난 실험을 실패로 적는 습관이 가장 비싸요. 그렇게 적으면 다음부터 사람은 어떻게든 유의한 결과를 만들어 오게 돼요. 보류에는 두 가지 값이 있어요. 잘못된 개편을 막았다는 것, 그리고 이 규모로는 이만한 차이를 못 잡는다는 사실을 알았다는 것이에요. 두 번째가 다음 계획을 훨씬 정확하게 만들어요.

계산 자체가 의미를 잃는 자리

아래 여섯 가지 상황에서는 계산기가 숫자를 내주지만 그 숫자에 뜻이 없어요. 결과지가 예쁘게 나오기 때문에 더 위험해요.

이런 상황	무슨 일이 벌어지나	대신 할 일
목표 건수 전에 매일 p값을 본다	실제로 차이가 없어도 언젠가 한 번은 0.05 아래로 내려가요. 그날 멈추면 무조건 유의한 결과가 나와요	종료 조건을 먼저 적고 그때 한 번 봐요
후보를 넷, 다섯으로 늘린다	비교 쌍이 늘면 그중 하나가 우연히 유의해질 확률이 함께 올라가요. 게다가 한쪽에 모이는 건수도 줄어요	둘로 시작해요. 반씩 나눠 재기
결과를 폰·컴퓨터·유입경로로 쪼갠다	칸을 스무 개 훑으면 아무 차이가 없어도 평균 한 칸은 유의해 보여요	쪼갠 숫자는 다음 실험의 힌트로만 써요. 고객 세그먼트
나누는 기준이 무작위가 아니다	우연의 폭 계산이 아예 성립하지 않아요. 손님 성격 차이가 화면 차이와 섞여 들어와요	무작위로 나누고, 같은 사람은 계속 같은 쪽을 보게 해요
판정 지표를 결과 본 뒤에 고른다	이긴 숫자를 골라내는 일이 돼요. 유의성 계산은 골라냈다는 사실을 잡아내지 못해요	지표는 시작 전에 하나로 못박아요. 숫자를 보고 바꾸기
앞뒤 기간 비교에 이 계산을 그대로 쓴다	요일·날씨·광고가 차이에 섞여 있어서 우연의 폭 계산이 그 차이를 덮지 못해요	같은 기간에 갈라서 재요. 못 하면 결론의 힘을 낮춰 잡아요

장면 2 · 3주째 p값이 내려가지 않는다

“0.06까지 왔어요. 며칠만 더 돌리면 0.05 밑으로 갈 것 같은데요.”

"며칠만 더"가 바로 훔쳐보기예요. 목표 건수를 채운 뒤 0.06이 나왔다면 그건 이 규모로는 못 잡는 차이라는 답이에요. 여기서 며칠을 더 붙여 0.049를 만들면, 그 값은 우연을 걸러낸 게 아니라 우연을 기다린 결과예요. 대응은 둘이에요. 더 크게 바꿔서 다시 재거나, 재보기를 접고 깔때기에서 가장 크게 새는 칸부터 고치는 거예요.

자주 묻는 것

Q. 계산은 어떻게 하나요? 수식을 알아야 해요?: 몰라도 돼요. 유의성 계산기라고 불리는 도구에 네 칸만 넣으면 나와요. A쪽 방문 수와 전환 건수, B쪽 방문 수와 전환 건수예요. 사장님이 할 일은 계산이 아니라 그 네 칸을 정직하게 모으는 것과 판정선을 미리 정하는 것이에요.
Q. 매출액이나 객단가도 같은 방법으로 판정하나요?: 같은 원리지만 훨씬 어려워요. 건수는 사거나 안 사거나 둘 중 하나인데, 금액은 큰 주문 한 건이 평균을 크게 흔들어요. 그래서 필요한 손님 수가 몇 배로 늘어요. 실무에서는 건수로 판정하고 금액은 참고로 보는 편이 안전해요. 객단가가 목적이라면 객단가를 따로 다뤄야 해요.
Q. 유의하지 않으면 그 변경은 버려야 하나요?: 아니에요. "모른다"는 버리라는 뜻이 아니에요. 신뢰구간이 -1%에서 +2%처럼 좁게 나왔다면 "어느 쪽이든 큰 차이는 없다"는 정보예요. 그럴 때는 비용이 싼 쪽, 관리가 쉬운 쪽, 브랜드에 맞는 쪽으로 골라도 손해가 없어요. 반대로 범위가 -8%에서 +12%처럼 넓으면 그건 아직 아무것도 모르는 상태예요.
Q. 손님이 적은 가게에는 쓸모없는 이야기 아닌가요?: 반대로 가장 쓸모 있어요. 손님이 적을 때 이 문서가 주는 것은 승패가 아니라 잴 수 없다는 판정이에요. 그 판정 한 줄이 3주짜리 실험과 잘못된 개편 비용을 아껴 줘요. 그리고 그때는 재보기 대신 명백히 새는 칸을 막는 쪽이 훨씬 빨라요.
Q. AI에게 결과를 해석하게 해도 되나요?: 계산과 정리는 맡길 수 있어요. 다만 판정 지표와 최소 폭, 종료 조건은 시작 전에 사장님이 정해야 해요. 이미 결과가 나온 표를 놓고 "이거 유의해?"라고 물으면, 자료를 좋게 읽는 방향으로 설명이 흐를 수 있어요. 판정선은 사람이 미리, 계산은 도구가 나중에가 순서예요.
Q. 바이브캠퍼스가 유의성을 자동으로 판정해 주나요?: 손님을 자동으로 반씩 갈라 판정까지 내주는 기능을 전제로 설명하지 않았어요. 지금 현실적인 방법은 두 가지예요. 방문 수와 전환 건수를 모아 외부 계산기에 넣는 것, 또는 대행이나 도구에 맡기고 위 결과지 요건으로 검수하는 것이에요. 어느 쪽이든 후보 두 판을 안전하게 보관하려면 되돌리기와 백업이 필요해요.
Q. "통계적으로 유의미하다"는 표현을 손님에게 써도 되나요?: 광고 문구로 쓰는 건 권하지 않아요. 손님은 그 말을 "확실히 좋다"로 읽는데, 실제 뜻은 "우연으로 설명하기 어렵다"예요. 비교 광고나 효능 표현에는 별도 규정도 걸릴 수 있어요. 내부 판단에 쓰는 말로 두는 게 안전해요.

확인해 보세요

한쪽에 결제가 100건씩 모였어요. A는 100건, B는 108건이에요. 대행사가 "B가 8% 개선"이라고 해요. 어떻게 해야 할까요?

하나 더

결과지의 p값이 0.20으로 나왔어요. 어떻게 읽어야 할까요?

직접 해보기

내 가게의 우연의 폭을 먼저 재 보세요

만들던 화면을 열고 판정할 숫자 하나를 정하세요. 결제 완료 건수처럼 셀 수 있는 것이 좋아요. 그리고 지난 4주 동안 아무것도 바꾸지 않은 상태에서 그 숫자가 주별로 몇이었는지 적어 보세요. 가장 높은 주와 낮은 주의 차이가 사장님 가게의 우연의 폭이에요. 앞으로 그 폭보다 작은 차이는 결론으로 쓰지 않기로 정하면, 잘못된 개편 하나를 이미 막은 거예요.

스튜디오 열기

더 깊이 (안 읽어도 괜찮아요)

왜 "B가 나을 확률"이 아닌가 · 계산은 먼저 두 화면이 똑같다고 가정해요. 그 가정 아래에서 "지금 본 만큼 벌어진 차이가 우연히 나올 확률"을 구한 것이 p값이에요. 방향이 거꾸로예요. 그래서 p값 0.03을 "B가 나을 확률 97%"로 뒤집어 읽을 수 없어요. 그렇게 읽으려면 실험 전에 두 화면에 대해 무엇을 믿고 있었는지까지 넣어야 하는데, 결과지에는 그 값이 없어요.

매일 훔쳐보면 p값은 언젠가 반드시 내려가요 · 두 화면이 실제로 똑같아도 p값은 날마다 위아래로 움직여요. 매일 보다가 0.05 아래로 내려간 날 멈추기로 하면, 기다리기만 하면 그날은 옵니다. 그러면 결과는 "유의하게 이겼다"로 기록돼요. 확인 횟수를 늘리는 행동 하나만으로 잘못된 승자가 나올 확률이 올라간다는 뜻이에요. 목표 건수와 종료일을 먼저 못박는 이유가 이것이에요.

쪼개 볼수록 유의한 칸이 나오는 이유 · 판정선 0.05는 "차이가 없는데도 유의해 보일 확률을 20번에 1번으로 허용한다"는 뜻이에요. 그러니 칸을 스무 개 훑으면 아무 차이가 없어도 평균 한 칸은 걸려요. 폰과 컴퓨터, 유입경로, 신규와 재방문으로 쪼개다 보면 칸은 금방 스무 개가 돼요. 쪼갠 칸에서 나온 승리는 결론이 아니라 다음에 무엇을 재볼지 정하는 힌트로만 써야 해요.

실질 최소 폭을 먼저 정하면 실험이 짧아져요 · "얼마나 작은 차이까지 알고 싶은가"가 필요한 건수를 거의 혼자 결정해요. 그런데 이 칸은 통계 질문이 아니라 장사 질문이에요. 전환율이 3%에서 3.1%로 오르는 것이 사장님 가게에서 한 달에 얼마인지 계산해 보면, 대개 개편 비용보다 작아요. 그러면 그 폭은 애초에 찾을 필요가 없는 폭이에요. 이 계산을 먼저 하면 실험 절반이 시작 전에 정리돼요.

장부 비유가 어디부터 안 맞나 · 마감 장부의 흔들림에는 순수한 우연만 있는 게 아니에요. 요일·날씨·급여일·명절 같은 구조가 섞여 있어요. 그래서 앞뒤 기간을 비교할 때는 이 문서의 계산을 그대로 쓸 수 없어요. 계산이 다루는 흔들림보다 실제 흔들림이 크기 때문이에요. 반대로 같은 기간에 손님을 무작위로 반씩 가르면 그 구조가 양쪽에 똑같이 걸려서, 남는 흔들림이 계산이 다루는 종류에 가까워져요. 유의성 계산이 성립하는 조건이 곧 나누는 방식이라는 뜻이에요.

이것만 기억하세요

·아무것도 바꾸지 않아도 숫자는 흔들려요. 그 폭보다 작은 차이는 결론이 아니에요
·폭은 비율이 아니라 건수로 정해져요. 한쪽 흔들림이 대략 건수의 제곱근이에요
·p값은 크기를 말해 주지 않아요. 결정에는 신뢰구간의 아래쪽 값을 봐요
·판정 지표 하나, 바꿀 값어치가 있는 최소 폭, 종료 조건을 결과 보기 전에 적어요
·"모른다"도 결과예요. 잘못된 개편을 막았고, 이 규모의 한계를 알아냈어요