A/B 테스트 설계 — 실제로 작동하는 테스트를 실행하세요 — Claude Skill

표본 크기 가이드

표본 크기와 테스트 기간 계산을 위한 참조입니다.

목차

• 표본 크기 기본(필수 입력, 의미)
• 표본 크기 빠른 참조 표
• 기간 계산기(공식, 예시, 최소 기간 규칙, 최대 기간 가이드라인)
• 온라인 계산기
• 여러 variant에 맞춘 조정
• 흔한 표본 크기 실수
• 표본 크기 요구가 너무 클 때
• 순차 테스트
• 빠른 의사결정 프레임워크

표본 크기 기본

필수 입력

1. Baseline 전환율: 현재 전환율
2. Minimum detectable effect (MDE): 감지할 가치가 있는 가장 작은 변화
3. 통계적 유의성 수준: 보통 95%(α = 0.05)
4. 통계적 power: 보통 80%(β = 0.20)

의미

Baseline 전환율: 페이지가 5%로 전환한다면 그것이 baseline입니다.

MDE (Minimum Detectable Effect): 감지하고 싶은 가장 작은 개선폭입니다. 다음을 기준으로 정합니다.

• 사업 영향(5% lift가 의미 있나?)
• 구현 비용(노력할 가치가 있나?)
• 현실적 기대(과거 테스트가 무엇을 보여 줬나?)

통계적 유의성(95%): 관찰된 차이가 우연 때문일 확률이 5% 미만이라는 뜻입니다.

통계적 power(80%): MDE 크기의 실제 효과가 있다면, 이를 감지할 확률이 80%라는 뜻입니다.

표본 크기 빠른 참조 표

전환율: 1%

전환율: 3%

전환율: 5%

전환율: 10%

전환율: 20%

기간 계산기

공식

Duration (days) = (Sample per variant × Number of variants) / (Daily traffic × % exposed)

예시

시나리오 1: traffic이 많은 페이지

• 필요: variant당 10,000(variant 2개 = 총 20,000)
• Daily traffic: 방문자 5,000명
• 테스트 노출 100%
• 기간: 20,000 / 5,000 = 4일

시나리오 2: traffic이 중간인 페이지

• 필요: variant당 30,000(총 60,000)
• Daily traffic: 방문자 2,000명
• 노출 100%
• 기간: 60,000 / 2,000 = 30일

시나리오 3: traffic이 낮고 부분 노출

• 필요: variant당 15,000(총 30,000)
• Daily traffic: 방문자 500명
• 테스트 노출 50%
• Effective daily: 250
• 기간: 30,000 / 250 = 120일(너무 김)

최소 기간 규칙

표본 크기가 충분해도 테스트는 최소 다음 기간 동안 실행합니다.

• 1주 전체: 요일별 변동 포착
• 비즈니스 사이클 2회: B2B라면 평일 vs 주말 패턴 반영
• 급여일 통과: e-commerce라면 월초/월말 영향 반영

최대 기간 가이드라인

4-8주보다 오래 테스트하는 것은 피합니다.

• novelty effect가 사라짐
• 외부 요인이 개입함
• 다른 테스트의 opportunity cost 발생

온라인 계산기

추천 도구

Evan Miller's Calculator https://www.evanmiller.org/ab-testing/sample-size.html

• 단순한 interface
• 북마크할 가치 있음

Optimizely's Calculator https://www.optimizely.com/sample-size-calculator/

• 비즈니스 친화적 언어
• 기간 추정

AB Test Guide Calculator https://www.abtestguide.com/calc/

• Bayesian option 포함
• 여러 테스트 유형 지원

VWO Duration Calculator https://vwo.com/tools/ab-test-duration-calculator/

• 기간 중심
• 계획에 좋음

여러 variant에 맞춘 조정

variant가 2개보다 많으면(A/B/n 테스트) 더 많은 표본이 필요합니다.

이유: 비교가 많아질수록 false positive 가능성이 커집니다. 비교 대상은 다음과 같습니다.

• A vs B
• A vs C
• B vs C(때때로)

Bonferroni correction을 적용하거나 이를 자동 처리하는 도구를 사용합니다.

흔한 표본 크기 실수

1. power가 부족한 테스트

문제: 현실적인 효과를 감지하기에 표본이 부족함 수정: MDE를 현실적으로 정하고, 더 많은 traffic을 확보하거나 테스트하지 않음

2. power가 과한 테스트

문제: 이미 유의성이 있는데도 표본 크기를 기다림 수정: 사실 괜찮습니다. 표본 크기에 커밋했으니 지킵니다.

3. 잘못된 baseline rate

문제: 계산에 잘못된 전환율 사용 수정: 사이트 전체 평균이 아니라 해당 지표와 페이지의 전환율을 사용합니다.

4. 세그먼트 무시

문제: 전체 traffic으로 계산한 뒤 세그먼트를 분석함 수정: 세그먼트 분석을 계획한다면 가장 작은 세그먼트 기준으로 표본을 계산합니다.

5. 너무 많은 것을 테스트

문제: traffic을 너무 많은 방향으로 나눔 수정: 냉정하게 우선순위를 정하고 동시 테스트 수를 줄입니다.

표본 크기 요구가 너무 클 때

traffic이 충분하지 않을 때의 선택지:

1. MDE 높이기: 더 큰 효과(20%+ lift)만 감지하기로 수용
2. 신뢰도 낮추기: 95% 대신 90% 사용(위험하므로 문서화)
3. variant 줄이기: 가장 유망한 variant만 테스트
4. traffic 합치기: 여러 유사 페이지에 걸쳐 테스트
5. 퍼널 상단 테스트: traffic이 더 많은 퍼널 앞단에서 테스트
6. 테스트하지 않기: 정성 데이터로 의사결정
7. 더 긴 테스트: 더 긴 기간(몇 주/몇 달)을 수용

순차 테스트

표본 크기에 도달하기 전에 결과를 확인해야 한다면:

무엇인가?

데이터를 여러 번 보는 상황에 맞춰 조정하는 통계 방법입니다.

사용할 때

• 위험이 큰 변경
• 나쁜 variant를 일찍 중단해야 함
• 시간에 민감한 의사결정

지원 도구

• Optimizely (Stats Accelerator)
• VWO (SmartStats)
• PostHog (Bayesian approach)

Tradeoff

• 일찍 중단할 유연성 증가
• 표본 크기 요구가 약간 커짐
• 분석이 더 복잡함

빠른 의사결정 프레임워크

이 테스트를 실행할 수 있나?

Daily traffic to page: _____
Baseline conversion rate: _____
MDE I care about: _____

Sample needed per variant: _____ (from tables above)
Days to run: Sample / Daily traffic = _____

If days > 60: Consider alternatives
If days > 30: Acceptable for high-impact tests
If days < 14: Likely feasible
If days < 7: Easy to run, consider running longer anyway

A/B 테스트 템플릿 참조

실험을 계획, 문서화, 분석하기 위한 템플릿입니다.

목차

• 테스트 계획 템플릿
• 결과 문서화 템플릿
• 테스트 저장소 항목 템플릿
• 빠른 테스트 brief 템플릿
• 이해관계자 업데이트 템플릿
• 실험 우선순위 scorecard
• 가설 bank 템플릿

테스트 계획 템플릿

# A/B 테스트: [이름]

## 개요
- **Owner**: [이름]
- **Test ID**: [테스트 도구의 ID]
- **Page/Feature**: [테스트 대상]
- **Planned dates**: [시작] - [종료]

## 가설

[관찰/데이터] 때문에,
우리는 [변경]이
[대상 독자]에게
[예상 결과]를 만들 것이라고 믿습니다.
[지표]가 나타나면 이것이 맞다고 판단합니다.

## 테스트 설계

| 요소 | 세부 내용 |
|------|-----------|
| Test type | A/B / A/B/n / MVT |
| Duration | X weeks |
| Sample size | X per variant |
| Traffic allocation | 50/50 |
| Tool | [도구 이름] |
| Implementation | Client-side / Server-side |

## Variant

### Control (A)
[스크린샷]
- 현재 경험
- [현재 상태의 핵심 세부 내용]

### Variant (B)
[스크린샷 또는 mockup]
- [구체적 변경 #1]
- [구체적 변경 #2]
- Rationale: [왜 이것이 이길 것이라고 생각하는지]

## 지표

### 1차
- **Metric**: [지표 이름]
- **Definition**: [계산 방식]
- **Current baseline**: [X%]
- **Minimum detectable effect**: [X%]

### 2차
- [지표 1]: [알려 주는 것]
- [지표 2]: [알려 주는 것]
- [지표 3]: [알려 주는 것]

### Guardrails
- [나빠지면 안 되는 지표]
- [다른 안전 지표]

## 세그먼트 분석 계획
- Mobile vs. desktop
- New vs. returning visitors
- 유입 출처
- [기타 관련 세그먼트]

## 성공 기준
- Winner: [1차 지표가 95% confidence로 X% 개선]
- Loser: [1차 지표가 유의미하게 감소]
- Inconclusive: [유의미한 결과가 없을 때 할 일]

## 출시 전 checklist
- [ ] 가설 문서화 및 검토 완료
- [ ] 1차 지표 정의 및 추적 가능
- [ ] 표본 크기 계산
- [ ] 테스트 기간 추정
- [ ] variant가 올바르게 구현됨
- [ ] 모든 variant에서 tracking 검증
- [ ] 모든 variant QA 완료
- [ ] 이해관계자에게 알림
- [ ] 분석 날짜 calendar hold

결과 문서화 템플릿

# A/B 테스트 결과: [이름]

## 요약
| 요소 | 값 |
|------|----|
| Test ID | [ID] |
| Dates | [시작] - [종료] |
| Duration | X days |
| Result | Winner / Loser / Inconclusive |
| Decision | [무엇을 할지] |

## 가설(리마인더)
[테스트 계획에서 복사]

## 결과

### 표본 크기
| Variant | Target | Actual | target 대비 % |
|---------|--------|--------|---------------|
| Control | X | Y | Z% |
| Variant | X | Y | Z% |

### 1차 지표: [지표 이름]
| Variant | Value | 95% CI | vs. Control |
|---------|-------|--------|-------------|
| Control | X% | [X%, Y%] | — |
| Variant | X% | [X%, Y%] | +X% |

**통계적 유의성**: p = X.XX (95% = sig / not sig)
**실무적 유의성**: [이 lift가 사업에 의미 있는가?]

### 2차 지표

| Metric | Control | Variant | Change | Significant? |
|--------|---------|---------|--------|--------------|
| [지표 1] | X | Y | +Z% | Yes/No |
| [지표 2] | X | Y | +Z% | Yes/No |

### Guardrail 지표

| Metric | Control | Variant | Change | Concern? |
|--------|---------|---------|--------|----------|
| [지표 1] | X | Y | +Z% | Yes/No |

### 세그먼트 분석

**Mobile vs. Desktop**
| Segment | Control | Variant | Lift |
|---------|---------|---------|------|
| Mobile | X% | Y% | +Z% |
| Desktop | X% | Y% | +Z% |

**New vs. Returning**
| Segment | Control | Variant | Lift |
|---------|---------|---------|------|
| New | X% | Y% | +Z% |
| Returning | X% | Y% | +Z% |

## 해석

### 무슨 일이 일어났나?
[결과를 쉬운 말로 설명]

### 왜 이런 일이 일어났다고 보는가?
[분석과 추론]

### 주의 사항
[제약, 외부 요인, 우려]

## 결정

**Winner**: [Control / Variant]

**Action**: [variant 구현 / control 유지 / 재테스트]

**Timeline**: [변경 구현 시점]

## 학습

### 배운 점
- [핵심 인사이트 1]
- [핵심 인사이트 2]

### 다음에 테스트할 것
- [후속 테스트 아이디어 1]
- [후속 테스트 아이디어 2]

### 영향
- **Projected lift**: [Y 지표에서 X% 개선]
- **Business impact**: [매출, 전환 등]

테스트 저장소 항목 템플릿

모든 테스트를 중앙 위치에서 추적할 때:

| Test ID | Name | Page | Dates | Primary Metric | Result | Lift | Link |
|---------|------|------|-------|----------------|--------|------|------|
| 001 | Hero headline test | Homepage | 1/1-1/15 | CTR | Winner | +12% | [Link] |
| 002 | Pricing table layout | Pricing | 1/10-1/31 | Plan selection | Loser | -5% | [Link] |
| 003 | Signup form fields | Signup | 2/1-2/14 | Completion | Inconclusive | +2% | [Link] |

빠른 테스트 brief 템플릿

전체 문서화가 필요 없는 단순 테스트용:

## [테스트 이름]

**What**: [한 문장 설명]
**Why**: [한 문장 가설]
**Metric**: [1차 지표]
**Duration**: [X weeks]
**Result**: [TBD / Winner / Loser / Inconclusive]
**Learnings**: [핵심 takeaway]

이해관계자 업데이트 템플릿

## A/B 테스트 업데이트: [이름]

**Status**: Running / Complete
**Days remaining**: X (또는 complete)
**Current sample**: target의 X%

### 예비 관찰
[보고 있는 내용 - 아직 결정하지 않음]

### 다음 단계
[다음에 일어날 일]

### Timeline
- [날짜]: 분석 완료
- [날짜]: 결정과 추천
- [날짜]: 구현(winner인 경우)

실험 우선순위 scorecard

어떤 테스트를 실행할지 결정할 때:

Scoring: 1-5 (5 = best)

가설 bank 템플릿

테스트 아이디어를 모을 때:

| ID | Page/Area | Observation | Hypothesis | Potential Impact | Status |
|----|-----------|-------------|------------|------------------|--------|
| H1 | Homepage | Low scroll depth | Shorter hero will increase scroll | High | Testing |
| H2 | Pricing | Users compare plans | Comparison table will help | Medium | Backlog |
| H3 | Signup | Drop-off at email | Social login will increase completion | Medium | Backlog |