메시징 A/B 테스터 - 청중이 효과적인 각도를 고르게 합니다 — Claude Skill

메시징 A/B 테스터

어떤 message가 더 나은지 논쟁하지 말고 테스트하세요. messaging variant를 만들고 실제 channel에 배포한 뒤 어떤 framing이 ICP에 실제로 공명하는지 측정합니다.

핵심 원칙: seed/Series A에서는 website A/B test를 할 만큼 traffic이 충분하지 않습니다. 하지만 LinkedIn impression과 cold email send는 messaging angle을 빠르게 테스트하기에 충분합니다.

언제 사용할지

• "이 value prop 중 무엇을 앞세워야 하나요?"
• "우리 messaging angle을 테스트하고 무엇이 작동하는지 알려줘"
• "[message A]와 [message B] 중 결정할 수 없어요"
• "[ICP]에게 어떤 messaging이 가장 잘 먹히나요?"
• "[product/feature]용 messaging test를 실행해줘"

Phase 0: Intake

테스트할 것

1. Core value prop — 테스트하려는 claim 또는 positioning(예: "growth team이 outbound를 10배 빠르게 실행하도록 돕습니다")
2. Test goal — 무엇을 결정하나요? (website headline, cold email angle, LinkedIn content strategy, ad copy direction)
3. ICP — 누구에게 공명해야 하나요? (title, company type, stage)
4. Current messaging — 현재 무엇을 사용하나요? (이겨야 할 baseline)

Test channel

5. 테스트 위치:
   • LinkedIn organic — consecutive day에 post variant를 올리고 engagement 비교
   • Cold email — Smartlead로 subject line 또는 opening hook A/B test
   • Both — 가장 빠른 signal을 위해 병렬 실행
6. 사용 가능한 sample size:
   • LinkedIn: follower 수/일반적인 post impression
   • Email: 테스트에 사용할 list size

제약

7. Variant 수 — 3-5개 권장(많을수록 signal이 느려짐)
8. Test duration — 얼마나 오래 실행하나요? (기본값: LinkedIn 1주, email 3-5일)

Phase 1: Messaging variant 생성

단어만 바꾼 것이 아니라 서로 다른 angle을 테스트하는 3-5개 variant를 만듭니다. 각 variant는 distinct strategic bet이어야 합니다:

Variant types

Variant template

각 variant마다:

VARIANT [N]: [Type — e.g., "Outcome-driven"]

Hypothesis: This framing will resonate because [reasoning tied to ICP psychology]

LinkedIn post version:
---
[Full post copy — 100-200 words, native LinkedIn format]
---

Email subject line version:
[Subject line — max 50 chars]

Email opening hook version:
[First 2 sentences of an email]

Headline version:
[Website headline — max 10 words]

Phase 2: Test 배포

Option A: LinkedIn organic test

Setup:

1. variant를 consecutive post로 schedule합니다(하루 1개, 같은 시간대)
2. 각 post는 비슷한 length와 format이어야 합니다(post structure control)
3. 어떤 post도 boost하지 않습니다. clean comparison을 위해 organic only

Measurement(각 post 게시 48시간 뒤):

• Impressions
• Reactions(likes, celebrates 등)
• Comments
• Comment sentiment(positive/negative/neutral)
• Profile visits(track 가능하다면)
• 해당 post를 언급한 DM

Option B: Cold email A/B test

Smartlead setup:

1. 모든 variant를 A/B test sequence로 넣은 campaign을 만듭니다
2. list를 variant 간에 균등하게 나눕니다(signal용 최소 variant당 50개)
3. 같은 send time, 같은 sender, 같은 CTA를 사용합니다. messaging만 바꿉니다

Measurement(5일 뒤):

• Open rate(subject line test)
• Reply rate(full message resonance test)
• Positive reply rate(conversion quality test)
• Click rate(link 포함 시)

Option C: Both(권장)

LinkedIn과 email을 병렬로 실행합니다. channel마다 다른 winner가 나올 수 있으며, 이는 각 message가 어디서 가장 잘 작동하는지 보여주는 유용한 signal입니다.

Phase 3: 결과 분석

Scoring framework

통계적 유의성 확인

Email test:

• variant당 최소 send: 50(directional signal), 200+(confident decision)
• winner로 부를 최소 차이: primary metric에서 >20% relative difference

LinkedIn test:

• variant당 최소 post: 1(제한된 data로 테스트하므로 directional로 취급)
• 최소 impression: 비교 가능하려면 post당 500

Winner selection

WINNER: Variant [N] — [Type]

Primary metric: [X] (vs average of [Y] across other variants)
Relative improvement: [Z%] over baseline

Why it won:
[1-2 sentences on what this tells us about ICP messaging preferences]

Runner-up: Variant [N]
[1 sentence on when this might work better — different channel, different segment]

Phase 4: Output format

# Messaging A/B Test Results — [DATE]
Value prop tested: [description]
ICP: [target audience]
Test duration: [dates]

---

## Test design

| Variant | Type | Hypothesis |
|---------|------|-----------|
| A | [Type] | [Hypothesis] |
| B | [Type] | [Hypothesis] |
| C | [Type] | [Hypothesis] |

---

## Results

### LinkedIn test

| Variant | Impressions | Reactions | Comments | Engagement Rate | Score |
|---------|------------|-----------|----------|----------------|-------|
| A | [N] | [N] | [N] | [X%] | [weighted] |
| B | [N] | [N] | [N] | [X%] | [weighted] |
| C | [N] | [N] | [N] | [X%] | [weighted] |

### Email test

| Variant | Sends | Opens | Open Rate | Replies | Reply Rate | Positive | Score |
|---------|-------|-------|-----------|---------|------------|----------|-------|
| A | [N] | [N] | [X%] | [N] | [X%] | [N] | [weighted] |
| B | [N] | [N] | [X%] | [N] | [X%] | [N] | [weighted] |
| C | [N] | [N] | [X%] | [N] | [X%] | [N] | [weighted] |

---

## Winner: Variant [N] — "[Headline]"

**Why it won:** [Analysis — what does this tell us about how our ICP thinks?]

**Recommended deployment:**
- Website headline: "[adapted version]"
- Sales deck opening: "[adapted version]"
- LinkedIn bio: "[adapted version]"
- Cold email default: "[adapted version]"

---

## Variant details & copy

### Variant A: [Full copy used in test]
### Variant B: [Full copy used in test]
### Variant C: [Full copy used in test]

---

## 다음에 테스트할 것

이 결과를 바탕으로 다음 messaging test는 다음을 탐색해야 합니다:
1. [Angle suggested by results — e.g., "test more specific proof points since proof-driven won"]
2. [Segment test — e.g., "test winning message against different ICP segment"]

clients/<client-name>/product-marketing/messaging-tests/[test-slug]-[YYYY-MM-DD].md에 저장합니다.

비용

필요한 도구

• Smartlead — email A/B testing용(optional, email로 테스트할 때만)
• LinkedIn organic testing에는 다른 도구가 필요 없습니다
• variant generation과 analysis는 순수 reasoning입니다

트리거 문구

• "[ICP]에 가장 잘 먹히는 messaging angle을 테스트해줘"
• "[value prop]용 messaging A/B test를 실행해줘"
• "이 message 중 무엇을 앞세워야 하나요?"
• "이 positioning option 사이에서 결정하게 도와줘"