시퀀스 성과 진단 - 이메일 캠페인을 끝까지 분석합니다 — Claude Skill

시퀀스 성과

허영 지표를 넘어섭니다. 대부분의 캠페인 보고서는 오픈율과 답장률만 알려줍니다. 이 composite은 실제로 보낸 이메일을 읽고, 받은 모든 답장을 읽고, 응답을 분류하고, 문구를 평가하고, 리드 품질을 평가한 뒤 무엇이 작동하는지, 무엇이 작동하지 않는지, 무엇을 해야 하는지 구체적으로 알려줍니다.

세 가지 분석 레이어:

1. 정량: 숫자 - 발송, 오픈, 답장, 반송, 전환을 touch 및 variant별로 분석
2. 정성(문구): 제목, 이메일 본문, CTA, 개인화가 실제로 좋은가? 무엇이 먹히고 무엇이 실패하는가?
3. 정성(답장): 사람들이 실제로 뭐라고 말하는가? 어떤 반론이 반복되는가? 무엇이 진짜 관심을 만드는가?

자동 로드 시점

다음 경우 이 composite을 로드합니다.

• 사용자가 "내 캠페인 성과가 어떤가요", "시퀀스 성과", "캠페인 리뷰", "이메일 분석"이라고 말함
• 사용자가 "내 영업 연락을 분석해 주세요", "왜 캠페인이 작동하지 않나요", "이메일 결과를 리뷰해 주세요"라고 말함
• 상위 작업 흐름(파이프라인 운영, 주간 리뷰)이 캠페인 성과 확인을 트리거함
• 캠페인이 7일 이상 실행되었고 의미 있는 데이터가 있음

---

0단계: 설정(1회)

첫 실행에서 이 선호도를 수집하고 저장합니다. 이후 실행에서는 건너뜁니다.

영업 연락 도구 설정

귀사 맥락(문구 평가용)

벤치마크 맥락

설정 저장 위치: clients/<client-name>/config/sequence-performance.json 또는 동등한 위치.

---

1단계: 캠페인 데이터 가져오기

목적: 지표, 이메일 문구, 답장 내용 등 모든 캠페인 데이터를 추출합니다.

입력 계약

campaign_selection: {
  campaign_id: string | null        # 특정 캠페인 ID(알고 있는 경우)
  campaign_name: string | null      # 검색할 캠페인명
  date_range: {                     # 선택 - 지정하지 않으면 모든 데이터 가져오기
    start_date: string
    end_date: string
  } | null
  include_replies: boolean          # 기본값: true - 실제 답장 텍스트 가져오기
}
outreach_tool: string               # 설정에서 가져옴
access_method: string               # 설정에서 가져옴

프로세스

세 범주의 데이터를 가져옵니다.

A) 캠페인 지표

영업 연락 도구별:

B) 이메일 문구(시퀀스 콘텐츠)

시퀀스의 모든 touch에 대해 실제 이메일 템플릿/문구를 가져옵니다.

영업 연락 도구별:

C) 답장 내용

받은 모든 답장의 실제 텍스트를 가져옵니다.

영업 연락 도구별:

데이터 표준화

표준 구조로 정규화합니다.

campaign_data: {
  campaign_name: string
  campaign_id: string
  date_range: { start: string, end: string }
  status: "active" | "paused" | "completed"

  metrics: {
    total_sent: integer
    unique_recipients: integer
    total_opens: integer
    unique_opens: integer
    total_replies: integer
    bounces: integer
    unsubscribes: integer
    clicks: integer | null
    meetings_booked: integer | null
  }

  sequence: [
    {
      touch_number: integer
      delay_days: integer               # 이전 touch 이후 일수
      variants: [
        {
          variant_id: string            # "A", "B" 등
          subject: string
          body: string
          personalization_fields: string[]
          metrics: {
            sent: integer
            opens: integer
            replies: integer
            bounces: integer
          }
        }
      ]
    }
  ]

  replies: [
    {
      sender_name: string
      sender_title: string | null
      sender_company: string | null
      sender_email: string
      reply_text: string
      reply_date: string
      triggered_by_touch: integer
      triggered_by_variant: string | null
      existing_category: string | null  # 도구의 분류가 있으면 사용
    }
  ]

  lead_list_summary: {
    total_leads: integer
    by_title: [ { title: string, count: integer } ] | null
    by_industry: [ { industry: string, count: integer } ] | null
    by_source: [ { source: string, count: integer } ] | null
  } | null
}

사람 확인 지점

## 캠페인 데이터 가져옴

캠페인: [name]
상태: [active/paused/completed]
기간: [start] to [end]
발송: Y명 수신자에게 X개 이메일
받은 답장: Z개(분석용 전체 텍스트 가져옴)
Touches: N touches, M variants
리드 데이터 사용 가능: [yes/partial/no]

데이터가 완전해 보이나요? (Y/n)

---

2단계: 정량 분석

목적: 모든 성과 지표를 계산하고, 업계 기준과 비교하며, 통계적 패턴을 식별합니다. 순수 계산입니다.

입력 계약

campaign_data: { ... }                # 1단계에서 가져옴
outreach_type: string                 # 설정에서 가져옴("cold" 또는 "warm")
target_segment: string                # 설정에서 가져옴("smb", "mid-market", "enterprise")

벤치마크

영업 연락 유형과 세그먼트에 따라 기대치를 보정합니다.

지표 계산

A) 전체 캠페인 지표

B) Touch별 분해

시퀀스의 각 touch에 대해:

C) Variant 분석(A/B Testing)

touch별 variant가 여러 개 있으면:

통계적 유의성 확인:

• variant당 <50 sends → "데이터 부족 - 판단하기 이름"
• 50-100 sends → "방향성 - [variant]가 앞서지만 결론 아님"
• 100-250 sends → "유력한 승자 - [variant]가 X% 우수"
• 250+ sends → "통계적으로 유의 - [variant] scale, [other] kill"

D) 시간 패턴

출력 계약

quantitative_analysis: {
  overall: {
    open_rate: percentage
    reply_rate: percentage
    positive_reply_rate: percentage
    bounce_rate: percentage
    unsubscribe_rate: percentage
    click_rate: percentage | null
    meeting_conversion: percentage | null
    deliverability_rate: percentage
  }
  vs_benchmark: {
    open_rate: "above" | "at" | "below"
    reply_rate: "above" | "at" | "below"
    bounce_rate: "healthy" | "concerning" | "critical"
    assessment: string                 # 한 줄 요약
  }
  by_touch: [
    {
      touch_number: integer
      sent: integer
      open_rate: percentage
      reply_rate: percentage
      marginal_reply_rate: percentage
      reply_contribution: percentage   # 전체 답장 중 이 touch에서 나온 비율
    }
  ]
  by_variant: [
    {
      touch_number: integer
      variant_id: string
      subject: string                  # 빠른 참조용
      sent: integer
      open_rate: percentage
      reply_rate: percentage
      confidence: string               # "insufficient", "directional", "likely", "significant"
      recommendation: string           # "scale", "keep testing", "kill"
    }
  ] | null
  temporal: {
    best_day: string
    best_time: string
    avg_open_to_reply_hours: float
    velocity_trend: "accelerating" | "steady" | "decelerating"
  } | null
}

사람 확인 지점은 없습니다. 다음 분석으로 바로 전달됩니다.

---

3단계: 답장 분석

목적: 모든 답장을 읽고, 분류하고, 반론 패턴을 추출하고, 답장이 문구와 리드 품질에 대해 무엇을 말하는지 평가합니다. 순수 LLM reasoning입니다.

입력 계약

replies: [...]                        # 1단계 campaign_data.replies에서 가져옴
your_company: {
  description: string
  pain_point: string
  icp_definition: string
}

프로세스

A) 답장 분류

각 답장을 읽고 카테고리로 분류합니다.

B) 반론 패턴 분석

반론을 그룹화하고 패턴을 식별합니다.

C) 긍정 신호 분석

긍정 답장과 웜 응답에 대해:

D) 답장 품질 점수

종합 평가:

출력 계약

reply_analysis: {
  total_replies: integer
  classification: [
    { category: string, count: integer, percentage: percentage }
  ]
  reply_quality_score: "strong" | "mixed" | "weak" | "toxic"
  reply_quality_reasoning: string

  objection_patterns: {
    top_objection: { type: string, count: integer, example_quotes: string[] }
    objections_by_touch: [ { touch: integer, objection_type: string, count: integer } ]
    handleable_objections: [ { type: string, count: integer, suggested_handle: string } ]
    terminal_objections: [ { type: string, count: integer, implication: string } ]
  }

  positive_signals: {
    interest_triggers: [ { touch: integer, variant: string | null, pattern: string } ]
    common_responder_traits: string     # 긍정 응답자의 공통점
    resonating_phrases: string[]        # 긍정 답장의 정확한 인용
    common_questions: string[]          # 웜 리드가 묻는 질문
  }

  notable_replies: [                    # 가장 배울 점이 많은 답장 5-10개
    {
      category: string
      sender_info: string               # Title @ Company
      quote: string                     # 핵심 발췌
      insight: string                   # 이것이 알려주는 점
    }
  ]
}

---

4단계: 문구 품질 평가

목적: 실제 이메일 문구, 즉 제목, 본문, 개인화, CTA를 모범 사례와 답장 데이터에 비춰 평가합니다. 순수 LLM reasoning입니다.

입력 계약

sequence: [...]                       # 1단계 campaign_data.sequence에서 가져옴(실제 이메일)
quantitative_analysis: { ... }        # 2단계에서 가져옴(성과가 좋은 touch/variant)
reply_analysis: { ... }               # 3단계에서 가져옴(답장이 문구에 대해 말하는 것)
your_company: {
  description: string
  pain_point: string
  proof_points: string[]
  cta_goal: string
}

프로세스

각 touch와 variant를 다음 차원으로 평가합니다.

A) 제목 분석

각 제목에 대해:

Variant별 제목 판정:

• 작동 중: 기준 이상의 오픈율. 유지합니다.
• 저성과: 기준 이하의 오픈율. 원인을 진단하고 대안을 제안합니다.
• 스팸 위험: 매우 낮은 오픈율 + 높은 반송률. 스팸 필터에 걸릴 가능성이 큽니다.

B) 이메일 본문 분석

각 이메일 본문에 대해:

C) 개인화 평가

D) 시퀀스 아키텍처 평가

출력 계약

copy_assessment: {
  overall_grade: "A" | "B" | "C" | "D" | "F"
  overall_summary: string              # 2-3문장 평가

  subject_lines: [
    {
      touch: integer
      variant: string
      subject: string
      open_rate: percentage
      verdict: "working" | "underperforming" | "spam_risk"
      issues: string[]
      suggested_alternative: string | null
    }
  ]

  email_bodies: [
    {
      touch: integer
      variant: string
      word_count: integer
      hook_quality: "strong" | "adequate" | "weak"
      value_prop_clarity: "clear" | "muddled" | "missing"
      proof_usage: "strong" | "weak" | "none"
      personalization_level: "tier_1" | "tier_2" | "tier_3" | "none"
      cta_quality: "clear_low_friction" | "clear_high_friction" | "unclear" | "missing"
      issues: string[]
      rewrite_suggestions: string[]
    }
  ]

  sequence_architecture: {
    touch_count_verdict: string
    timing_verdict: string
    angle_diversity_verdict: string
    overall_flow: string
  }

  strongest_element: string            # 문구에서 가장 잘 작동하는 요소
  weakest_element: string              # 가장 많이 고쳐야 할 요소
}

---

5단계: 리드 품질 평가

목적: 올바른 사람에게 보내고 있는지 평가합니다. 완벽한 문구도 청중이 틀리면 실패합니다. 답장 패턴과 리드 데이터를 교차 참조합니다.

입력 계약

lead_list_summary: { ... } | null     # 1단계에서 가져옴(사용 가능한 경우)
reply_analysis: { ... }               # 3단계에서 가져옴
quantitative_analysis: { ... }        # 2단계에서 가져옴
icp_definition: string                # 설정에서 가져옴

프로세스

A) 타기팅 평가

B) 신호 품질(답장에서 추론)

C) 응답자 프로필 분석

긍정적으로 답한 사람의 데이터가 있으면:

• 어떤 직함이 가장 많이 응답했나요?
• 어떤 업종인가요?
• 어떤 회사 규모인가요?
• 전체 발송 리스트와 다른 패턴이 있나요?

이는 "의도한 ICP"와 "실제 ICP"를 드러냅니다. 둘이 어긋나는 경우가 있습니다.

출력 계약

lead_quality: {
  overall_grade: "A" | "B" | "C" | "D" | "F"
  overall_summary: string

  targeting_assessment: {
    title_fit: "aligned" | "partially_aligned" | "misaligned"
    industry_fit: "aligned" | "partially_aligned" | "misaligned"
    issues: string[]
  }

  signal_quality: {
    primary_signal: string              # 답장 패턴이 타기팅에 대해 시사하는 것
    evidence: string[]                  # 구체 데이터 포인트
  }

  responder_profile: {
    most_responsive_titles: string[]
    most_responsive_industries: string[]
    actual_vs_intended_icp: string      # 응답 청중이 타기팅과 어떻게 다른지
  } | null

  recommendations: string[]
}

---

6단계: 보고서 생성

목적: 모든 분석을 하나의 진단 보고서로 종합합니다. 경영진 요약과 상세 분해, 그리고 우선순위화된 작업 목록을 포함합니다.

입력 계약

quantitative_analysis: { ... }        # 2단계에서 가져옴
reply_analysis: { ... }               # 3단계에서 가져옴
copy_assessment: { ... }              # 4단계에서 가져옴
lead_quality: { ... }                 # 5단계에서 가져옴
benchmarks: { ... }                   # 2단계에서 보정됨

보고서 구조

# 시퀀스 성과 리뷰: [Campaign Name]
**기간:** [date range] | **상태:** [active/paused/completed]

---

## 경영진 요약

**전체 판정:** [한 문장: "이 캠페인은 [performing well / underperforming / in trouble] because [key reason]."]

| 차원 | 등급 | 한 줄 평가 |
|-----------|-------|-------------------|
| 지표 | [A-F] | [e.g., "Reply rate 2x benchmark — strong performance"] |
| 문구 품질 | [A-F] | [e.g., "Touch 1 is strong, Touch 2-3 need new angles"] |
| 리드 품질 | [A-F] | [e.g., "Targeting is tight but volume is too low"] |
| 답장 품질 | [Strong/Mixed/Weak/Toxic] | [e.g., "60% positive — objections are handleable"] |

### 작동하는 것(더 밀어붙이기)
- [Specific thing that's working, with data]
- [Another]

### 작동하지 않는 것(수정 또는 중단)
- [Specific thing that's failing, with data]
- [Another]

### 상위 3개 작업
1. [Highest-impact action with expected result]
2. [Second]
3. [Third]

---

## 상세 지표

### 전체 성과
| 지표 | 실제 | 벤치마크 | 상태 |
|--------|--------|-----------|--------|
| 발송 이메일 | X | — | — |
| 전달 가능률 | X% | >97% | [flag] |
| 오픈율 | X% | Y% | [above/below] |
| 답장률 | X% | Y% | [above/below] |
| 긍정 답장률 | X% | Y% | [above/below] |
| 반송률 | X% | <3% | [flag] |
| 미팅 전환 | X% | — | — |

### Touch별 성과
| Touch | 발송 | 오픈율 | 답장률 | 한계 답장률 | 전체 답장 비중 |
|-------|------|-----------|------------|--------------------|--------------------|
| 1 | X | Y% | Z% | Z% | W% |
| 2 | X | Y% | Z% | Z% | W% |
| 3 | X | Y% | Z% | Z% | W% |

[Commentary: which touches are carrying the campaign? Is Touch 2+ adding value or wasting sends?]

### Variant 성과(A/B testing인 경우)
| Touch | Variant | 제목 | 발송 | 오픈율 | 답장률 | 확신도 | 작업 |
|-------|---------|---------|------|-----------|------------|------------|--------|
| 1 | A | "..." | X | Y% | Z% | Likely | Scale |
| 1 | B | "..." | X | Y% | Z% | Likely | Kill |

---

## 답장 심층 분석

### 답장 분류
| 카테고리 | 수 | 답장 비중 | 추세 |
|----------|-------|-------------|-------|
| 긍정적 관심 | X | Y% | — |
| 미팅 요청 | X | Y% | — |
| 웜 / 호기심 | X | Y% | — |
| 반론 — 타이밍 | X | Y% | — |
| 반론 — 관련성 | X | Y% | [flag if high] |
| 관심 없음 | X | Y% | — |
| 자동 답장 / OOO | X | Y% | — |

### 상위 반론
| 반론 | 수 | 처리 가능? | 제안 응답 |
|-----------|-------|------------|-------------------|
| [objection] | X | Yes/No | [how to handle or what it implies] |

### 주목할 답장
[5-10 most instructive replies with quotes and what they teach us]

---

## 문구 평가

### 제목
| Touch | 제목 | 오픈율 | 판정 | 이슈 |
|-------|---------|-----------|---------|-------|
| 1 | "..." | X% | Working | — |
| 2 | "..." | X% | Underperforming | Too generic |

### 이메일 본문
| Touch | 등급 | Hook | 가치 제안 | 증거 | 개인화 | CTA |
|-------|-------|------|-----------|-------|----------------|-----|
| 1 | B+ | Strong | Clear | One proof point | Tier 2 | Clear, low-friction |
| 2 | C | Weak ("just following up") | Repeat of T1 | None new | Tier 1 | Same CTA as T1 |

[Specific rewrite suggestions for underperforming touches]

### 시퀀스 아키텍처
- Touch 수: [verdict]
- 타이밍: [verdict]
- 각도 다양성: [verdict]
- 전체 흐름: [verdict]

---

## 리드 품질

### 타기팅
| 차원 | 의도 | 실제(응답자 기준) | 적합성 |
|-----------|---------|------------------------|-----|
| 직함 | VP Sales, CRO | Sales Managers (mostly) | Partial |
| 업종 | SaaS, FinTech | SaaS (90%) | Aligned |
| 회사 규모 | 50-500 | 20-200 | Shift down |

[Commentary on targeting gaps]

---

## 권장안(우선순위순)

### 높은 우선순위(이번 주 실행)
1. **[Action]** — [Data point] → [Expected impact]
2. **[Action]** — [Data point] → [Expected impact]

### 중간 우선순위(이번 달 실행)
3. **[Action]** — [Data point] → [Expected impact]
4. **[Action]** — [Data point] → [Expected impact]

### 낮은 우선순위(Backlog)
5. **[Action]** — [Data point]

### 중단 목록
- [Anything that should be stopped — a variant, a touch, a segment]

권장안 생성 로직

출력 계약

report: {
  executive_summary: string           # Markdown formatted
  detailed_report: string             # Markdown formatted
  recommendations: [
    {
      priority: "high" | "medium" | "low" | "kill"
      category: "subject_line" | "body_copy" | "targeting" | "sequence" | "variant" | "infrastructure" | "list_hygiene"
      action: string
      data_point: string
      expected_impact: string
    }
  ]
  rewrite_suggestions: [              # 바로 사용할 수 있는 문구 대안
    {
      touch: integer
      element: "subject" | "body" | "cta"
      current: string
      suggested: string
      rationale: string
    }
  ] | null
}

사람 확인 지점

경영진 요약을 제시한 뒤 상세 확인을 제안합니다.

[Executive Summary rendered]

---

전체 상세 보고서에는 다음이 포함됩니다.
- Touch별 오픈/답장률 분해
- 모든 답장 분류와 인용
- Touch별 6개 차원의 문구 점수
- 의도한 ICP 대비 실제 ICP를 포함한 리드 품질 평가
- 재작성 제안이 포함된 우선순위 권장안

전체 보고서를 볼까요? 아니면 특정 권장안을 실행할까요?

---

실행 요약

전체 사람 검토 시간: 약 10-15분. 수동 캠페인 리뷰로는 1-2시간 걸릴 분석입니다.

---

데이터 가용성에 따른 조정

최소 실행 가능 데이터: 이메일 발송 수 + 답장 수 + 이메일 문구 텍스트. 나머지는 풍부하게 만드는 데이터입니다.

---

팁

• 캠페인 7일차와 14일차에 실행하세요. 7일차는 초기 문제(전달 가능성, 제목)를 잡습니다. 14일차는 의미 있는 반론 분석에 충분한 답장 볼륨을 제공합니다.
• 답장 분석에 진짜 가치가 있습니다. 지표는 무엇이 일어나는지 말해 줍니다. 답장은 왜 일어나는지 말해 줍니다.
• 높은 오픈율 + 낮은 답장률은 문구 문제입니다. 사람들은 열 만큼 관심이 있지만 이메일이 제목의 약속을 지키지 못합니다.
• 낮은 오픈율 + 오픈한 사람 기준 괜찮은 답장률은 제목 문제입니다. 이메일은 작동합니다. 사람들이 보지 못할 뿐입니다. 제목을 고치면 답장이 scale됩니다.
• "관련 없음" 반론은 가장 중요한 신호입니다. 답장의 20% 이상이 "이건 나와 관련 없다"고 말하면 문구 문제가 아니라 타기팅 문제입니다. 나쁜 리스트는 어떤 문구 재작성으로도 해결되지 않습니다.
• Variant를 너무 빨리 kill하지 마세요. 방향성 데이터를 보려면 variant당 100+ sends가 필요합니다. 30 sends에서 승자를 부르는 것은 noise를 읽는 것입니다.
• Touch 2/3은 전체 답장의 30-40%를 기여해야 합니다. Touch 1이 답장의 90% 이상을 차지하면 후속 이메일이 가치를 추가하지 못하는 것입니다. 진짜 새 관점으로 재작성하세요.
• 반론 분석을 저장하세요. 이것은 제품 마케팅의 핵심 자산입니다. 잠재고객이 반론을 제기할 때 쓰는 정확한 언어는 웹사이트와 영업 자료가 선제적으로 다뤄야 할 언어입니다.