퍼널 데이터를 해석해야 할 때 /product-analyst가 지표 프레임워크를 만들어 코호트 신호에 따라 행동하게 합니다. — Claude Skill

---

title: 섹션 구성

1. 지표 프레임워크(metrics)

영향도: 매우 높음 설명: AARRR와 HEART 같은 핵심 지표 프레임워크, KPI 선택, 지표 계층, 북극성 지표 정의입니다. 모든 제품 분석의 기반입니다.

2. 퍼널 분석(funnel)

영향도: 매우 높음 설명: 전환 퍼널 설계, 이탈 분석, 병목 식별, 최적화 전략입니다. 대부분의 성장 기회가 있는 곳입니다.

3. 코호트 및 유지율(cohort)

영향도: 매우 높음 설명: 코호트 분석, 유지율 곡선, 이탈 예측, 생애주기 세분화입니다. 지속 가능한 성장의 핵심입니다.

4. 기능 분석(feature)

영향도: 높음 설명: 기능 도입 추적, 사용 깊이 측정, 성공 기준, 기능 수준 의사결정입니다.

5. 실험(experiment)

영향도: 높음 설명: A/B 테스트 설계, 가설 수립, 통계적 엄밀성, 실험 결과 해석입니다.

6. 데이터 계측(instrumentation)

영향도: 높음 설명: 이벤트 분류 체계, 추적 구현, 데이터 품질, 신뢰할 수 있는 분석 기반 구축입니다.

7. 대시보드 설계(dashboard)

영향도: 중상 설명: 제품 대시보드, 이해관계자 보고, 셀프서비스 분석, 시각화 모범 사례입니다.

---

title: 코호트 분석 및 유지율 impact: CRITICAL tags: cohort, retention, churn, lifecycle

코호트 분석 및 유지율

영향도: 매우 높음

코호트 분석은 신호와 노이즈를 분리합니다. 공통 시작점을 공유하는 사용자 그룹을 비교해 "상황이 좋아지고 있는가?"에 답합니다.

코호트란 무엇인가?

코호트는 공통 특성을 공유하는 사용자 그룹입니다. 일반적으로 가입일(획득 코호트) 또는 첫 행동일(행동 코호트)을 기준으로 묶습니다.

1주차 코호트: 1주차에 가입한 모든 사용자
2주차 코호트: 2주차에 가입한 모든 사용자
...

비교: 5주차 코호트는 1주차 코호트와 비교해 어떻게 수행되는가?

고전적 유지율 표

         0주차    1주차    2주차    3주차    4주차    5주차
코호트   ──────   ──────   ──────   ──────   ──────   ──────
1월 1일  1,000    450      380      320      290      280
1월 8일  1,200    540      465      400      360        -
1월 15일 1,100    520      440      385        -        -
1월 22일 1,300    610      530        -        -        -
1월 29일 1,400    650        -        -        -        -

비율로 보기:
         0주차    1주차    2주차    3주차    4주차    5주차
         ──────   ──────   ──────   ──────   ──────   ──────
1월 1일  100%     45%      38%      32%      29%      28%
1월 8일  100%     45%      39%      33%      30%       -
1월 15일 100%     47%      40%      35%       -        -
1월 22일 100%     47%      41%       -        -        -
1월 29일 100%     46%       -        -        -        -

표 읽는 방법:

• 행: 서로 다른 코호트(가입 주 기준)
• 열: 가입 이후 시간 구간
• 대각선: 코호트 전반에서 같은 달력 주
• 오른쪽 추세: 한 코호트의 유지율이 시간이 지나며 어떻게 변하는가
• 아래쪽 추세: 더 새로운 코호트의 유지율이 개선/악화되는가

유지율 지표 유형

예시:

N일차(D7):
  정확히 7일차에 활성 / 전체 사용자 = 22%

N일차 롤링(D7):
  7-14일 사이 최소 1회 활성 / 전체 사용자 = 35%

무제한(D7):
  7일차 또는 그 이후 어느 날 활성 / 전체 사용자 = 45%

구간(2주차):
  8-14일 사이 활성 / 전체 사용자 = 32%

유지율 곡선

100% ┤
     │ ●
 80% ┤  ╲
     │   ●
 60% ┤    ╲
     │     ●───●───●───●───●───●  ← 좋음: 평평해짐
 40% ┤
     │         ●
 20% ┤          ╲
     │           ●───●
  0% ┤                ╲───●───●  ← 나쁨: 계속 하락
     └────────────────────────────
       W0  W1  W2  W3  W4  W5  W6  W7  W8

곡선이 알려주는 것:

• 초기 급락: 활성화 문제
• 완만한 지속 하락: 가치 실현 문제
• 높은 비율에서 평평해짐: 강한 제품-시장 적합성
• 절대 평평해지지 않음: 근본적 가치 문제

코호트 분석 기법

1. 획득 코호트 분석 가입일로 묶어 측정:

• 유지율이 시간이 지날수록 개선되는가?
• 제품 변경이 유지율에 도움이 되었는가, 해가 되었는가?
• 새로운 사용자가 더 많이/적게 참여하는가?

질문: 사용자 유지가 나아지고 있는가?
비교: 1월 코호트의 4주차 유지율 vs 3월 코호트의 4주차 유지율
결과: 29% → 35% 개선
인사이트: 온보딩 개선이 효과를 내고 있음

2. 행동 코호트 분석 첫 행동 또는 행동으로 묶어 측정:

• 어떤 첫 행동이 유지율을 예측하는가?
• 참여 사용자와 이탈 사용자를 가르는 것은 무엇인가?
• "아하 순간"은 무엇인가?

첫 행동별 코호트:
┌──────────────────────────────────────────────┐
│ 첫 행동              │ 4주차 유지율 │ LTV    │
├──────────────────────────────────────────────┤
│ 프로젝트 생성        │    42%       │ $280   │
│ 팀원 초대            │    58%       │ $420   │
│ 데이터 가져오기      │    65%       │ $510   │
│ 둘러보기만 함        │    12%       │ $45    │
└──────────────────────────────────────────────┘

인사이트: 데이터를 가져온 사용자는 유지율이 5배 높음
행동: 온보딩에서 데이터 가져오기를 우선시

3. 세그먼트 코호트 분석 사용자 세그먼트별 유지율 비교:

세그먼트별 4주차 유지율:
┌──────────────────────────────────────────────┐
│ 세그먼트             │ 4주차 유지율          │
├──────────────────────────────────────────────┤
│ 엔터프라이즈(500+)   │    72%                │
│ 미드마켓(50-500)     │    48%                │
│ 중소기업(10-50)      │    35%                │
│ 마이크로(<10)        │    18%                │
└──────────────────────────────────────────────┘

인사이트: 엔터프라이즈가 마이크로보다 4배 더 잘 유지됨
행동: ICP 초점을 옮기거나 중소기업 경험 개선

핵심 유지율 지표 계산

이탈률

월간 이탈률 = 해당 월에 잃은 고객 / 월초 고객
예시: 이탈 50 / 시작 1,000 = 월간 이탈률 5%
연간 이탈률 ≈ 1 - (1 - 월간 이탈률)^12 = 연간 이탈률 46%

유지율

유지율 = 1 - 이탈률
예시: 1 - 5% = 월간 유지율 95%

고객 생애(평균)

평균 생애 = 1 / 이탈률
예시: 1 / 5% = 평균 생애 20개월

순매출 유지율(NRR)

NRR = (시작 MRR + 확장 - 축소 - 이탈) / 시작 MRR
예시: ($100k + $15k - $5k - $8k) / $100k = NRR 102%

좋은 유지율 곡선과 나쁜 유지율 곡선

좋음: 소비자 구독(Spotify와 유사)

일차   유지율        해석
───────────────────────────────────
D1     70%          좋은 첫 세션
D7     45%          습관 형성
D30    30%          탄탄한 월간 참여
D90    22%          핵심 사용자 기반 형성
D180   18%          평탄화 = 제품-시장 적합성

나쁨: 새는 양동이

일차   유지율        해석
───────────────────────────────────
D1     50%          많은 사용자가 즉시 이탈
D7     25%          일주일 안에 절반이 떠남
D30    8%           사용자가 빠르게 빠져나감
D90    2%           거의 아무도 남지 않음
D180   0.5%         근본적 가치 문제

좋음: B2B SaaS

월     유지율        해석
───────────────────────────────────
M1     92%          일반적인 초기 이탈
M3     88%          온보딩 완료
M6     85%          고착된 통합
M12    80%          연간 갱신 강함
M24    75%          장기 가치 전달

"아하 순간" 찾기

아하 순간은 유지율을 예측하는 행동 또는 경험입니다.

분석 접근:

1. 유지된 사용자를 정의(예: W4에 활성)
2. W1의 후보 행동 목록 작성
3. 유지율과의 상관 계산
4. 분리를 최대화하는 임계값 찾기

후보 분석:
┌─────────────────────────────────────────────────────────┐
│ W1 행동              │ W4 유지율 │ 상관             │
├─────────────────────────────────────────────────────────┤
│ 프로젝트 1개 생성    │    35%    │ 0.42             │
│ 프로젝트 3개+ 생성   │    62%    │ 0.71             │
│ 팀원 1명 초대        │    48%    │ 0.55             │
│ 팀원 3명+ 초대       │    78%    │ 0.85 ← 아하!     │
│ 모바일 앱 사용       │    52%    │ 0.58             │
└─────────────────────────────────────────────────────────┘

아하 순간: 1주차에 팀원 3명 이상 초대

재활성화 분석

재활성화율 = 재활성화된 사용자 / 이탈 사용자

월간 재활성화:
┌────────────────────────────────────────────────┐
│ 이탈 월       │ 재활성화 │ 비율 │ 경로      │
├────────────────────────────────────────────────┤
│ 1월           │    45    │ 12%  │ 이메일    │
│ 2월           │    38    │ 10%  │ 기능      │
│ 3월           │    52    │ 14%  │ 이메일    │
└────────────────────────────────────────────────┘

인사이트: 재확보 이메일이 이탈 사용자의 약 12%를 재활성화
행동: 더 나은 재활성화 캠페인에 투자

유지율 개선 전술

안티패턴

• DAU/MAU만 추적 — 코호트 수준 문제를 가림
• 초기 이탈 무시 — 대부분의 이탈은 첫 주에 발생
• 평균만 분석 — 세그먼트 차이가 중요
• 짧은 관찰 기간 — 의미 있는 곡선에는 3-6개월 필요
• 재활성화 추적 없음 — 이탈 사용자는 돌아올 수 있음
• 허영 유지율 — 가치 전달 없는 로그인만 집계
• 정적 분석 — 유지율은 시간이 지나며 개선되어야 함

---

title: 제품 대시보드 설계 impact: MEDIUM-HIGH tags: dashboard, visualization, reporting, self-serve

제품 대시보드 설계

영향도: 중상

최고의 대시보드는 단순한 인지가 아니라 행동을 이끕니다. 질문에 답하고 결정을 촉발하는 대시보드를 설계하세요.

대시보드 설계 원칙

1. 대시보드 하나, 목적 하나

나쁨: "제품 대시보드"(모든 것)
좋음: "주간 활성화 상태 점검"(구체적 목적)

2. 행동 지향

질문: "이것을 본 사람이 무엇을 할 것인가?"
명확한 행동이 없으면 → 잘못된 지표 또는 잘못된 대상

3. 대상에 맞게

임원: 높은 수준의 추세, 전략 지표
관리자: 팀 성과, 주간 진행
실무자(IC): 상세 진단, 디버깅 도구

4. 점진적 공개

1수준: 요약 지표(5초 안에 이해)
2수준: 핵심 추세(30초)
3수준: 세그먼트 세부 구성(2분)
4수준: 상세 드릴다운(조사)

대시보드 아키텍처

대시보드 계층:

                    ┌─────────────────────┐
                    │      임원           │  주간/월간
                    │      개요           │  전략 결정
                    └──────────┬──────────┘
                               │
            ┌──────────────────┼──────────────────┐
            ▼                  ▼                  ▼
    ┌───────────────┐  ┌───────────────┐  ┌───────────────┐
    │   성장        │  │   제품        │  │   매출        │
    │   대시보드    │  │   상태        │  │   지표        │
    └───────┬───────┘  └───────┬───────┘  └───────┬───────┘
            │                  │                  │
    ┌───────┴───────┐  ┌───────┴───────┐  ┌───────┴───────┐
    │  획득         │  │  유지         │  │  전환         │
    │  활성화       │  │  참여         │  │  확장         │
    │  퍼널         │  │  기능         │  │  이탈         │
    └───────────────┘  └───────────────┘  └───────────────┘
            │                  │                  │
            ▼                  ▼                  ▼
    [상세 드릴다운 대시보드와 임시 탐색]

대시보드 유형과 템플릿

1. 임원 개요

레이아웃:

┌────────────────────────────────────────────────────────┐
│  제품 상태 점수: 78/100 (지난주 대비 ↑3)              │
├────────────────────────────────────────────────────────┤
│  ┌──────────┐ ┌──────────┐ ┌──────────┐ ┌──────────┐  │
│  │ 가입     │ │ 활성화   │ │ 유지     │ │ 매출     │  │
│  │  2,340   │ │   62%    │ │   45%    │ │  $142K   │  │
│  │  +12%    │ │   +3pp   │ │   -1pp   │ │   +8%    │  │
│  └──────────┘ └──────────┘ └──────────┘ └──────────┘  │
├────────────────────────────────────────────────────────┤
│  성과: 활성화가 사상 최고치 도달                     │
│  주의: D30 유지율이 3주 연속 하락                    │
└────────────────────────────────────────────────────────┘

2. 퍼널 대시보드

┌────────────────────────────────────────────────────────┐
│               가입 퍼널(최근 7일)                      │
├────────────────────────────────────────────────────────┤
│                                                        │
│  랜딩 페이지   ██████████████████████████  10,000     │
│                              ↓ 35%                     │
│  가입 시작     ████████████                 3,500     │
│                              ↓ 78%                     │
│  완료          ████████                     2,730     │
│                              ↓ 52%                     │
│  활성화        █████                        1,420     │
│                              ↓ 35%                     │
│  유지(D7)      ██                            497      │
│                                                        │
├────────────────────────────────────────────────────────┤
│  최대 이탈: 완료 → 활성화(48% 손실)                   │
│  지난주 대비: 시작→완료 +5pp 개선                    │
└────────────────────────────────────────────────────────┘

3. 유지율 대시보드

┌────────────────────────────────────────────────────────┐
│              유지율 코호트 분석                        │
├────────────────────────────────────────────────────────┤
│         │ W0   │ W1   │ W2   │ W3   │ W4   │ W5      │
│  1월 1일 │ 100% │ 45%  │ 38%  │ 32%  │ 29%  │ 28%     │
│  1월 8일 │ 100% │ 47%  │ 40%  │ 35%  │ 31%  │         │
│  1월 15일│ 100% │ 48%  │ 42%  │ 38%  │      │         │
│  1월 22일│ 100% │ 52%  │ 45%  │      │      │         │
├────────────────────────────────────────────────────────┤
│  추세: W1 유지율 개선 중(45% → 52%)                   │
│  목표: 1분기 말까지 W1 55%                            │
└────────────────────────────────────────────────────────┘

4. 기능 도입 대시보드

┌────────────────────────────────────────────────────────┐
│              기능 도입 추적기                          │
├────────────────────────────────────────────────────────┤
│  기능              │ 도입률 │ 추세 │ 상태            │
│  ─────────────────────────────────────────────────────│
│  핵심 리포팅       │  72%   │  ↑   │ 강함            │
│  협업              │  48%   │  ↑   │ 성장 중         │
│  고급 분석         │  25%   │  →   │ 정체            │
│  API 접근          │  12%   │  ↓   │ 주의            │
│  신규: 스마트 알림 │   8%   │  ↑   │ 램프 중         │
├────────────────────────────────────────────────────────┤
│  집중 영역: 고급 분석 발견성                          │
└────────────────────────────────────────────────────────┘

시각화 모범 사례

올바른 차트 선택:

색상 사용:

색상을 의도적으로 사용:
- 초록: 좋음/긍정/목표 달성
- 빨강: 나쁨/부정/주의 필요
- 노랑: 경고/주시
- 회색: 중립/맥락
- 파랑: 주요 데이터 시리즈

피할 것:
- 무지개 차트
- 5개 초과 색상
- 빨강/초록만 사용(색각 이상 사용자)

좋은 대시보드와 나쁜 대시보드 예시

좋음: 집중되고 실행 가능

대시보드: 주간 활성화 리뷰
대상: 성장팀
목적: 활성화 차단 요인 식별

콘텐츠:
1. 목표 대비 활성화율(큰 숫자)
2. 전주 대비 비교가 있는 활성화 퍼널
3. 절대 수치를 포함한 상위 3개 이탈 지점
4. 코호트 활성화 추세(개선 중인가?)
5. 세그먼트 세부 구성(모바일 vs 웹, 소스)

가능한 행동:
- 가장 큰 활성화 차단 요인 식별
- 다음 최적화 우선순위 지정
- 실험 영향 추적

나쁨: 초점 없고 허영 지표 중심

대시보드: 제품 대시보드
대상: 모두
목적: 모든 것 보여주기

콘텐츠:
1. 전체 사용자(누적, 항상 증가!)
2. 페이지 조회수(의미 낮음)
3. 세션 시간(평균, 세분화 없음)
4. 서로 다른 차트 47개
5. 추세나 비교 없음

문제:
- 명확한 목적 없음
- 허영 지표
- 정보가 너무 많음
- 실행 가능한 인사이트 없음
- 잘못된 상세 수준

셀프서비스 분석

셀프서비스 문화 구축:

셀프서비스 가드레일:

해야 할 것:
- 데이터 사전 제공
- 템플릿과 예시 제공
- 계산된 지표 설정
- 샌드박스 탐색 허용

하지 말 것:
- 원시 데이터베이스 접근 제공
- 프로덕션 대시보드 편집 허용
- 이름 규칙 없이 사용자가 만들게 방치

대시보드 유지관리

리뷰 주기:

상태 지표:

안티패턴

• 대시보드 난립 — 대시보드 50개, 아무도 쓰지 않음
• 허영 지표 — 항상 올라가지만 행동을 이끌지 않는 숫자
• 맥락 없음 — 목표, 추세, 비교 없는 숫자
• 정보 과부하 — 한 페이지에 차트 30개
• 낡은 데이터 — 어제(또는 지난주) 데이터
• 소유권 없음 — 아무도 유지관리하지 않아 데이터 품질 저하
• 예쁘지만 쓸모없음 — 인사이트 없는 아름다운 차트
• 획일적 대시보드 — 임원과 실무자에게 같은 대시보드 제공

---

title: A/B 테스트 및 실험 impact: HIGH tags: experiment, ab-testing, hypothesis, statistics

A/B 테스트 및 실험

영향도: 높음

A/B 테스트는 제품 의사결정에서 의견을 걷어냅니다. 제대로 하면 "우리는 생각한다"와 "우리는 안다"의 차이를 만듭니다.

언제 A/B 테스트를 할까

좋은 실험의 구성

┌────────────────────────────────────────────────────────────┐
│                    실험 설계                               │
├────────────────────────────────────────────────────────────┤
│ 가설:                                                      │
│   행동 유도 문구를 "무료로 시작"에서 "60초 안에 시작"으로 │
│   바꾸면 가입률이 10% 증가할 것이다                       │
│                                                            │
│ 주요 지표: 가입 완료율                                    │
│ 보조 지표: 가입까지 걸린 시간, D7 유지율                  │
│ 가드레일 지표: 페이지 로드 시간, 오류율                   │
│                                                            │
│ 표본 크기: 변형당 5,000명(총 10,000명)                    │
│ 기간: 최소 14일                                           │
│ 유의수준(α): 5%                                           │
│ 검정력(1-β): 80%                                          │
│ 최소 탐지 가능 효과(MDE): 상대 개선 10%                   │
│                                                            │
│ 변형:                                                      │
│   대조군(50%): "무료로 시작"                              │
│   처리군(50%): "60초 안에 시작"                           │
│                                                            │
│ 분석할 세그먼트: 신규 vs 재방문, 모바일 vs 데스크톱       │
│ 제외: 기존 사용자, 봇 트래픽                              │
└────────────────────────────────────────────────────────────┘

가설 공식

구조:

[X]를 바꾸면,
[지표 Y]가 [Z%] [증가/감소]할 것이다.
왜냐하면 [이유/근거] 때문이다.

좋은 예:

가입 양식 필드를 6개에서 3개로 줄이면
가입 완료율이 15% 증가할 것이다.
사용자 리서치에서 필드 피로가 1위 이탈 이유로 나타났기 때문이다.

나쁜 예:

버튼 색을 바꾸면
도움이 될 수도 있다.
파란색이 좋아 보이기 때문이다.

표본 크기와 기간

표본 크기 계산:

기간 지침:

최소: 전체 1주(주간 패턴 포착)
일반: 2-4주
우려 전 최대: 6-8주

기간을 늘리는 요소:
- 낮은 트래픽 양
- 더 작은 기대 효과
- 더 높은 기준선 변동성
- 세그먼트 분석 필요

통계적 엄밀성

핵심 개념:

결과 읽기:

실험 결과:
┌─────────────────────────────────────────────────────────┐
│ 지표: 가입 완료율                                      │
├─────────────────────────────────────────────────────────┤
│ 대조군:     12.4% (n=5,200)                            │
│ 처리군:     13.8% (n=5,180)                            │
│                                                         │
│ 상대 상승: +11.3%                                      │
│ 절대 상승: +1.4%p                                      │
│ 95% CI: [+5.2%, +17.8%]                                │
│ p-value: 0.002                                         │
│ 상태: 유의함                                           │
└─────────────────────────────────────────────────────────┘

해석:
- 처리군이 11.3% 개선으로 승리
- CI가 0을 포함하지 않음 = 통계적으로 유의
- p < 0.05 = 귀무가설 기각
- 처리군 배포 준비 완료

흔한 테스트 실수

가드레일 지표

주요 지표: 가입 완료율(개선하려는 지표)

가드레일(악화되면 안 됨):
┌─────────────────────────────────────────────────────────┐
│ 가드레일           │ 임계값       │ 결과              │
├─────────────────────────────────────────────────────────┤
│ D7 유지율          │ 최대 -5%     │ -2% ✓             │
│ 페이지 로드 시간   │ 최대 +200ms  │ +50ms ✓           │
│ 오류율             │ 최대 +0.5%   │ +0.1% ✓           │
│ 지원 티켓          │ 최대 +10%    │ -5% ✓             │
└─────────────────────────────────────────────────────────┘

상태: 모든 가드레일 통과, 배포 가능

좋은 실험 설계와 나쁜 실험 설계

좋음: 완전하고 엄밀함

실험: 온보딩 흐름 단순화

배경:
현재 온보딩은 8단계이며 완료율은 45%입니다.
사용자 리서치에서 4-6단계가 가장 많은 이탈을 만든다는 점이 드러났습니다.

가설:
온보딩을 8단계에서 5단계로 줄이면(가치 낮은 단계 제거)
마찰이 줄고 사용자가 더 빠르게 가치를 보기 때문에
완료율이 15% 증가할 것입니다.

설계:
- 주요 지표: 온보딩 완료율
- 보조: 완료까지 걸린 시간, D7 활성화
- 가드레일: 설정 품질 점수, D30 유지율
- 표본: 변형당 10,000명
- 기간: 3주
- 타기팅: 신규 사용자만, 모든 플랫폼

성공 기준:
- 주요 지표: 상대 상승 >10%, p<0.05
- 가드레일: 임계값 초과 악화 없음
- 정성: 사용자 피드백 긍정

의사결정 프레임워크:
- 유의한 승리: 100% 배포
- 중립: 정성 결과 고려
- 부정: 중단하고 반복

나쁨: 불완전하고 측정 불가

실험: 새 온보딩 시도

새 온보딩 흐름을 테스트하자.

변형: A(현재) vs B(새로운 것)

일주일 실행하고 무슨 일이 일어나는지 보자.

문제:
- 가설 없음
- 표본 크기 계산 없음
- 임의 기간
- 가드레일 없음
- 성공 기준 없음
- 의사결정 프레임워크 없음

순차 테스트

통계적 타당성을 유지하면서 더 빠르게 결정하기:

순차 분석 프레임워크:
┌──────────────────────────────────────────────────────────┐
│ 확인 시점 │ 누적 n │ 계속 조건   │ 중단 조건             │
├──────────────────────────────────────────────────────────┤
│ 3일차     │ 2,000  │ |z| < 2.8    │ |z| > 2.8             │
│ 7일차     │ 5,000  │ |z| < 2.5    │ |z| > 2.5             │
│ 14일차    │ 10,000 │ |z| < 2.2    │ |z| > 2.2             │
│ 21일차    │ 15,000 │ 최종 결정                          │
└──────────────────────────────────────────────────────────┘

이점:
- 명확한 승자/패자는 조기 중단 가능
- 통계적 타당성 유지
- 더 빠른 반복 주기

실험 속도

속도 높이기:

• 사전 구축된 실험 템플릿
• 셀프서비스 실험 플랫폼
• 승인 마찰 감소
• 가능한 곳에서 병렬 테스트

안티패턴

• HiPPO의 판단 우선 — 데이터보다 의견을 우선
• 승자의 저주 — 프로덕션에서 효과 크기가 줄어듦
• 신기함 효과 — 초기 상승이 시간이 지나며 사라짐
• 기능 플래그 부채 — 실험이 영원히 살아 있음
• 분석 마비 — 중요하지 않은 테스트를 계속 실행
• 검정력 부족 테스트 — 결과의 노이즈가 너무 커서 신뢰할 수 없음
• 한 번 하고 끝 — 인사이트를 반복하지 않음
• 문서화 없음 — 학습이 시간이 지나 사라짐

---

title: 실험 설계 및 프로세스 impact: HIGH tags: experiment, design, hypothesis, process

실험 설계 및 프로세스

영향도: 높음

A/B 테스트 메커니즘 너머에는 실험 설계가 있습니다. 올바른 질문을 던지고, 유효한 테스트를 설계하며, 학습 문화를 만드는 일입니다.

실험 성숙도 계층

5수준: 지속적 실험              ← 조직 전체에 내재된 문화
            │
4수준: 실험 플랫폼              ← 셀프서비스, 규모화된 테스트
            │
3수준: 정기 A/B 테스트          ← 팀이 일상적으로 실험 실행
            │
2수준: 임시 실험                ← 가끔, 프로젝트 기반
            │
1수준: 실험 없음                ← 출시하고 기대

실험 우선순위화

ICE 프레임워크:

ICE 점수 = 영향 × 확신 × 용이성

우선순위 예시:

순위가 매겨진 실험 아이디어:
┌────────────────────────────────────────────────────────────┐
│ 아이디어                  │ I │ C │ E │ 점수 │ 우선순위  │
├────────────────────────────────────────────────────────────┤
│ 가입 양식 단순화          │ 8 │ 7 │ 8 │ 448  │ 1위       │
│ 사회적 증거 추가          │ 6 │ 8 │ 9 │ 432  │ 2위       │
│ 온보딩 재설계             │ 9 │ 5 │ 4 │ 180  │ 3위       │
│ 새 가격 페이지            │ 7 │ 4 │ 3 │  84  │ 4위       │
└────────────────────────────────────────────────────────────┘

가설 개발

관찰에서 가설까지:

1. 관찰
   "사용자가 가입 후 이탈하고 있다"

2. 리서치
   - 퍼널 데이터: 가입과 첫 행동 사이 45% 이탈
   - 세션 녹화: 사용자가 대시보드에서 혼란스러워 보임
   - 설문: "먼저 무엇을 해야 할지 몰랐습니다"

3. 인사이트
   "사용자는 첫 가치 행동으로 가는 명확한 안내가 부족하다"

4. 가설
   "안내형 첫 행동 마법사를 추가하면
   사용자가 명확한 방향을 얻기 때문에
   가입-첫 행동 비율이 15% 증가할 것이다"

5. 실험 설계
   - 대조군: 현재 가입 후 경험
   - 처리군: 첫 행동으로 안내하는 마법사
   - 주요 지표: 첫 행동 완료(7일)
   - 표본: 변형당 5,000명

실험 유형

실험 문서화

실험 브리프 템플릿:

┌────────────────────────────────────────────────────────────┐
│                    실험 브리프                             │
├────────────────────────────────────────────────────────────┤
│ 이름: 안내형 온보딩 마법사                                │
│ 담당: 지현(PM), 민수(엔지니어)                            │
│ 상태: 설계 리뷰                                           │
│ 시작일: 추후 결정                                         │
├────────────────────────────────────────────────────────────┤
│ 맥락                                                       │
│ 현재 가입-첫 행동 비율은 55%입니다. 사용자 리서치는 다음  │
│ 단계에 대한 혼란을 보여줍니다. 경쟁사는 70%+를 보입니다. │
├────────────────────────────────────────────────────────────┤
│ 가설                                                       │
│ 가입 후 3단계 안내형 마법사를 추가하면 명확한 방향을       │
│ 제공하고 인지 부하를 줄여 첫 행동 완료율이 15% 증가합니다.│
├────────────────────────────────────────────────────────────┤
│ 변형                                                       │
│ 대조군(50%): 현재 경험(팁이 있는 대시보드)                │
│ 처리군(50%): 안내형 3단계 마법사                          │
├────────────────────────────────────────────────────────────┤
│ 지표                                                       │
│ 주요: 첫 행동 완료(7일)                                   │
│ 보조: 첫 행동까지 걸린 시간, D7 유지율                    │
│ 가드레일: 건너뛰기 비율, 지원 티켓, D30 유지율            │
├────────────────────────────────────────────────────────────┤
│ 타기팅                                                     │
│ 대상: 신규 가입만                                         │
│ 제외: 엔터프라이즈 사용자, 모바일 앱                      │
│ 표본 크기: 총 10,000명(변형당 5,000명)                    │
│ 기간: 최소 3주                                            │
├────────────────────────────────────────────────────────────┤
│ 성공 기준                                                  │
│ 배포: p<0.05에서 >10% 상승, 가드레일 통과                 │
│ 반복: 5-10% 상승 또는 신호 혼재                           │
│ 중단: <5% 상승 또는 가드레일 악화                         │
├────────────────────────────────────────────────────────────┤
│ 위험 및 완화                                               │
│ 위험: 마법사가 강제처럼 느껴짐                            │
│ 완화: 명확한 건너뛰기 옵션, 건너뛰기 비율 추적            │
└────────────────────────────────────────────────────────────┘

좋은 실험 설계와 나쁜 실험 설계

좋음: 완전하고 엄밀하며 학습 가능

실험: 결제 마찰 줄이기

배경:
- 장바구니 이탈률 68%
- 히트맵에서 배송 단계에서 망설임이 보임
- 경쟁사 분석에서 더 단순한 흐름 확인

가설:
배송과 청구를 한 단계로 합치면 인지된 노력이 줄어
결제 완료율이 12% 증가할 것이다.

설계:
- A/B 테스트, 50/50 분할
- 주요: 결제 완료율
- 보조: 완료까지 걸린 시간, 지원 문의
- 가드레일: 결제 실패, 주소 오류
- n = 변형당 8,000명(총 16,000명)
- 기간: 4주
- 세그먼트: 신규 vs 재방문, 모바일 vs 데스크톱

의사결정 규칙:
- >8% 상승 + p<0.05 + 가드레일 통과 → 배포
- 3-8% 상승 → 연장 + 세그먼트 조사
- <3% 상승 → 중단, 학습, 반복

어느 쪽이든 배울 것:
- 승리: 마찰 감소가 작동, 더 찾기
- 패배: 마찰이 문제가 아님, 가치 제안 테스트

나쁨: 불완전하고 학습 없음

실험: 새 결제

새 결제 페이지를 테스트한다.

변형:
- 기존 결제
- 새 결제

2주 동안 실행한다.

문제:
- 가설 없음
- 주요 지표 없음
- 표본 크기 계산 없음
- 가드레일 없음
- 의사결정 기준 없음
- 학습 문서화 없음

실험 프로그램 운영

월간 실험 주기:

실험 파이프라인:

┌──────────────┐    ┌──────────────┐    ┌──────────────┐
│   백로그     │ →  │   설계       │ →  │   구현       │
│ (아이디어 20+)│   │ (브리프 3-5) │    │ (준비 2-3)   │
└──────────────┘    └──────────────┘    └──────────────┘
        │                   │                  │
        ▼                   ▼                  ▼
┌──────────────┐    ┌──────────────┐    ┌──────────────┐
│   실행 중    │ ←  │   출시됨     │ ←  │     QA       │
│  (라이브 2-4)│    │  (램프 중)   │    │  (테스트)    │
└──────────────┘    └──────────────┘    └──────────────┘
        │
        ▼
┌──────────────┐    ┌──────────────┐
│   분석       │ →  │  문서화      │
│  (결과)      │    │  (학습)      │
└──────────────┘    └──────────────┘

실험 속도 지표

실험 문화 구축

좋은 문화의 신호:

✓ 제품 관리자가 만들기 전에 가설을 작성
✓ 엔지니어가 선제적으로 실험 제안
✓ 실패한 실험도 학습으로 축하
✓ 의사결정에서 실험 결과 인용
✓ 실험 결과가 널리 공유됨
✓ 백로그가 항상 아이디어로 가득함

나쁜 문화의 신호:

✗ 이미 내린 결정을 "검증"하려고 실험함
✗ 결론이 나지 않은 결과를 승리로 포장
✗ "안전한" 실험만 실행
✗ 결과가 문서화되거나 공유되지 않음
✗ 리더십이 실험 결과를 무시
✗ 팀이 실험 상태를 모름

실험 윤리

안티패턴

• HiPPO 문화 — 가장 높은 급여를 받는 사람이 데이터를 무시
• P-해킹 — 유의성이 나올 때까지 실행
• 체리피킹 — 유리한 세그먼트만 보고
• 기능 공장 — 측정 없이 출시
• 한 번 하고 끝 — 학습을 반복하지 않음
• 분석 마비 — 완벽이 좋음을 방해
• 화물 숭배 — 통계를 이해하지 않고 실험 실행
• 승자의 저주 — 프로덕션 결과 = 테스트 결과라고 기대

---

title: 기능 도입 추적 impact: HIGH tags: feature, adoption, usage, product-analytics

기능 도입 추적

영향도: 높음

기능을 출시하는 것은 쉽습니다. 사용자가 도입하게 만드는 것은 어렵습니다. 무엇이 작동하고 어디에 투자해야 하는지 이해하려면 도입을 체계적으로 추적하세요.

기능 도입 생애주기

                인지 → 체험 → 도입 → 습관 → 옹호
                 │      │      │      │      │
                 ▼      ▼      ▼      ▼      ▼
              "봤다" "써봤다" "쓴다" "필요하다" "좋다"
                 │      │      │      │      │
지표:         노출률  첫 사용률  정기 사용  파워 사용  추천률

핵심 기능 도입 지표

기능 도입 프레임워크

1단계: "도입"의 의미 정의

기능: 협업 댓글

도입 아님:
- 댓글 기능을 봄(인지뿐)
- 평생 댓글 1개를 남김(체험뿐)

도입:
- 서로 다른 2주에 댓글 3개 이상 남김
- 댓글에 답글 2개 이상 받음
- 댓글이 정기 워크플로의 일부가 됨

2단계: 도입 퍼널 구축

대상 사용자            1,000    100%
   │
   ▼ 기능을 봄
인지                    820     82%
   │
   ▼ 클릭/열기
탐색                    410     41%
   │
   ▼ 첫 사용 완료
체험                    285     28.5%
   │
   ▼ 3회 이상 사용
활성화                  170     17%
   │
   ▼ 주간 정기 사용
도입                     95      9.5%
   │
   ▼ 일일/파워 사용
파워 사용자              28      2.8%

3단계: 코호트별 측정

기능 출시: 3월 1일

가입 코호트별 도입률:
┌────────────────────────────────────────────┐
│ 가입 코호트   │ 30일 도입률                │
├────────────────────────────────────────────┤
│ 출시 전       │    8% (나중에 발견)        │
│ 3월 1주차     │   12% (초기 노출)          │
│ 3월 2주차     │   18% (개선된 UX)          │
│ 3월 3주차     │   22% (온보딩 추가)        │
│ 3월 4주차     │   25% (튜토리얼 추가)      │
└────────────────────────────────────────────┘

인사이트: 각 개선이 도입률을 높임

기능 사용 세분화

사용 깊이 구간:

세그먼트 분석:

기능: 고급 분석

사용자 세그먼트 분석:
┌─────────────────────────────────────────────────────────┐
│ 사용자 유형    │ 도입률 │ 깊이      │ 유지 영향        │
├─────────────────────────────────────────────────────────┤
│ 엔터프라이즈   │  68%   │ 높음      │ 유지율 +25%       │
│ 미드마켓       │  42%   │ 중간      │ 유지율 +12%       │
│ 중소기업       │  15%   │ 낮음      │ 유지율 +5%        │
│ 무료 구간      │   3%   │ 매우 낮음 │ 유지율 +2%        │
└─────────────────────────────────────────────────────────┘

인사이트: 이 기능은 중소기업이 아니라 엔터프라이즈 중심
행동: 중소기업에는 기능을 제한하거나, 이들의 필요에 맞게 단순화

기능 성공 스코어카드

전체 점수: 개선 필요(6개 중 4개가 목표 미달)

기능 도입과 유지 영향

질문: 이 기능을 유지할 가치가 있는가?

기능 영향 매트릭스:
                        낮은 유지 영향       높은 유지 영향
                        ──────────────────────────────────────────────
높은 도입               │ 단순화             │ 투자
                        │ 인기 있지만         │ 핵심 기능,
                        │ 고착되지 않음.      │ 더 강하게 투자
                        │ 비용 줄이기         │
낮은 도입               │ 종료               │ 노출
                        │ 아무도 쓰지 않고,   │ 가치 있지만 숨겨짐.
                        │ 아무도 아쉬워하지 않음│ 발견성 개선
                        ──────────────────────────────────────────────

좋은 기능 추적과 나쁜 기능 추적

좋음: 전체 그림

기능: 스마트 일정 조율

구현된 추적:
├── 인지 이벤트
│   ├── smart_schedule_banner_shown
│   ├── smart_schedule_tooltip_shown
│   └── smart_schedule_menu_seen
├── 체험 이벤트
│   ├── smart_schedule_clicked
│   ├── smart_schedule_first_created
│   └── smart_schedule_preview_viewed
├── 도입 이벤트
│   ├── smart_schedule_created (count 속성 포함)
│   ├── smart_schedule_accepted
│   └── smart_schedule_modified
└── 가치 이벤트
    ├── smart_schedule_conflict_resolved
    └── smart_schedule_time_saved (계산됨)

대시보드 포함:
- 도입 퍼널
- 코호트 도입 곡선
- 세그먼트 세부 구성
- 유지 영향
- 기능 상태 점수

나쁨: 기본 집계

기능: 스마트 일정 조율

구현된 추적:
- smart_schedule_used (단일 이벤트)

문제:
- 체험과 도입을 구분할 수 없음
- 인지 추적 없음
- 세그먼트 분석 없음
- 가치 측정 없음
- 유지율 상관 없음

기능 출시 측정 계획

출시 전:

1. 도입 기준 정의
2. 모든 퍼널 이벤트 계측
3. 성공 목표 설정
4. 대시보드 구축
5. 기준선 수립(해당 시)

출시 주:

1-3일차: 인지 확인
- 사용자가 기능을 보고 있는가?
- 발견이 작동하는가?

3-7일차: 체험 확인
- 인지한 사용자가 써보는가?
- 이탈 지점은 어디인가?

7-14일차: 초기 도입
- 체험자가 돌아오는가?
- 어떤 패턴이 나타나는가?

출시 후(30/60/90일):

월간 리뷰:
┌─────────────────────────────────────────────────────────┐
│ 지표                │ 목표  │ 30일차 │ 60일차 │ 90일차│
├─────────────────────────────────────────────────────────┤
│ 도입률              │  25%  │  12%   │  18%   │  22%  │
│ 주간 활성 사용자    │ 1,000 │  400   │  750   │  920  │
│ 유지 영향           │ +10%  │  +4%   │  +7%   │  +9%  │
│ 사용자 만족도       │  4.2  │  3.8   │  4.0   │  4.1  │
└─────────────────────────────────────────────────────────┘

기능 종료 기준

종료를 고려할 때:

안티패턴

• 출시하고 잊음 — 측정 계획 없음 = 학습 없음
• 클릭만 세기 — 클릭 ≠ 도입, 의미 있는 사용 측정
• 비사용자 무시 — 왜 시도하지 않았는가? 그것도 데이터
• 보편 지표 — 기능마다 다른 기준이 필요
• 짧은 관찰 창 — 기능 도입에는 30-90일 필요
• 대조군 없음 — 비교 없이는 영향을 측정할 수 없음
• 기능 비대화 — 더 많은 기능 ≠ 더 나은 제품
• 허영 기능 — 사용자가 아니라 보도자료를 위해 구축

---

title: 퍼널 분석 및 최적화 impact: CRITICAL tags: funnel, conversion, optimization, growth

퍼널 분석 및 최적화

영향도: 매우 높음

퍼널은 사용자가 어디서 이탈하는지, 어디를 최적화하면 가장 큰 수익을 얻는지 보여줍니다. 퍼널 분석을 익히면 가장 레버리지가 큰 성장 기회를 찾을 수 있습니다.

퍼널 기본

퍼널은 사용자가 목표를 향해 거치는 단계의 순서를 추적합니다. 각 단계에는 전환율과 이탈률이 있습니다.

1단계: 랜딩 페이지 방문     100%    ─┐
                                      │ 60% 전환
2단계: 가입 시작             60%    ─┤
                                      │ 80% 전환
3단계: 가입 완료             48%    ─┤
                                      │ 50% 전환
4단계: 온보딩 완료           24%    ─┤
                                      │ 40% 전환
5단계: 첫 핵심 행동           9.6%  ─┘

전체 전환율: 9.6%

핵심 퍼널 지표

효과적인 퍼널 구축

1단계: 목표 정의

어떤 결과가 성공을 정의하는가?
- 가입 완료
- 첫 구매 완료
- 기능 활성화
- 구독 시작

2단계: 핵심 경로 매핑

사용자가 반드시 완료해야 하는 단계는 무엇인가?
1. 랜딩 페이지 → 가입 양식
2. 가입 양식 → 이메일 인증
3. 이메일 인증 → 온보딩 완료
4. 온보딩 완료 → 첫 행동

3단계: 이벤트 계측

각 단계에는 추적 가능한 이벤트가 필요합니다:
- page_viewed (landing)
- signup_started
- signup_completed
- email_verified
- onboarding_completed
- first_action_taken

4단계: 전환 창 정의

"이탈"로 판단하기 전에 얼마나 기다릴 것인가?
- 가입 퍼널: 1세션 또는 30분
- 온보딩 퍼널: 7일
- 구매 퍼널: 30일
- 엔터프라이즈 영업: 90일

퍼널 분석 기법

1. 단계별 전환율 분석

2. 세그먼트 비교

소스별 가입 퍼널:
┌──────────────────────────────────────────────────┐
│ 소스        │ 시작   │ 완료     │ 활성화    │
├──────────────────────────────────────────────────┤
│ Google Ads  │  100%  │   68%    │   25%     │
│ 유기        │  100%  │   82%    │   45%     │
│ 추천        │  100%  │   88%    │   62%     │
│ 소셜        │  100%  │   55%    │   18%     │
└──────────────────────────────────────────────────┘

인사이트: 추천 트래픽은 활성화율이 2.5배 높음
행동: 추천 프로그램 투자를 늘림

3. 시간 기반 분석

온보딩 단계 내 이탈 타이밍:
┌──────────────────────────────────────────────────┐
│ 단계 내 시간 │ 아직 활성 │ 이탈 중 비중         │
├──────────────────────────────────────────────────┤
│ 0-1분        │    82%    │    35%               │
│ 1-3분        │    65%    │    28%               │
│ 3-5분        │    51%    │    22%               │
│ 5분+         │    48%    │    15%               │
└──────────────────────────────────────────────────┘

인사이트: 이탈의 35%가 첫 1분 안에 발생
행동: 첫 화면 마찰 조사

가장 큰 기회 찾기

영향 잠재력 계산:

현재 퍼널:
방문(1000) → 시작(350) → 완료(280) → 활성화(140) → 결제(17)

각 단계 10% 개선의 영향:

개선된 단계        신규 결제    기준 대비 상승
────────────────────────────────────────────────
방문 → 시작         18.7          +10%
시작 → 완료         18.7          +10%
완료 → 활성화       18.7          +10%
활성화 → 결제       18.7          +10%

모든 단계가 같다면? 복리 효과 때문에 가장 이른 단계에 집중하세요.
1단계 10% 개선은 모든 하위 단계에 혜택을 줍니다.

기회 공식:

기회 점수 = 이탈 규모 × 전환 여지

단계              규모    현재 전환율   벤치마크   여지     점수
────────────────────────────────────────────────────────────────────────
방문 → 시작       1000       35%          45%       10%      100
시작 → 완료        350       80%          85%        5%       17.5
완료 → 활성        280       50%          60%       10%       28
활성 → 결제        140       12%          15%        3%        4.2

초점: 방문 → 시작의 기회 점수가 가장 높음

흔한 퍼널 이탈 원인

좋은 퍼널 예와 나쁜 퍼널 예

좋음: 잘 정의되고 실행 가능

목표: 무료 체험판에서 유료 전환

퍼널 정의:
1. 체험판 시작(추적: trial_started 이벤트)
2. 핵심 기능 사용(추적: first_report_created)
3. 팀 초대(추적: first_team_member_added)
4. 제한 도달(추적: usage_limit_reached)
5. 업그레이드 시작(추적: upgrade_clicked)
6. 유료(추적: subscription_created)

전환 창: 14일 체험 기간

분석 세분화:
- 회사 규모별
- 획득 소스별
- 처음 사용한 기능별
- 참여 수준별

명확한 책임: 성장팀은 1-3단계, 영업은 4-6단계 담당

나쁨: 모호하고 측정 불가능

목표: 고객 더 많이 확보

퍼널:
1. 누군가 방문
2. 마음에 들어 함
3. 가입
4. 사용
5. 결제

문제:
- 이벤트가 정의되지 않음
- "마음에 들어 함"은 측정 불가
- 전환 창 없음
- 세분화 계획 없음
- 책임자 없음

최적화 플레이북

전환율이 낮은 각 단계마다:

1. 이탈 정량화

   • 사용자는 몇 명인가?
   • 벤치마크는 무엇인가?
   • 매출 영향은 무엇인가?

2. 원인 진단

   • 세션 녹화 보기
   • 오류 로그 확인
   • 이탈 지점에서 사용자 설문 실행
   • 세그먼트별 분석

3. 가설 수립 및 우선순위화

   • 가능한 수정 목록 작성
   • 영향 × 확신 추정
   • 가장 높은 투자수익률 테스트 선택

4. 테스트 및 측정

   • 변경 사항 A/B 테스트
   • 유의성 확보까지 기다림
   • 하위 단계 영향 측정

5. 학습 및 반복

   • 결과 문서화
   • 승자 배포
   • 벤치마크 업데이트

안티패턴

• 단계가 너무 많음 — 미세 단계를 결합하고 핵심 전환에 집중
• 잘못된 전환 창 — 너무 짧으면 느린 전환자를 놓치고, 너무 길면 신호가 희석됨
• 세그먼트 무시 — 평균은 중요한 코호트 차이를 숨김
• 단일 지표 집중 — 한 단계 개선이 다른 단계를 해칠 수 있음
• 기준선 없음 — 최적화 전 과거 성과 추적
• 성급한 최적화 — 먼저 통계적 유의성 확보
• 퍼널만 보는 사고 — 일부 사용자는 비선형 경로를 택함

---

title: 영향 측정 impact: HIGH tags: impact, measurement, roi, outcomes

영향 측정

영향도: 높음

기능을 출시하는 것은 쉽습니다. 효과가 있었다고 증명하는 것은 어렵습니다. 엄밀한 영향 측정은 "출시했다"와 "성공했다"를 구분합니다.

영향 측정 프레임워크

┌──────────────────────────────────────────────────────────────┐
│                    영향 측정                                 │
├──────────────────────────────────────────────────────────────┤
│                                                              │
│  1. 성공 정의                                                │
│     어떤 결과를 달성하려 하는가?                             │
│                        ↓                                     │
│  2. 기준선 수립                                              │
│     현재 상태는 무엇인가?                                    │
│                        ↓                                     │
│  3. 목표 설정                                                │
│     어떤 개선을 기대하는가?                                  │
│                        ↓                                     │
│  4. 측정 설계                                                │
│     성공 여부를 어떻게 알 것인가?                            │
│                        ↓                                     │
│  5. 결과 분석                                                │
│     목표를 달성했는가?                                       │
│                        ↓                                     │
│  6. 인과 귀속                                                │
│     그 변화가 우리 변경 때문인가?                            │
│                                                              │
└──────────────────────────────────────────────────────────────┘

영향 측정 유형

출시 전 성공 기준 설정

출시 전 성공 정의:

기능: 스마트 추천

성공 기준 문서:
┌──────────────────────────────────────────────────────────────┐
│ 지표                  │ 기준선 │ 목표      │ 측정          │
├──────────────────────────────────────────────────────────────┤
│ 클릭률                │  2.1%  │  3.5%     │ A/B 테스트    │
│ 세션당 조회 항목      │  3.2   │  4.5      │ A/B 테스트    │
│ 전환율                │  4.8%  │  5.5%     │ A/B 테스트    │
│ 도입률                │  N/A   │  40%      │ 추적          │
│ 사용자 만족도         │  3.8   │  4.2      │ 설문          │
├──────────────────────────────────────────────────────────────┤
│ 일정: 출시 후 30일                                           │
│ 결정: 주요 지표 2개 이상이 목표 달성 시 유지                 │
│ 담당: 제품 관리자 + 분석                                     │
└──────────────────────────────────────────────────────────────┘

영향 측정 방법

1. A/B 테스트 영향

접근: 무작위 실험
가장 적합: 기능 최적화, UX 변경

예시:
┌──────────────────────────────────────────────────────────────┐
│ 새 결제 흐름 A/B 테스트 결과                                 │
├──────────────────────────────────────────────────────────────┤
│ 지표            │ 대조군 │ 처리군 │ 상승    │ p-value      │
├──────────────────────────────────────────────────────────────┤
│ 결제 전환율     │ 12.4%  │ 14.8%  │ +19.4%  │ 0.001        │
│ 평균 주문 금액  │ $87    │ $89    │ +2.3%   │ 0.142        │
│ 장바구니 이탈   │ 68%    │ 62%    │ -8.8%   │ 0.003        │
├──────────────────────────────────────────────────────────────┤
│ 영향: 추정 연간 매출 +$142K                                  │
│ 확신도: 높음(유의성 있는 A/B 테스트)                         │
└──────────────────────────────────────────────────────────────┘

2. 전후 분석

접근: 출시 전후 비교
가장 적합: A/B 테스트가 현실적이지 않을 때

예시:
┌──────────────────────────────────────────────────────────────┐
│ 새 온보딩 전후 분석                                          │
├──────────────────────────────────────────────────────────────┤
│ 기간             │ 가입 → 활성 │ D7 유지율                  │
├──────────────────────────────────────────────────────────────┤
│ 이전(4주)        │    45%      │    32%                     │
│ 이후(4주)        │    58%      │    41%                     │
│ 변화             │   +13pp     │   +9pp                     │
├──────────────────────────────────────────────────────────────┤
│ 고려할 교란 요인:                                            │
│ - 계절성(통제: 전년 같은 주와 유사)                          │
│ - 마케팅 변경(통제: 캠페인 변경 없음)                        │
│ - 제품 변경(통제: 분리된 변경)                               │
├──────────────────────────────────────────────────────────────┤
│ 확신도: 중간(교란 요인을 통제했지만 제거하지는 못함)          │
└──────────────────────────────────────────────────────────────┘

3. 코호트 비교

접근: 기능을 가진 사용자와 그렇지 않은 사용자 비교
가장 적합: 점진적 배포, 기능 추가

예시:
┌──────────────────────────────────────────────────────────────┐
│ 새 기능 코호트 분석                                          │
├──────────────────────────────────────────────────────────────┤
│ 코호트              │ D30 유지율 │ ARPU   │ NPS             │
├──────────────────────────────────────────────────────────────┤
│ 기능 있음           │    48%     │ $42    │ 52              │
│ 기능 없음           │    38%     │ $35    │ 41              │
│ 차이                │   +10pp    │ +$7    │ +11             │
├──────────────────────────────────────────────────────────────┤
│ 주의: 자기선택 편향 가능                                     │
│ 기능을 도입한 사용자는 원래 더 참여도가 높을 수 있음          │
└──────────────────────────────────────────────────────────────┘

비즈니스 영향 계산

매출 영향 계산:

기능: 개선된 추천

지표:
- 노출된 일일 사용자 10,000명
- CTR이 2%에서 3.5%로 개선(+75%)
- 클릭 항목의 전환율: 8%
- 평균 주문 금액(AOV): $50

계산:
이전: 10,000 × 2% × 8% × $50 = $800/일
이후: 10,000 × 3.5% × 8% × $50 = $1,400/일
상승: $600/일 = $219,000/년

영향 문장:
"스마트 추천은 발견성을 개선해 추정 연간 추가 매출 $219K를 만듭니다."

LTV 영향 계산:

기능: 온보딩 개선

지표:
- 30일 유지율 10pp 개선(32% → 42%)
- 월간 이탈률이 8%에서 6%로 감소
- 월 평균 매출: $30

LTV 계산:
이전: $30 / 8% = LTV $375
이후: $30 / 6% = LTV $500
상승: 고객당 +$125(+33%)

월 신규 고객 1,000명 기준:
연간 LTV 영향: $125 × 1,000 × 12 = $1.5M

좋은 영향 측정과 나쁜 영향 측정

좋음: 엄밀하고 사전 정의됨

기능 출시: 팀 협업

출시 전:
- 성공 기준 정의
- 기준선 지표 수집
- A/B 테스트 설계
- 30일 측정 계획

결과(30일):
┌──────────────────────────────────────────────────────────────┐
│ 지표              │ 목표     │ 결과     │ 상태              │
├──────────────────────────────────────────────────────────────┤
│ 도입률            │ 25%      │ 32%      │ 초과 달성          │
│ 팀 유지율         │ +5pp     │ +8pp     │ 초과 달성          │
│ 팀당 좌석 수      │ +0.5     │ +0.8     │ 초과 달성          │
│ 지원 티켓         │ 상승 없음│ +5%      │ 주시              │
├──────────────────────────────────────────────────────────────┤
│ 결정: 배포, 지원 티켓 유발 요인 해결                         │
│ 영향: 좌석 확장에서 추정 ARR $340K                            │
└──────────────────────────────────────────────────────────────┘

나쁨: 사후적이고 체리피킹

기능 출시: 팀 협업

출시 후:
- "어떤 지표가 좋아졌는지 보자"
- 발견: 페이지 조회수 15% 증가!
- 선언: 성공!

문제:
- 사전 정의한 성공 기준 없음
- 기준선 비교 없음
- 긍정 지표 체리피킹
- 페이지 조회수 ≠ 비즈니스 가치
- 인과 귀속 없음

Attribution 과제

영향 보고서 템플릿

┌──────────────────────────────────────────────────────────────┐
│                    영향 보고서                               │
│                 기능: 스마트 검색                            │
├──────────────────────────────────────────────────────────────┤
│ 요약                                                         │
│ 스마트 검색은 A/B 테스트에서 검색 전환을 23% 개선했고,        │
│ 추정 연간 매출 $180K를 생성했습니다.                         │
├──────────────────────────────────────────────────────────────┤
│ 가설                                                         │
│ AI 기반 검색 제안은 더 관련 있는 결과를 보여줘               │
│ 검색→결과 클릭을 20% 늘릴 것입니다.                          │
├──────────────────────────────────────────────────────────────┤
│ 방법론                                                       │
│ - A/B 테스트, 50/50 분할                                     │
│ - n = 45,000(변형당 22,500)                                  │
│ - 기간: 28일                                                 │
│ - 주요 지표: 검색→클릭률                                     │
├──────────────────────────────────────────────────────────────┤
│ 결과                                                         │
│ 지표                 │ 대조군 │ 처리군 │ p-value             │
│ 검색→클릭률          │ 18.2%  │ 22.4%  │ <0.001              │
│ 세션당 검색          │ 1.8    │ 2.1    │ 0.003               │
│ 검색 후 구매         │ 4.2%   │ 4.8%   │ 0.021               │
├──────────────────────────────────────────────────────────────┤
│ 비즈니스 영향                                               │
│ - 사용자가 찾는 것을 찾는 비율 23% 증가                      │
│ - 검색 기반 구매 14% 증가                                    │
│ - 추정 연간 추가 매출 $180K                                  │
├──────────────────────────────────────────────────────────────┤
│ 권장 사항                                                    │
│ 100% 배포. 모바일 앱으로 확장 검토.                          │
├──────────────────────────────────────────────────────────────┤
│ 학습                                                         │
│ - AI 제안은 복잡한 쿼리에 가장 효과적                        │
│ - 브랜드/단순 검색에는 영향이 작음                           │
│ - 모바일 사용자가 제안에 더 많이 참여                         │
└──────────────────────────────────────────────────────────────┘

영향 측정 주기

안티패턴

• 사후 성공 정의 — 결과를 본 뒤 성공 정의
• 허영 지표 — 중요한 것이 아니라 좋아 보이는 것 측정
• 기준선 없음 — 시작점 없이는 상승을 측정할 수 없음
• 맥락 무시 — 외부 요인이 "상승"을 설명할 수 있음
• 단일 지표 집착 — 주요 지표는 이기고 가드레일은 패배
• 단기 사고 — 1주차 결과 ≠ 장기 영향
• 후속 확인 없음 — 한 번 측정하고 유지되는지 확인하지 않음
• 상관을 인과로 주장 — "기능 사용자가 더 잘 유지됨"(선택 편향)

---

title: 데이터 계측 및 이벤트 impact: HIGH tags: instrumentation, events, tracking, data-quality

데이터 계측 및 이벤트

영향도: 높음

나쁜 데이터가 들어오면 나쁜 결정이 나옵니다. 탄탄한 계측은 모든 제품 분석의 기반입니다. 먼저 여기에 투자하세요.

이벤트 추적 기본

이벤트란 무엇인가? 이벤트는 사용자 행동, 시스템 발생, 상태 변경처럼 일어난 일을 기록한 것입니다.

{
  "event": "button_clicked",
  "timestamp": "2024-01-15T10:30:00Z",
  "user_id": "user_123",
  "properties": {
    "button_name": "signup_cta",
    "page": "homepage",
    "variant": "blue"
  }
}

이벤트 분류 체계 원칙

1. 이름 규칙

규칙 하나를 선택하고 일관되게 사용하세요.

2. 이벤트 계층

1수준: 범주(상위 수준)
├── user_lifecycle
├── content_engagement
├── feature_usage
├── commerce
└── system

2수준: 객체(무엇)
├── user_lifecycle
│   ├── signup
│   ├── login
│   └── subscription
├── feature_usage
│   ├── project
│   ├── report
│   └── export

3수준: 행동(일어난 일)
├── user_lifecycle
│   ├── signup
│   │   ├── started
│   │   ├── completed
│   │   └── failed

3. 속성 표준

모든 이벤트에 포함할 항목:
┌─────────────────────────────────────────────────────────┐
│ 속성            │ 타입     │ 설명                     │
├─────────────────────────────────────────────────────────┤
│ timestamp       │ datetime │ 이벤트 발생 시점         │
│ user_id         │ string   │ 고유 사용자 식별자       │
│ session_id      │ string   │ 세션 식별자              │
│ platform        │ string   │ web, ios, android        │
│ app_version     │ string   │ 애플리케이션 버전        │
└─────────────────────────────────────────────────────────┘

이벤트별 속성:
┌─────────────────────────────────────────────────────────┐
│ 속성            │ 타입     │ 예시                     │
├─────────────────────────────────────────────────────────┤
│ object_id       │ string   │ project_456              │
│ object_type     │ string   │ project                  │
│ value           │ number   │ 99.99                    │
│ source          │ string   │ email_campaign           │
│ variant         │ string   │ experiment_a             │
└─────────────────────────────────────────────────────────┘

이벤트 명세 만들기

이벤트 명세 문서:

이벤트: project_created
범주: feature_usage
설명: 사용자가 새 프로젝트를 생성

트리거:
- 시점: 프로젝트가 데이터베이스에 성공적으로 저장된 후
- 위치: 프로젝트 생성 흐름(웹, 모바일)
- 대상: 인증된 사용자만

속성:
┌───────────────────────────────────────────────────────────────┐
│ 속성            │ 타입   │ 필수 │ 설명                       │
├───────────────────────────────────────────────────────────────┤
│ project_id      │ string │ 예   │ 고유 프로젝트 ID           │
│ project_name    │ string │ 예   │ 사용자가 정의한 이름       │
│ template_used   │ string │ 아니요│ 사용된 경우 템플릿 ID      │
│ team_id         │ string │ 아니요│ 공유된 경우 팀             │
│ source          │ string │ 예   │ 생성 위치                  │
│ time_to_create  │ number │ 예   │ 시작부터 걸린 초           │
└───────────────────────────────────────────────────────────────┘

source 값: onboarding, dashboard, import, api, template

예시:
{
  "event": "project_created",
  "timestamp": "2024-01-15T10:30:00Z",
  "user_id": "user_123",
  "properties": {
    "project_id": "proj_789",
    "project_name": "1분기 마케팅",
    "template_used": "marketing_template",
    "team_id": "team_456",
    "source": "template",
    "time_to_create": 45
  }
}

좋은 이벤트 설계와 나쁜 이벤트 설계

좋음: 명확하고 완전하며 일관됨

// 명확한 이벤트 이름
event: project_created

// 완전한 속성
properties: {
  project_id: "proj_123",
  project_type: "marketing",
  template_used: "q1_template",
  created_from: "dashboard",
  team_size: 5,
  is_first_project: true
}

// 일관된 이름
- project_created ("Created Project" 아님)
- project_updated ("projectUpdated" 아님)
- project_deleted ("delete_project" 아님)

나쁨: 모호하고 불완전하며 일관되지 않음

// 모호한 이벤트 이름
event: click

// 맥락 누락
properties: {
  button: "create"
}

// 일관되지 않은 이름
- click
- Project Created
- updateProject
- deleted

문제:
- 무엇을 클릭했는지 식별할 수 없음
- 사용자 맥락 누락
- 퍼널을 만들 방법 없음
- 대소문자 규칙 불일치

일반 이벤트 패턴

1. 퍼널 이벤트

signup_started        → 진입점
signup_email_entered  → 1단계
signup_password_set   → 2단계
signup_profile_done   → 3단계
signup_completed      → 성공
signup_failed         → 오류 추적

2. 기능 사용 이벤트

feature_viewed        → 기능을 봄
feature_clicked       → 상호작용
feature_used          → 행동 완료
feature_error         → 문제가 발생

3. 커머스 이벤트

product_viewed        → 탐색
product_added_to_cart → 의도
checkout_started      → 높은 의도
purchase_completed    → 전환

4. 검색/발견 이벤트

search_performed      → 사용자가 검색
search_results_shown  → 결과 표시
search_result_clicked → 결과 선택
search_no_results     → 빈 상태

데이터 품질 모니터링

품질 차원:

모니터링 대시보드:

이벤트 상태 점검(최근 24시간):
┌────────────────────────────────────────────────────────────┐
│ 이벤트             │ 수량     │ 품질   │ 상태             │
├────────────────────────────────────────────────────────────┤
│ signup_completed   │ 2,450    │ 99.2%  │ 건강함           │
│ project_created    │ 8,230    │ 98.7%  │ 건강함           │
│ report_exported    │ 1,120    │ 87.3%  │ 낮은 품질        │
│ purchase_completed │ 342      │ 99.8%  │ 건강함           │
│ feature_x_used     │ 0        │ N/A    │ 이벤트 없음      │
└────────────────────────────────────────────────────────────┘

알림:
- report_exported: 이벤트의 12%에서 'format' 속성 누락
- feature_x_used: 24시간 동안 이벤트 없음(예상 500+)

구현 모범 사례

1. 단일 진실 공급원

좋음:
- 코드의 한 위치에서 이벤트 발행
- 래퍼 함수가 일관성 보장

나쁨:
- 같은 이벤트가 여러 곳에서 발행
- 속성 채움이 일관되지 않음

2. 가능한 경우 서버 측

서버 측 선호:
- 안정적 전달
- 차단되기 어려움
- 일관된 타임스탬프
- 안전한 속성

클라이언트 측만:
- UI 상호작용(클릭, 스크롤)
- 성능 지표
- 오류 상태

3. 이벤트 검증

// 전송 시 스키마 검증
const eventSchema = {
  project_created: {
    required: ['project_id', 'project_name', 'source'],
    properties: {
      project_id: { type: 'string' },
      project_name: { type: 'string', maxLength: 100 },
      source: { type: 'string', enum: ['dashboard', 'import', 'api'] }
    }
  }
};

// 전송 전 검증
validateAndSend(event, eventSchema);

이벤트 계획 워크시트

이벤트 거버넌스

추적 계획 소유권:

1. 제품 관리자가 요구 사항 정의
2. 분석가가 이벤트 명세 정의
3. 엔지니어가 구현
4. QA가 검증
5. 분석가가 품질 모니터링
6. 모두: 분기별 리뷰

변경 관리:

이벤트 추가:
1. 명세 문서 생성
2. 이해관계자와 리뷰
3. 테스트와 함께 구현
4. 스테이징에서 검증
5. 배포 및 모니터링

이벤트 변경:
1. 변경 이유 문서화
2. 이벤트 버전 관리(v2)
3. 전환 기간 동안 병렬 추적
4. 대시보드 마이그레이션
5. 이전 버전 지원 중단

안티패턴

• 모든 것 추적 — 노이즈가 신호를 덮고 비용 폭증
• 아무것도 추적하지 않음 — 눈가리고 비행, 학습 불가
• 클라이언트 전용 — 광고 차단, 신뢰성 문제
• 스키마 없음 — 속성이 변질되어 데이터가 쓸 수 없어짐
• 소유권 없음 — 아무도 유지관리하지 않아 품질 저하
• 하드코딩된 문자열 — 오타가 추적을 깨뜨림
• 맥락 누락 — 사용자/세션 정보 없는 이벤트
• 문서화 없음 — 아무도 이벤트 의미를 모름

---

title: AARRR 및 HEART 프레임워크 impact: CRITICAL tags: metrics, framework, aarrr, heart, pirate-metrics

AARRR 및 HEART 프레임워크

영향도: 매우 높음

제품 지표를 구조화하는 검증된 두 가지 프레임워크입니다. AARRR는 생애주기 단계에 집중하고, HEART는 사용자 경험 차원에 집중합니다.

AARRR(해적 지표)

Dave McClure가 스타트업 지표를 위해 만든 프레임워크입니다. 사용자 생애주기 퍼널을 추적합니다.

AARRR 심층 분석: 단계별 지표

획득 지표

┌─────────────────────────────────────────────────────────────┐
│  트래픽 소스             │  소스별 가입                     │
│  채널 CAC                │  채널별 가입당 비용              │
│  랜딩 페이지 CVR         │  방문자 → 가입 비율              │
│  가입 완료               │  가입 시작 → 완료                │
│  채널 믹스               │  채널별 가입 비중                │
└─────────────────────────────────────────────────────────────┘

활성화 지표

┌─────────────────────────────────────────────────────────────┐
│  설정 완료율             │  온보딩을 완료한 비율            │
│  첫 가치까지 걸리는 시간 │  가입 → 핵심 행동(분)            │
│  아하 순간 도달률        │  활성화 이벤트에 도달한 비율     │
│  1일차 재방문율          │  24시간 안에 돌아온 비율         │
│  기능 발견               │  1주차에 2개 이상 기능 사용 비율 │
└─────────────────────────────────────────────────────────────┘

유지 지표

┌─────────────────────────────────────────────────────────────┐
│  D1/D7/D30 유지율        │  N일차에 돌아온 비율             │
│  주간 유지율 곡선        │  가입 후 각 주의 활성 비율       │
│  고착도(DAU/MAU)         │  일일 참여 비율                  │
│  이탈률                  │  기간별 잃은 비율                │
│  재활성화율              │  이탈 후 돌아온 사용자 비율      │
└─────────────────────────────────────────────────────────────┘

매출 지표

┌─────────────────────────────────────────────────────────────┐
│  무료 → 유료 전환        │  유료로 전환한 비율              │
│  체험판 → 유료 전환      │  체험판 중 전환한 비율           │
│  ARPU/ARPA               │  사용자/계정당 평균 매출         │
│  LTV                     │  생애 가치                       │
│  확장 매출 %             │  기존 고객에서 나온 매출 비율    │
└─────────────────────────────────────────────────────────────┘

추천 지표

┌─────────────────────────────────────────────────────────────┐
│  NPS                     │  순추천지수                      │
│  바이럴 계수(K)          │  초대 수 × 초대 전환율           │
│  추천율                  │  추천하는 사용자 비율            │
│  추천 전환               │  추천 방문자 → 가입 비율         │
│  유기적 입소문           │  직접/유기 가입 비율             │
└─────────────────────────────────────────────────────────────┘

HEART 프레임워크(Google)

Google의 Kerry Rodden이 만든 프레임워크입니다. 사용자 경험 품질에 집중합니다.

HEART 목표-신호-지표(GSM)

각 HEART 차원마다 다음을 정의하세요:

전체 HEART GSM 예시:

어떤 프레임워크를 언제 사용할까

AARRR + HEART 결합

두 프레임워크는 서로 보완합니다:

AARRR 단계           적용할 HEART 차원
───────────────────────────────────────────────
획득            →    작업 성공(가입 흐름)
활성화          →    작업 성공, 도입, 만족
유지            →    참여, 유지, 만족
매출            →    작업 성공(구매 흐름), 만족
추천            →    만족(NPS), 참여

좋은 예와 나쁜 예: AARRR 구현

좋음: 명확하고 측정 가능하며 실행 가능

제품: 분석 SaaS 도구

획득:
- 지표: 채널별 가입
- 목표: 월 가입 500건, CAC <$50

활성화:
- 지표: 7일 안에 첫 대시보드 생성
- 목표: 가입자의 60%

유지:
- 지표: 주간 활성 사용자(쿼리 1회 이상 실행)
- 목표: 4주차 유지율 45%

매출:
- 지표: 체험판 → 유료 전환
- 목표: 30일 안에 12%

추천:
- 지표: NPS, 유기 가입 %
- 목표: NPS > 50, 유기 가입 30%+

나쁨: 모호하고 측정 불가능하며 목표 없음

제품: 분석 SaaS 도구

획득: "사용자를 더 많이 확보"
활성화: "사용자가 제품을 좋아함"
유지: "사용자가 계속 돌아오게 함"
매출: "돈 벌기"
추천: "사용자가 우리를 추천"

문제:
- 구체적 지표가 정의되지 않음
- 비교할 목표 없음
- 개선 여부를 알 방법 없음
- 팀 책임 소재 없음

HEART 구현 실수

안티패턴

• 프레임워크 화물 숭배 — 실제 지표 없이 AARRR/HEART 라벨만 사용
• 모든 것 측정 — 중요한 것을 고르고 나머지는 무시
• 목표 없음 — 목표 없는 지표는 숫자일 뿐
• 단계 건너뛰기 — 활성화가 작동하기 전에 매출로 점프
• 평균만 보기 — 코호트, 소스, 행동별로 지표 세분화
• 스냅샷 사고 — 현재 상태만이 아니라 추세 추적

---

title: 북극성 지표 정의 impact: CRITICAL tags: metrics, strategy, north-star, kpi

북극성 지표 정의

영향도: 매우 높음

북극성 지표(NSM)는 제품이 고객에게 전달하는 핵심 가치를 가장 잘 포착하는 단일 지표입니다. 이를 제대로 잡으면 정렬이 따라옵니다.

좋은 북극성 지표의 조건

북극성 지표는 반드시:

1. 단순 활동이 아니라 고객에게 전달된 가치를 측정해야 합니다.
2. 매출의 선행 지표여야 합니다.
3. 측정 가능하고 움직일 수 있어야 합니다.
4. 회사 전체가 이해할 수 있어야 합니다.
5. 제품의 핵심 목적과 연결되어야 합니다.

북극성 선택 프레임워크

비즈니스 모델별 예시

북극성 지표 + 입력 지표

NSM은 혼자 존재하지 않습니다. 지표 트리를 만드세요:

                    ┌─────────────────────────┐
                    │      북극성 지표        │
                    │    (주간 활성 팀)       │
                    └───────────┬─────────────┘
                                │
            ┌───────────────────┼───────────────────┐
            ▼                   ▼                   ▼
    ┌───────────────┐   ┌───────────────┐   ┌───────────────┐
    │ 입력: 신규    │   │ 입력: 팀      │   │ 입력: 팀      │
    │ 팀 가입       │   │ 활성화        │   │ 유지          │
    └───────┬───────┘   └───────┬───────┘   └───────┬───────┘
            │                   │                   │
    ┌───────┴───────┐   ┌───────┴───────┐   ┌───────┴───────┐
    │ • 트래픽      │   │ • 온보딩      │   │ • 주간        │
    │ • 가입률      │   │   완료        │   │   참여        │
    │ • 첫 팀       │   │ • 첫 가치     │   │ • 기능        │
    │   생성        │   │   순간        │   │   깊이        │
    └───────────────┘   └───────────────┘   └───────────────┘

좋은 예와 나쁜 예

좋음: 가치 중심

제품: 프로젝트 관리 도구
북극성: 협업자 3명 이상이 있는 주간 활성 프로젝트

좋은 이유:
- 협업 가치(핵심 목적)를 측정
- "협업자 3명 이상"이 실제 팀 사용을 보장
- 주간 기간이 신호와 노이즈의 균형을 맞춤
- 팀이 활성화, 기능, 유지율을 통해 영향을 줄 수 있음

나쁨: 허영 지표

제품: 프로젝트 관리 도구
"북극성": 전체 등록 사용자

나쁜 이유:
- 지속적 가치를 측정하지 않음
- 이탈한 사용자 포함
- 참여 사용자와 휴면 사용자를 구분하지 않음
- 이를 기준으로 우선순위를 정할 수 없음

좋음: 선행 지표

제품: 이커머스 플랫폼
북극성: 주간 구매 고객

좋은 이유:
- 실제 가치 교환을 측정
- GMV의 선행 지표
- 획득 + 유지 결합
- 명확한 최적화 경로

나쁨: 후행 지표만 있음

제품: 이커머스 플랫폼
"북극성": 연간 매출

나쁜 이유:
- 반응하기 너무 느림
- 팀이 주간 영향을 볼 수 없음
- 제품 의사결정을 이끌지 않음
- 제품 지표가 아니라 재무 지표

단계별 북극성 지표

북극성 지표 검증

확정하기 전에 테스트하세요:

1. 상관 테스트: 과거에 이 지표 개선이 매출 성장과 상관되었는가?
2. 우선순위 테스트: 두 기능 사이에서 선택할 때 도움이 되는가?
3. 커뮤니케이션 테스트: 누구에게든 30초 안에 설명할 수 있는가?
4. 역지표 테스트: 이 지표만 최적화하면 무엇이 잘못될 수 있는가?

흔한 북극성 실수

안티패턴

• 너무 많은 북극성 — 모든 것이 우선순위면 아무것도 우선순위가 아님
• 순수 허영 지표 — "전체 다운로드"는 가치에 대해 아무것도 말하지 않음
• 바꿀 수 없음 — 팀이 움직일 수 없으면 유용하지 않음
• 매출만 봄 — 제품 지표가 아니라 재무 지표
• 품질 무시 — "보낸 메시지"만 보고 "읽힌 메시지"를 보지 않음
• 경쟁사 복사 — NSM은 우리 가치 제안을 반영해야 함

---

title: 사용자 행동 분석 impact: HIGH tags: behavior, analytics, patterns, segmentation

사용자 행동 분석

영향도: 높음

사용자가 실제로 어떻게 행동하는지 이해하는 것은 제품 인사이트의 기반입니다. 우리가 생각하는 행동이 아니라 실제 행동입니다. 행동 데이터는 의도, 마찰, 기회를 보여줍니다.

행동 데이터 유형

행동 세분화

세분화 차원:

행동 세그먼트 만들기:

세그먼트: 파워 사용자
정의:
- 주 5일 이상 활성
- 핵심 기능 3개 이상 사용
- 콘텐츠 생성(소비만 하지 않음)
- 30일 이상 활성

특징:
┌─────────────────────────────────────────────────────────┐
│ 지표                 │ 파워 사용자 │ 일반 사용자        │
├─────────────────────────────────────────────────────────┤
│ 사용자 기반 비중     │    8%       │     92%            │
│ 주간 세션            │   12.4      │      2.1           │
│ 사용 기능 수         │    6.2      │      2.3           │
│ 주간 생성 콘텐츠     │   15.0      │      1.8           │
│ 유지율(D90)          │   85%       │     32%            │
│ LTV                  │  $420       │     $85            │
└─────────────────────────────────────────────────────────┘

인사이트: 파워 사용자는 5배 더 가치 있음
질문: 파워 사용자를 더 많이 만들려면 어떻게 해야 하는가?

행동 패턴 분석

1. 경로 분석

첫 구매까지 가장 흔한 경로:

경로 1(구매의 35%):
홈페이지 → 제품 페이지 → 장바구니 담기 → 구매

경로 2(구매의 25%):
검색 → 제품 페이지 → 위시리스트 → 재방문 → 구매

경로 3(구매의 18%):
범주 → 필터 → 제품 → 비교 → 구매

경로 4(구매의 12%):
이메일 링크 → 제품 페이지 → 구매

인사이트: 직접 구매 경로(경로 1)가 가장 빠르게 전환
기회: 경로 2/3 사용자의 단계 축소

2. 순서 분석

유지된 사용자는 1주차에 무엇을 하는가?

유지됨(D30 > 0) vs 이탈 사용자:
┌────────────────────────────────────────────────────────┐
│ W1 행동             │ 유지됨 │ 이탈  │ 차이           │
├────────────────────────────────────────────────────────┤
│ 튜토리얼 완료       │  78%   │ 35%   │ +43pp          │
│ 첫 항목 생성        │  85%   │ 42%   │ +43pp          │
│ 팀원 초대           │  52%   │ 12%   │ +40pp          │
│ 모바일 앱 사용      │  65%   │ 38%   │ +27pp          │
│ 통합 설정           │  42%   │ 18%   │ +24pp          │
└────────────────────────────────────────────────────────┘

활성화 체크리스트 우선순위:
1. 튜토리얼 완료(가장 큰 공백)
2. 첫 항목 생성
3. 팀원 초대

3. 빈도 분석

사용자 활동 분포:
┌────────────────────────────────────────────────────────┐
│ 주간 세션 │ 사용자 비중 │ 유지율 │ LTV               │
├────────────────────────────────────────────────────────┤
│ 0(휴면)   │   25%       │ N/A    │ $0                │
│ 1-2(가벼움)│  40%       │ 22%    │ $45               │
│ 3-5(정기) │   25%       │ 55%    │ $120              │
│ 6+(많음)  │   10%       │ 82%    │ $340              │
└────────────────────────────────────────────────────────┘

목표: 가벼운 사용자를 정기 사용자로 이동

행동 트리거

중요 순간 식별:

행동 트리거 구현:

트리거: 비활성 경고

조건:
- 사용자가 활성 상태였음(주 3회 이상 세션)
- 현재 비활성(7일 동안 세션 0회)
- 계정에 가치 있는 콘텐츠가 있음

행동:
- 7일차에 "보고 싶습니다" 이메일 발송
- 다음 로그인 시 "새로운 소식" 표시
- re-engagement_triggered 이벤트 기록

측정:
- 재참여율: 18%
- 재활성화율: 12%

세션 분석

세션 지표:

세션 녹화 분석:

세션 리뷰 프로토콜:
1. 주당 10-20개 세션 보기
2. 집중할 것:
   - 이탈 지점(사용자가 그만두는 곳)
   - 혼란 신호(분노 클릭, 뒤로 이동)
   - 성공 패턴(매끄러운 완료)
   - 예상 밖 행동(우회 방법)

문서화:
- 마찰 지점과 타임스탬프
- 사용자 세그먼트
- 빈도(사용자 1명인가, 패턴인가?)
- 잠재 수정
- 우선순위(영향 × 빈도)

좋은 행동 분석과 나쁜 행동 분석

좋음: 세분화되고 실행 가능

분석: 기능 X 사용 패턴

접근:
1. 사용자 유형별 세분화(신규 vs 재방문)
2. 전체 사용 퍼널 추적
3. 높은 참여자 vs 낮은 참여자 비교
4. 결과와 상관 분석

발견:
┌─────────────────────────────────────────────────────────┐
│ 행동                      │ 높은 유지 │ 낮은 유지     │
├─────────────────────────────────────────────────────────┤
│ W1에 기능 X 사용          │    72%    │    28%        │
│ 기능 X를 3회 이상 사용    │    65%    │    12%        │
│ 기능 Y와 함께 사용        │    58%    │     8%        │
└─────────────────────────────────────────────────────────┘

인사이트: 기능 X + Y 조합이 유지율을 예측
행동: 기능 Y 사용자에게 기능 X를 시도하도록 안내

결과: 기능 도입 +15%, D30 유지율 +8%

나쁨: 집계만 있고 행동 없음

분석: 사용자 행동 보고서

발견:
- 평균 세션 시간: 4.2분
- 세션당 평균 행동: 6.8
- 가장 많이 클릭됨: 대시보드

문제:
- 세분화 없음
- 결과와 비교 없음
- 평균이 패턴을 숨김
- 실행 가능한 인사이트 없음
- "가장 많이 클릭됨"은 인사이트가 아님

예측 행동 신호

이탈 예측 신호:

고위험 지표:
┌─────────────────────────────────────────────────────────┐
│ 신호                    │ 가중치 │ 임계값              │
├─────────────────────────────────────────────────────────┤
│ 세션 빈도 하락          │ 0.35   │ 평균 대비 -50%      │
│ 기능 사용 감소          │ 0.25   │ 기능 -30%           │
│ 지원 티켓 증가          │ 0.20   │ 30일 내 2건 이상    │
│ 로그인 실패             │ 0.10   │ 7일 내 3회 이상     │
│ 청구 이슈               │ 0.10   │ 결제 실패           │
└─────────────────────────────────────────────────────────┘

위험 점수 = Σ(신호 × 가중치)
고위험: 점수 > 0.6

업그레이드 예측 신호:

업그레이드 준비 지표:
┌─────────────────────────────────────────────────────────┐
│ 신호                    │ 지표                         │
├─────────────────────────────────────────────────────────┤
│ 제한 접근               │ 요금제 제한의 80%            │
│ 프리미엄 기능 시도      │ 잠긴 기능 클릭 3회 이상      │
│ 팀 성장                 │ 새 멤버 초대                 │
│ 사용 가속               │ 지난달 대비 활동 +50%        │
│ 가격 페이지 방문        │ 30일 내 2회 이상 조회        │
└─────────────────────────────────────────────────────────┘

행동 분석 도구

안티패턴

• 집계 집착 — 평균은 이야기를 숨김
• 상관 = 인과 — 행동은 상관될 뿐 원인이 아닐 수 있음
• 최신성 편향 — 이번 주 패턴 ≠ 추세
• 확증 편향 — 결정을 뒷받침할 데이터만 찾음
• 개인정보 침해 — 너무 많이, 너무 세밀하게 추적
• 행동 없는 분석 — 아무것도 바꾸지 않는 인사이트
• 세그먼트 오염 — 세그먼트가 너무 많고 명확한 페르소나 없음
• 맥락 무시 — "왜" 없는 행동