실험을 출시할지, 중단할지, 계속 실행할지 결정합니다. — Claude Skill
Claude Code용 Claude 스킬 · 제공: ElasticFlow✓ · 실행: /ab-test-analysis (Claude 내)·업데이트: 2026년 6월 12일·vmanual@2026-06-12
실험 결과, 표본 크기, 전환 변화, 가드레일 지표, 비즈니스 맥락을 읽고 출시, 중단, 계속 진행 중 하나를 명확히 권장합니다.
- p-value나 대시보드 스크린샷만 보고하지 않고 실험 결과를 쉬운 말로 설명합니다.
- 결정을 권장하기 전에 주요 지표, 표본 크기, 세그먼트 차이, 가드레일 지표를 확인합니다.
- 의미 있는 상승을 잡음, 신규성 효과, 깨진 추적, 혼합된 세그먼트 행동과 분리합니다.
- 근거, 위험, 다음 테스트 아이디어, 사람이 확인해야 할 항목이 포함된 의사결정 메모를 반환합니다.
성장 마케터가 실험 대시보드를 캡처하고, 테스트가 올랐다고 말한 뒤 회의에서 신뢰도를 두고 논쟁합니다.
결과 표와 맥락으로 /ab-test-analysis를 실행합니다. 스킬은 결정, 근거, 위험, 후속 테스트를 반환합니다.
대상
기능
Optimizely, Amplitude 또는 GA 결과를 의사결정 메모로 바꿉니다.
전환 상승이 매출, 지원, 속도, 유지 위험을 동반했는지 확인합니다.
결과를 신뢰하기 전에 추적, 세그먼트, 표본 크기, 시점 문제를 찾습니다.
작동 방식
실험 목표, 변형안, 날짜, 트래픽, 표본 크기, 지표 결과를 공유합니다.
가능하면 이탈, 매출, 환불률, 지원 티켓, 페이지 속도 같은 가드레일 지표를 추가합니다.
스킬이 상승폭, 신뢰도, 실무적 유의성, 비즈니스 위험을 해석합니다.
출시, 중단, 계속 실행, 또는 더 깨끗한 설계로 재실행을 권장합니다.
입력 옵션
가설, 변형안, 날짜, 트래픽 배분, 대상, 성공 지표.
예시
실험: 가격 페이지 CTA 문구. 변형안 A: 무료 체험 시작. 변형안 B: 내 플랜 만들기. 날짜: 6월 1-14일. 결과: - A: 방문자 24,100명, 체험 1,084건, 전환율 4.5%. - B: 방문자 23,900명, 체험 1,267건, 전환율 5.3%. - 도구에 표시된 신뢰도: 96%. 가드레일: - 체험 후 유료 전환: A 18.4%, B 17.9%. - B에서 가격 관련 지원 질문이 11% 증가. 필요: 출시, 중단, 계속 진행 중 무엇인지와 리더십에 말할 내용.
100%가 아니라 먼저 50%에 출시하세요. 변형안 B는 체험 시작률을 4.5%에서 5.3%로 높이지만, 유료 전환은 약간 낮고 가격 질문이 증가했습니다.
체험 시작에 대한 상승은 실제일 가능성이 큽니다. 체험 품질과 지원 부담을 한 주 더 관찰하기 전까지 비즈니스 영향은 입증되지 않았습니다.
가격 혼란이 늘고 있을 수 있습니다. 전체 출시 전에 CTA 근처에 가격 FAQ 링크를 추가하세요.
새 CTA는 체험 시작을 상대적으로 약 18% 늘리지만, 유료 전환과 가격 관련 지원 티켓을 모니터링하면서 점진적으로 출시하겠습니다.
어트리뷰션 기간, 유료 전환이 충분히 성숙했는지, 지원 티켓 태깅이 일관적인지 확인하세요.
개선되는 지표
지원 도구
어디서나 작동
이미 가진 메모, 내보내기 파일, 스크린샷, 요약을 붙여넣으세요. 연결된 시스템 없이도 작동합니다.
더 최신의 출처 근거가 필요하면 관련 지원, 분석, CRM 또는 데이터 도구를 연결하세요.
A/B 테스트 분석을(를) 사용해 보시겠어요?
시작 방법을 선택하세요.
A/B 테스트 분석
Command: /ab-test-analysis
사용 시점
실험 결과, 표본 크기, 전환 변화, 가드레일 지표, 비즈니스 맥락을 읽고 출시, 중단, 계속 진행 중 하나를 명확히 권장합니다.
스킬이 생성하는 것
- p-value나 대시보드 스크린샷만 보고하지 않고 실험 결과를 쉬운 말로 설명합니다.
- 결정을 권장하기 전에 주요 지표, 표본 크기, 세그먼트 차이, 가드레일 지표를 확인합니다.
- 의미 있는 상승을 잡음, 신규성 효과, 깨진 추적, 혼합된 세그먼트 행동과 분리합니다.
- 근거, 위험, 다음 테스트 아이디어, 사람이 확인해야 할 항목이 포함된 의사결정 메모를 반환합니다.
제공할 입력
- 실험 설정: 가설, 변형안, 날짜, 트래픽 배분, 대상, 성공 지표.
- 결과 표: 방문자, 전환, 전환율, 매출, 신뢰도 또는 내보낸 대시보드 수치.
- 가드레일과 맥락: 지원량, 환불, 페이지 속도, 이탈, 사용자당 매출 또는 세그먼트 제약.
권장 흐름
- 실험 목표, 변형안, 날짜, 트래픽, 표본 크기, 지표 결과를 공유합니다.
- 가능하면 이탈, 매출, 환불률, 지원 티켓, 페이지 속도 같은 가드레일 지표를 추가합니다.
- 스킬이 상승폭, 신뢰도, 실무적 유의성, 비즈니스 위험을 해석합니다.
- 출시, 중단, 계속 실행, 또는 더 깨끗한 설계로 재실행을 권장합니다.
유용한 결과 예시
결정
100%가 아니라 먼저 50%에 출시하세요. 변형안 B는 체험 시작률을 4.5%에서 5.3%로 높이지만, 유료 전환은 약간 낮고 가격 질문이 증가했습니다.
이유
체험 시작에 대한 상승은 실제일 가능성이 큽니다. 체험 품질과 지원 부담을 한 주 더 관찰하기 전까지 비즈니스 영향은 입증되지 않았습니다.
가드레일 위험
가격 혼란이 늘고 있을 수 있습니다. 전체 출시 전에 CTA 근처에 가격 FAQ 링크를 추가하세요.
리더십 표현
새 CTA는 체험 시작을 상대적으로 약 18% 늘리지만, 유료 전환과 가격 관련 지원 티켓을 모니터링하면서 점진적으로 출시하겠습니다.
사람 검토
어트리뷰션 기간, 유료 전환이 충분히 성숙했는지, 지원 티켓 태깅이 일관적인지 확인하세요.
가드레일
- 사용자가 제공한 숫자, 날짜, 도구 이름, 명령, ID, URL, 규칙은 그대로 유지합니다.
- 제공된 자료에 없는 출처, 지표, 담당자, 결정, 위험을 지어내지 않습니다.
- 게시, 도구 변경, 비즈니스 의사결정 전에 사람이 확인해야 하는 항목을 명확히 표시합니다.
참조 문서
카탈로그 표현 방식
모든 스킬은 비즈니스 담당자가 명확히 이해할 수 있어야 합니다. 현재의 고통스러운 업무 흐름, 더 나은 업무 흐름, 구체적 예시, 검토 체크리스트가 보여야 합니다.
페이지는 네 가지 질문에 답해야 합니다. 언제 사용하는지, 무엇을 제공해야 하는지, AI가 무엇을 반환하는지, 어떤 사람의 결정이 남는지입니다.
A/B 테스트 분석
카탈로그에서 /ab-test-analysis를 보여주기 위한 ElasticFlow 편집 지침입니다.
목적
실험 결과, 표본 크기, 전환 변화, 가드레일 지표, 비즈니스 맥락을 읽고 출시, 중단, 계속 진행 중 하나를 명확히 권장합니다.
비기술적 설명
비즈니스 문제, 사용자가 제공하는 것, AI가 반환하는 것, 사람이 여전히 확인해야 하는 것을 설명하세요. 사용자가 제공하지 않았다면 구현 세부 정보는 피하세요.