A/B TEST 와 EDA
AB 테스트는 꼭 필요한가?
1. 기술적 접근의 보편화와 한계
2. 그로스 해킹의 한계
- 제품 카테고리/세그먼트의 중요성
- 기법의 보편화로 인한 효과 감소
3. 그래서 어떻게 해야하냐
- 참신함과 창의적 콘텐츠의 중요성
- AI 자동화 도구의 활용
- 지표 중심 문화의 한계 인식
AB 테스트란?
기존 버전 A 요소와 변경된 버전 B를 사용자들에게 무작위로 보여주고
전환율 등의 데이터를 통해 더 나은 성과를 내는 방안을 과학적으로 결정하는 실험 방법
p-value(통계적 유의성)이란?
p-value는 유의확률로도 불리며 귀무가설이 참이라는 가정하에,
관측된 데이터가 우연히 발생했을 확률을 나타내는 지표.
보통 5% 미만일 때 통계적으로 유의미하다 간주.
귀무 가설을 기각하고, 해당 결과가 우연이 아닌,
실제 의미 있는 차이일 가능성이 높다고 해석함.
> 두가지 버전 AB 중 어느 것이 더 나은 성과를 내는지 통계적으로 증명하는 비교 실험
> 실험 결과가 가설을 기각하더라도 그 자체로 다음 실험을 정확하게 설계하는 데이터가 됨.
핵심 용어
대조군, 실험군
> 마케팅 실무에서는 대체로 AB 테스트 자체의 검증보단,
전환 향상을 위한 AB테스트 진행.
신뢰구간 - 다음에 다시 테스트해도 이정도 범위 안에는 들어올 것이라는 확신의 영역.
MISSION
LP 성과 개선을 위한 AB 테스트 설계



EDA(Exploratory Data Analysis) 정의
데이터를 분석하기 전에 데이터의 구조, 분포, 특성, 이상 여부를 먼저 탐색하고 이해하는 과정.
데이터에 질문을 던지기 전에 데이터가 어떻게 생겼는지 먼저 보라.
EDA(Exploratory Data Analysis) 탐색적 데이터 분석의 목표
데이터가 가진 의미를 파악하여 숨겨진 문제를 발견하고,
가설을 수립하거나 수정하여 올바른 분석 방향을 설정하는 것이 핵심 목표.
EDA가 필요한 이유
1) 데이터는 항상 더럽다.
2) 데이터 구조를 모르면 잘못된 지표를 만든다
3) 가설은 데이터 근거를 바탕으로 만들어야한다
실무 활용
EDA는 일회성 작업이 아니라 새로운 데이터가 추가될 때마다 반복.
신규 데이터를 확인해야 할 경우 EDA를 하는 습곤이 분석의 품질 결정.
데이터 타입을 분류하는 이유?
적절한 통계 지표 결정
평균을 낼수 있는 '수치형'(이산형/연속형)
그렇지 않은 '범주형'(명목형/순서형)
올바른 시각화 도구 선택
머신러닝 알고리즘 적용
3/27
배우고 느낀 점들
여러가지 실험과 미션 과정을 통해 실무 경험을
잠깐이나마 느낄 수 있었음.
어떤 식으로 설계하고 데이터를 분석해야하는지
감이 조금 잡힘..