[내배캠 PM]TIL#22: A/B 테스트 하는 법

예디·2026년 4월 7일

내일배움캠프 PM

목록 보기
22/48

목표

✅ 서비스 기획 숙련 강의 파트 2 1 순위
🔄 파이썬을 이용한 데이터베이스 처리 완강(파트 1까지 수강) 2 순위
✅ 『편안함의 습격』 15분 독서 3 순위

🌟 목표 달성률 : 80%

특강

'A/B테스트' 특강

튜터 : 권자경 튜터님

A/B 테스트 특강 인사이트 정리

  1. 목표 & 지표 설정

    • 반드시 정량 지표로 목표 설정
    • 성공지표는 1개 중심으로 설정하는 것이 좋음
    • 보조 지표: 결과 해석 보완용
    • 가드레일 지표 → 기준 깨지면 실험 중단 고려
  2. 실험 설계 원칙

    • 한 번에 하나의 변수만 변경
    • 변경 대상은 반드시 중요한 대상이어야 한다
    • 구체적인 기능/디자인 단위로 테스트
  3. 대상 및 샘플링

    • 무작위 추출(Randomization) 필수
    • 내부 직원 필터링
    • 동일 실험 내에서는 같은 그룹 유지
  4. 샘플 사이즈 & 통계

    • 샘플 사이즈가 클수록 → 작은 차이도 유의미
    • 샘플이 작으면 → 큰 차이가 나야 유의미
    • 샘플이 부족하면 → 실험 기간 연장
    • P-value < 0.05 → 통계적으로 유의미
    • 신뢰구간으로 결과 신뢰도 판단
    • 샘플 사이즈 계산기 활용 가능 (ex/ A/B Tasty)
    • 내부 직원 데이터는 필터링(필요 시)
  5. 실험 운영

    • 사전 계획대로 끝까지 진행 (중간에 지표 안 나온다고 중단 ❌)
    • 실험 기간은 최소 1주 (요일 효과 고려)
    • 시즌 이벤트, 배포 등 외부 변수 고려
  6. 해석 & 한계

    • 새로운 아이디어를 도출할 순 없음
    • 결과는 실험 시점에만 유효
    • 일시적 효과일 수 있음 → 주기적 재검증 필요
  7. 보완 방법
    A/B 테스트만으로 부족 → 로그 분석 / 사용성 테스트 / 유저 인터뷰 병행

  8. A/B 테스트 플랫폼
    핵클

강의

서비스 기획 숙련

2. 기획(PM) 실무 소프트 스킬

1. 킥오프

킥오프 미팅에서 다루어야 할 핵심 요소들:

  • 프로젝트 목표 : 무엇을 달성할 것인지

  • 프로젝트 범위 : 프로젝트에서 다룰 작업과 다루지 않을 작업

    ex

    • 포함된 작업 : 웹사이트 디자인 및 개발, UX/UI 테스트, 사용자 교육 자료 제작.
    • 제외된 작업: 서버 유지보수, 고객 지원 서비스 제공, 모바일 앱 개발.
  • 일정 : 주요 마일스톤과 기한

  • 팀 구성 : 각 팀원의 역할과 책임

  • 커뮤니케이션 방법 : 프로젝트 진행 중 정보 교환 방법

    ex

    • 회의 : 매주 월요일 오전 10시 진행되는 주간 회의
    • 도구 : 슬랙을 통한 일상적인 소통, 이메일로 주요 의사결정 사항 전달
    • 보고서 : 프로젝트 진척 상황은 매주 금요일 오후 5시에 이메일로 보고
  • 리스크 및 이슈 : 잠재적인 리스크와 해결 방안

  • 기대 사항 : 이해관계자의 요구 사항과 프로젝트 결과물에 대한 기대

킥오프의 진행 방법

  1. 킥오프 미팅 사전 준비
  • 목표 설정: 프로젝트 목표, 범위, 일정, 예산 등 중요한 요소를 명확히 정의하고 준비

  • 참석자 선정: 프로젝트에 중요한 영향을 미칠 수 있는 사람들(팀원, 주요 이해관계자 등)을 초대

  • 자료 준비: 발표할 자료와 문서(프로젝트 계획서, 일정표, 리스크 관리 계획 등)를 미리 준비

    • ‼️ 미팅 2~3일 전 관련 자료 미리 전송하는 것도 원활한 진행을 위해 도움이 됨
  • 미팅 목적 정리: 미팅의 목적과 기대 결과를 사전에 명확히 설정하고, 이를 참석자들에게 사전 안내

  1. 킥 오프 미팅 후
  • 미팅 기록 공유: 킥오프 미팅에서 논의된 주요 사항을 회의록으로 작성하여, 참석자들과 공유.

  • 액션 아이템 정리: 미팅에서 결정된 사항이나 행동 항목을 목록화하여 각 팀에 전달하고, 진행 상황을 추적.

2. 공유

  • 카카오 현업 툴: 아지트

공유 잘 하는 법

  1. 명확한 커뮤니케이션 채널 설정
  2. 주기적인 미팅 및 업데이트
  3. 필요한 정보만 공유하기 ⭐️

3. 회고

예시 : 한 쇼핑몰의 마케팅 팀은 특별 할인 캠페인을 진행했으나, 예상보다 매출 상승 효과가 적은 상황

  • 잘된 점:
    할인율을 높였을 때, 기존 고객의 구매 빈도가 증가했다.
    프로모션을 SNS와 이메일 마케팅으로 동시에 진행하여, 다양한 채널에서의 노출을 얻었다.
  • 개선할 점:
    광고 타겟팅이 너무 넓어서 정확한 타겟층에 도달하지 못했다.
    이메일 클릭 비율이 기대보다 낮았다.
  • 원인 분석:
    광고 타겟팅이 넓었기 때문에 잠재 고객과 실제 구매 의향이 있는 고객에게만 집중되지 않았다.
    이메일 마케팅의 클릭률이 낮은 이유는 제목에 할인 혜택이 명확하게 전달되지 않았기 때문.
  • 개선 방안:
    다음 캠페인에서는 타겟 고객층을 더 세분화하고, 고객 세분화 전략을 활용해서 더욱 정밀한 광고를 진행하자.
    이메일 마케팅에서는 개인화된 제목과 함께 할인 혜택을 더 눈에 띄게 배치해보자.

데이터 분석 강의

chap.3 파이썬을 이용한 데이터베이스 처리

교수자 : Charles R. Severance

"객체는 코드의 복잡성을 줄이기 위해 관련된 데이터를 한곳에 모아두는 방식"

1. 파이썬 객체(Object)의 구성 요소

객체는 데이터와 코드가 결합된 하나의 '보따리'와 같다.

  • 속성(Attributes): 객체가 알고 있는 것(Data). 클래스 내부에서는 변수로 표현.
  • 메서드(Methods): 객체가 할 수 있는 일(Behavior). 클래스 내부에 정의된 함수.
  • 클래스(Class): 객체를 만들기 위한 설계도(Blueprint).

🍪
클래스 = "쿠키 커터"
객체 = "쿠키"

2. 클래스와 객체의 코드 구현

클래스를 정의하고, 이를 바탕으로 실제 메모리에 살아있는 객체(인스턴스)를 만드는 과정

class PartyAnimal:
    x = 0  # 속성(Attribute)

    def party(self):  # 메서드(Method)
        self.x = self.x + 1
        print("So far", self.x)

# 객체 생성 (인스턴스화)
an = PartyAnimal()

# 메서드 호출
an.party()
an.party()

3. 파이썬 객체의 생명주기 (Lifecycle)

객체가 생성되고, 사용되고, 소멸되는 과정.

  • 생성자 (__init__): 객체가 생성될 때 자동으로 호출. 주로 객체의 초기 상태를 설정(Setup)할 때 사용.
  • 소멸자 (__del__): 객체가 파괴되기 직전에 호출. (파이썬에서는 가비지 컬렉션이 자동으로 처리하므로 생성자에 비해 사용 빈도는 낮다.)
class PartyAnimal:
    x = 0
    name = ""

    def __init__(self, z): # 생성자
        self.name = z
        print(self.name, "constructed")

    def party(self):
        self.x = self.x + 1
        print(self.name, "party count", self.x)

s = PartyAnimal("Sally")
s.party()

4. 파이썬의 상속 (Inheritance)

기존 클래스(부모)의 기능을 그대로 물려받으면서, 새로운 기능만 추가하거나 기존 기능을 수정(오버라이딩)하여 새로운 클래스(자식)를 만드는 것. 코드의 재사용성을 극대화한다.

  • 부모 클래스(Parent Class): 모든 공통 기능을 가진 클래스.
  • 자식 클래스(Child Class): 부모의 모든 것을 물려받고 본인만의 특징을 더한 클래스.
class CricketFan(PartyAnimal): # PartyAnimal의 기능을 상속받음
    points = 0
    
    def six(self):
        self.points = self.points + 6
        self.party() # 부모의 메서드 사용 가능
        print(self.name, "points", self.points)

j = CricketFan("Jim")
j.party()
j.six()

바이브 코딩

기획자를 위한 AI 바이브코딩: 프로토타입부터 서비스까지

  1. Lovable로 프로토타입 만들기
  • 와이어 프레임 업로드
  • 프롬프트 : 서비스 개요, 화면 별 구성요소, 기능 요구사항, 디자인 요구사항
  1. Google AI Studio로 웹 앱 배포

    1. 기능 정의서 (PRD) 만들기
    2. 구글 docs로 문서 생성
    3. 구글 AI 스튜디오 빌드를 통해 웹앱 서비스 만들기
    4. 제미나이 API, 쓰는 법 복붙 후 문서 생성 입력
    5. 완성한 앱을 공유하고, 실제 서버 배포 하기(구글 클라우드 연결)

오늘의 회고

  • 잘한 점: 서비스 기획 숙련 강의 목표치까지 수강, 바이브 코딩 강의 수강
  • 아쉬운 점: 목표를 다 달성하지 못함.
  • 원인: 중간에 바이브 코딩에 관심이 가서 찾아보다가 시간이 많이 감.
  • 개선 액션 아이템: 목표를 유동적으로 바꿀 수는 있으나 우선 순위를 잘 생각하고 각 목표마다 목표 시간을 정해놓기

강의에서 회고에 대한 내용을 듣고 '오늘의 회고' 부분을 개편했다.

💭 오늘의 한 줄 평 : 조금 딴 길로 샜으나... 어쨌건 열심히 함!

1개의 댓글

comment-user-thumbnail
2026년 4월 9일

바이브코팅 강의 퍼가요~♡

답글 달기