260407 TIL

그냥 하는거야... 인생에 대한 고민을 하는게 아니라 과제에 대한 생각만 하면서 just do it 이다 ,...

TIL 목차

• A/B 테스트 특강
• 서비스 기획 숙련 강의 3-4강 완강
• 아티클 카타
• 서비스 기획 숙련 과제 데이터셋 분석 시작

A/B 테스트 특강

정의

두 집단의 사용자의 반응을 비교하는 실험방식 (기존안 / 새로운 안)

장점

명확한 원인과 결과

덧.

세가지 다른 옵션의 반응을 비교할 수도 있음 !
a / a / b 로 그룹을 설정해 영점조절하듯이 비교할 수도 있음

필요성

• a/b 테스트 없이 배포했다가 주요 지표가 변화하면 원인을 파악하기 어렵다 !
• 데이터를 기반으로 개선 방향을 잡을 수 있다.

언제?

신규기능 추가 / 푸시 메세지 문구 변경 / 추천 시스템 / 할인쿠폰이 효과적일 고객 그룹

단계

1. 목표설정 (상품을 더많이 → 노출 대비 구매전환율 = 정량지표)

2. 가설설정

3. a,b 그룹 생성

4. 실험 설계 (측정 지표, 실험 기간, 성공 기간, 그룹 분배 등)

5. 실험 진행 (모니터링)

6. 데이터 분석

7. 결과 도출

8. 반복 (추가적 개선을 위해 수행함)

실험 계획을 세울 때 알아야할 것

문제정의
→ 정량화된 지표화를 반드시 시켜줘야 한다

변경 대상 설정
→ 변경 대상이 중요한 대상이어야 한다.
리소스를 투자한 대비 결과가 명확해야함 !!
중요한 영역, 중요한 지표, 고민할만한 영역인지 생각한다

문장 형태의 가설
→ ~ 하면 ~ 할 것이다

유의사항

• 하나의 테스트에서는 하나의 변경 대상만 테스트

• 변경 대상은 사용자 경험에 큰 영향을 미칠 수 있는 요소로 테스트

성공지표, 보조지표, 가드레일지표

성공지표
말그대로 프로젝트의 성공을 증명할 수 있는 지표. 보통 하나만 설정하는 게 좋다. 많아봤자 두개

보조지표
성공지표 보조, 실험 결과를 더 깊이 이해하는 데 도움, 모니터링 해야할 것 같다, 주요하게 봐야할 것 같다 싶은 지표들

예를 들면 주문 전환율이 성공지표라면, 노출 대비 장바구니 담기율은 보조지표로 기능 !

가드레일 지표
프로덕트가 원치 않는 방향으로 나아가고 있는지 확인하는 지표

• 너무 크게 벗어난다면 중단까지 고려, ‘이것만은 꼭 지켜야해’
• 반품 / 환불 비율, 불만족 건수 등

샘플링

전체 서비스 이용자 중에서 일부 사용자를 선택하는 과정

보통은 무작위 할당
** 한 번 정해진 할당은 바뀌지 않는다

샘플 사이즈 : 어느 정도 규모의 사용자가 실험에 참여할 때 결과를 신뢰할 수 있다고 여길 수 있을까?

abtasty : 샘플 크기 계산기

• 사이즈가 클수록 결과 차이가 작아도 유의미

• 사이즈가 작으면 결과가 확실하게 큰 차이가 나야 유의미한 결과

실험 설정

기간
요일에 따라 결과가 달라질 수 있기 때문에 최소한 일주일은 진행해야함
특정 시즌 이벤트나 주요 배포같은 중요한 일정 고려

확인 사항
사용자들이 계획대로 실험 그룹에 잘 할당되었는지

내부 직원들의 데이터는 필터링 - 내부 직원들이 기능 테스트를 하는지에 따라 지표가 비정상적으로 높게 잡혀서 영향을 줄 수도 있음 ( 샘플 규모가 작은 경우 )

데이터 수집이 잘 되고 있는지 모니터링

의사결정의 기준이 되는 성공 지표를 중간에 변경하지 않고 사전에 계획한대로 실험을 진행 . 갑자기 종료하거나 변경하지 않는다 ! (가드레일 지표가 위험한 것 아니라면)

예정된 실험 기간동안 필요한 샘플 사이즈가 충족될 수 있을 지 확인

실험 기간을 늘린다면 어느정도 연장할지도 고려를 해야함. 그리고, 너무 늘리면 시간이 지남에 따라 예상하지 못했던 외부 요인이 영향을 끼칠 수도 있음

트래픽이 안 모이는 건 a/b 테스트가 중요한 게 아닐수도 …

실험결과 분석 때 알아야 할 것

실험 플랫폼 이용 - 쉽고 빠르게 !

자체적으로 운영하기도 함

a/b테스트 대표적인 플랫폼 : ‘핵클’ hackle

통계적으로 유의미한지 확인하는 과정 필요

pvalue : 실험결과에 대한 관측값 .. 유의수준만 넘어가면 이 결과를 신뢰할 수 있어.

유의수준 5%를 의미하는 0.05보다 작으면 유의미하다는 뜻

낮을수록 결과의 신뢰성이 높아진다.

⇒ pvalue < 유의수준

실험 플랫폼 계산 값이나 사이트, ai 활용

성과가 더 좋은 그룹 = 위너 그룹

통계적으로 유의미한 결과가 안나온다 ? 유저들이 한 쪽을 특별히 선호하지 않는다

A/B 테스트 시 주의점과 보완방법

• ab테스트는 만능이 아님 ! 주어진 조건 안에서 최적의 결과를 찾는 도구이기 때문에 모든 의사결정을 완벽하게 해결할 수는 없음

• 새로운 아이디어를 도출하거나 큰 그림을 그리는 데에는 한계가 있음

• 테스트 설계 단계에서 조건을 신중하게 설정하고, 실험에 사용될 변수들을 고민해야함

• 구체적 / 명확한 기능이나 디자인, 로직을 대상으로 !

• 정성적 리서치들을 같이 엮어서 분석을 하는 것도 좋은 방법

• 테스트 당시에만 유효함
  계절 변화, 시장 상황 변화, 사용자 층 변화, 취향 변화 등에 따라 결과가 달라질 수 있기 때문에 ‘이 상황에서’ ‘이 테스트가’ 주는 의미를 찾아낼 것 !

• 주기적인 재평가라는 방법도 있음

한계점을 이해하고 보완적 방법을 함께 사용하는 것이 중요하다.

서비스 기획 숙련 강의 3-4강 완강

https://velog.io/@minimalhwi_st/서비스-기획-숙련-3강-기획-실무-문서-작성
https://velog.io/@minimalhwi_st/서비스-기획-숙련-4강-기획자가-갖추어야-할-역량

강의가 다 짧고 간결해서 후다닥 들었다. 여유되면 5강까지 들을까 했지만 강의를 듣고 다시 톺아보는 시간을 가지는 것이 나을 것 같아 오늘은 4강까지만 수강 완료.

가장 기억에 남는 것은 '명확한 커뮤니케이션과 공유의 중요성'
강사님께서 여러번 반복해서 강조해주시기도 했고, 나 스스로도 그게 얼마나 중요한건지 과거 회상을 통해 깨달아보는 시간을 가지기도 해서 ...

모든 사람은 다 다른 생각을 가지고 있다.

내 입장에서는 A라고 말하면 당연히 A지 ! 싶은 것도 아닐 수 있다는 걸, A를 어떻게 쓰는지, 어디에 사용하는지, A로 내가 뭘하고 싶은건지까지 명확하고 구체적으로, 간결하게 설명하는 것이 진짜 PM에게 필요한 '명확한 커뮤니케이션'의 역량이라는 것을 확실히 알 수 있었다.

그리고 투명한 공유! 일의 효율성과 팀의 성장을 위해서는 필수적인 요소다. 많은 아티클에서 강조하고 있고, 또 많은 회사에서 강조하는 기업 문화에도 적용되는 공유. 단순히 모든 것을 다 ~ 전달하는게 아니라 역시나, 명확하게, 확실하게, 정확하게 전달하는 것이 중요하다.

강의를 듣고 남은 오후 시간에는 강의 내에 첨부되어있던 아티클들을 읽으며 시간을 보냈다.
이전 강의와 중복되는 아티클들도 다시 읽었는데 다시 읽어도 새로운 시각에서 배울 점이 많아서 좋다.

많이 많이 읽고 다 삼켜내야지.

개인 아티클 카타

https://velog.io/@minimalhwi_st/insight-기획자가-알아야-할-데이터의-상관관계와-인과관계

데이터 분석을 해야하는 과제를 앞두고, 관련 아티클을 찾다가 발견한 오늘의 아티클. 내용이 좋고 한 번쯤 생각해볼 법해서 에잇스와 구글링 모두에게 공유했다.

얻은 인사이트는 다음과 같다.

• 숨어있는 '인과의 원인' 없이 같이 변하는 변수들 사이는 상관관계다. 같이 움직이는 변수들 사이의 관계성을 찾아내서 '인과관계'인 원인 하나를 찾아내는 것이 중요 !

• 데이터 해석을 객관적으로 하지 않고, 의도된 스토리로 만드는 증거로 쓰는 것을 경계해야 한다.
  데이터 기반 =/= 해석 기반 !!

• 역인과관계는 결과를 원인처럼 보이게 하니 주의해야한다. 예를 들면 매출 높은 고객 -> 리텐션이 높다라는 예시에서, 사실 이미 충성고객이라 매출이 높을 수도 있다는 변수까지도 꼭 체크해서 판단해야 함

• 데이터는 도출해낸 답이 아니라, 질문을 만드는 도구로써 쓰인다.

데이터는 답이 아니다 ! 답을 찾기 위한 질문을 만들어주는 도구다. 이를 바탕으로 앞으로 있을 과제에도 적용시켜서 데이터를 꼼꼼히 뜯어보고 데이터 간의 관계성 파악에도 집중해봐야겠다.

과제 데이터셋 분석 시작

과제를 시작하기에 앞서, 뭐부터 해야할지 나름대로의 로드맵을 작성해봤다.

<데이터 분석>
1. 페르소나 분석
2. 각 페르소나에 대응하는 데이터 지표 연결 - 주어진 기본 정보 + 행동 데이터
3. 추려진 페르소나 데이터들의 '공통 결과값' 확인 (상관관계 / 인과관계)
4. 도출해낼 수 있는 인사이트 찾기
5. 페르소나 별 비교 결과 추출 - 데이터를 기준으로

<PRD 작성>
6. 목적 지표 달성을 위한 타깃 페르소나 선정
7. 문제 정의
8. 가설 설정
9. 해결 방안 제시
10. 해결 방안 가설 검증 방식
11. 리스크 및 대응 방안
12. 문서화 및 논리 전개 흐름 정리

PRD 작성 자체는 이전 과제랑 동일하게 흐름을 가져가면 될 것 같고, 이전에 수행해야 할 데이터 분석을 이번 주 내에 끝내는 것을 목표로 삼았다.

생각보다 문서를 작성한 이후에 수정하고 논리와 맥락을 재점검하는 시간을 꽤 가져야할 것 같아서, 다음주에는 PRD 작성 자체에 힘을 쓸 예정이다.

오늘은 간단하게 데이터셋 엑셀 파일을 직접 뜯어보고 제미나이를 통해 각 컬럼 별 유기성을 파악해보는 시간을 가졌다.
구체적인 데이터 분석은 단계 별로 완료한 후에 기록하기로 ....

그리고 지난 과제 때 받았던 피드백을 유념해서, 좀 더 간결하고 명확한 글을 쓰는 법을 훈련해야 할 것 같다.

내가 좀 말이 많아서 .... 줄인다고 줄였는데도 쉽지 않다 ㅋ.ㅋ

내일 마지막 남은 5강 강의 수강 완료하고, 본격적으로 데이터 분석에 들어가야지 ! 아자자