0414 | 데이트도 못하는데 데이터도 못 할 순 없지;

Day 27 (6주차)

시간	학습내용	소요시간	메모
아침	아티클 슷허디
점심 전	계속되는 앗힉흘 슷허디		원래 특강이 예정되어있었으나 오후로 밀림
Arvo	특강, 과제
Evening	과제

아티클 스터디 w/ 열정즈

혼자 더 많이 할 수 있게 된 뒤, 협업이 가지는 가치를 돌아보며
협력이라는 '비효율'이 주는 위대한 배움

---

TL;DR

• 협업은 답을 찾는 과정보다 관점을 조율하는 과정.

• AI를 활용으로 개인이 더 많은 영역을 혼자 해결 할 수 있게 되면서 업무의 효율성은 크게 비약한 것 처럼 보인다.

• 하지만 협업은 나와 다른 관점을 발견하는 과정이라는 점에서 그 역할이 축소되면 안된다.

• AI활용으로 얻은 효율을 기반으로 더 밀도있는 협업을 진행해야함.

PM's Perspective

• 협업을 통해 관점의 차이를 발견하는 것은 업무를 느리게 만드는 비효율적인 과정처럼 느껴지지만 사실은 더 좋은 판단을 내리기 위한 과정이다.

• 오히려 생각의 차이가 드러날 때 협업의 의미가 생긴다.

Critical Reflection in Team

• AI를 업무에 활용하면서 1인 업무 체계로 고립될 수 있음. 사람간의 만남에 뚜렷한 이유가 필요해질 것이고, 의견을 나눌 의미가 있는지 의심하게 될 것.
  
  
• 이런 환경에서 협업을 잘 이끄는 것이 PM에게 주어진 과제. (상대는 AI다..)
  - 항상 강조되는 '목적의 명확성'이 같은 맥락에서 또 다시 적용된다.
  
  
• 대 AI 시대, 우리는 오히려 더 여러방면으로 사고하는 능력을 갖춰야함.
  - 인문, 교양, 문화적 소양을 갖춰야 장기적인 성장이 가능할 것.
  
  
• 애초에 글쓴이가 문제의식을 가진 부분은 AI로 인해 발상의 영역이 좁아져서 창의적이고 혁신적인 아이디어를 만들어내는 데 제한이 생긴다는 점
  • → 협업의 역할을 보존 하더라도, 그 테이블에 가지고 가는 나의 아웃풋이 AI의 것인지 나의 것인지 점검해야함.
    
    
• 나의 아웃풋이 되려면 프롬프팅에 내 판단이 들어가야함 (AI의 판단을 최소화 하자)
  • 하네스 프롬프팅도 같은 맥락에서 나온 개념 같기도 하고..?
  • 기존 프롬프팅이 “해줘” 라면, 하네스는 “이렇게 하지마” 니까 좀 더 사용자의 판단(해도 될 것과 안되는 것)이 개입된 프롬프팅 기술이라고 볼 수 있지 않을까.
    
    
• AI에 자아의탁하는 멍청이들이랑 일해야하는 상황이 분명 있을 것.
  • 살아남으려면 그들이 놓치는 부분을 커버칠 만큼 나의 역량을 키워야함.
  • 오히려 기술적인 스킬 보다는 사고력이 중요해질 것. (기술이야 유투브 보고도 배울 수 있는 것)

AI 기획 + 데이터 분석 특강 Pt.2

If Kakao 컨퍼런스 자료를 통한 카카오의 콘텐츠 운영 워크플로우 개선기

---

<Pt.1 recap>

• 머신러닝 모델을 학습시키기 위해서는 원천 데이터를 수집하는 것 만큼 데이터 전처리가 중요함.
  • 비지도 학습 - 정답이 딱 정해져있지 않는 업무
    지도 학습 - 정답이 중요함 (e.g. 카테고리 분류)
    
    
• 학습을 위해 데이터를 업데이트 한다 -> 훈련, 점검, 테스트 데이터

---

<학습 셋을 운영하기 위한 어드민 개발>

Q. 오분류에 대한 평가는 모델 테스트 과정에서 이루어지나요? 아니면 최종적으로 사람이 검토하나요?

A. 오분류는 두가지 타임라인에서 이뤄짐 (휴먼 리소스가 요구되는 단계들)

1. 학습과정에서;
   학습 데이터셋의 일부를 테스트셋 (aka 정답 셋)으로 사용.
   테스트 과정에서 오답률이 얼마나 나오는지 학습과정에서 모니터링.

2. 실제 배포 후 모니터링;
   모델의 학습을 관리하는 어드민 페이지가 존재.
   관리자가 카테고리를 수동으로 수정한 케이스는 오분류 케이스로 입력됨.
   오 분류 케이스는 추후 학습에 다시 사용.

자동 분류가 적용되지 않는 예외 케이스, 학습의 일관성 -> 여러 측면을 고려해야하는 엣지 케이스에 관해 많은 논의를 거치게 됨

모델이 안정기에 접어들면 모니터링, 운영 관리에 투입되는 휴먼리소스는 줄어들지만 아예 모니터링 과정이 사라지는 건 아님.

<머신 러닝의 한계>

• 신규 제이터 학습과 같은 측면에서 한계가 존재했음.

• 그래서 머신러닝 + 룰 매핑 기술을 도입함.

  • downside: 룰을 관리하는 데 리소스가 듬 (엣지케이스가 없어야함)

• 최종적으로는 여러가지 ML + 룰 매핑 구조를 적용함.

  • 모델간의 만장일치기가 이루어지면 룰매핑을 이길 수 있음 (이거 완전 마기잔슴;;)
    

<AI PM은 그럼 뭐가 다른데?>

1. 문제정의
   • AI 도입 시 ROI 설정 (e.g. 인건비 절감, 업무 효율화)
   • '꼭 AI여야만 하는가?' 에 대한 판단
2. 데이터 수집
   • 학습에 사용되는 정답 데이터의 기준을 정한다.
   • 법적/윤리적 문제 고려
3. 데이터 전처리
   • 데이터 전처리를 위한 정책과 가이드라인 수립
4. 모델 학습
   • mvp 기준에 부합하는지
   • 비용을 최적화 할 수 있는 방법을 모색
   • 모델을 배포하면 초반에 업무 로드가 더 늘어날 수 있다. 따라서 어느 정도의 학습이 필요한지, 어느정도의 퍼포먼스를 기점으로 실배포를 할 것인지에 대한 기준을 정해야함.
5. 예측/평가

• 모델의 판단 결과를 서비스 ux에 녹여내는 최종 설계

<AI PM에 관심이 있다면, Follow-up actions>

• 평가지표와 머신러닝 학습 방식을 더 알아보자.

과제 - 장바구니 담기 전환 데이터 분석 & 개선안 제안

Persona & Data Analysis

---

<과제 로드맵>

1. 페르소나 설정 ✅

2. 데이터 추출

• 페르소나에 해당하는 유저를 추출

3. 데이터 분석

• 페르소나 조건에 부합하고 전환율 상승과 관련된 데이터를 골라서 분석
  🔍 Advanced 페르소나별 (A~D) 행동패턴 차이를 데이터를 통해 분석해보기

4. 가설 및 해결방안

• 이커머스 서비스 레퍼런스로 참고하기 (아이디어 실현 방안 등)
  • 퀸잇, 오아시스 마켓, 젠테스토어
• 해결방안은 현실적으로
  • UIUX 개선: lo-fi 와이어프레임 제시
  • A/B Test : 테스트 계획 및 설계까지 포함

---

<데이터 분석 이론 - 카이제곱 검정>

'관측'과 '기대'

• 기대값: 이론적으로나 상식적으로 예상되는 결과
  • e.g. 동전을 던져서 앞면이 나올 확률은 50%.
    → 동전을 100번 던지면 앞면이 50번 나올 것이라고 기대.
  • 즉, 아무런 특별한 이유가 없다면 공평하게/일반적으로 나타나야 할 수치
    
    
• 관측값: 실제 발생한 현상에 대한 데이터 (=수집 된 데이터)
  • e.g. 실제로 동전을 던졌더니 앞면이 30번 나옴.
    
    

귀무가설과 대립가설

• 귀무가설(Null Hypothesis)은 통계학에서 "차이가 없다"거나 "효과가 없다"는 등 변화나 차이가 없다는 것을 전제로 한, 처음부터 버릴 것을 예상하고 세우는 기본 가설입니다. 연구자가 증명하고자 하는 대립가설과 반대되는 입장이며, 통계적 검증을 통해 이 가설을 기각(거부)하고 대립가설을 채택하는 것이 목표입니다.
  
  

p-value

(to me from me...)

• p-value는 이 통계가 우연인지 아닌지 판별하기 위한 우연 점수.
• 예를 들어 평범한 동전을 10번 던졌을 때, 10번 모두 앞면이 나오는 게 불가능하진 않아. 하지만 실제로 그럴 확률이 얼마나 될까?
• 이때, 동전이 연속 10번 앞면이 나올 확률을 p-value라고 하고 이게 얼만큼 우연인지 평가하는거야.
• 자 그럼 '우연'이 뭔지 기준이 필요하겠지? 어느정도를 우연으로 간주할지 정하는 게 유의수준이야.
• p-value가 유의수준보다 크면 해당 통계는 우연히 발생할 수 있는 결과지만, 반대로 p-value가 유의수준보다 작을 경우 이는 우연으로 보기 힘들어. 뭔가 외부적인 요인이 작용하고 있다고 판단하고 귀무가설을 기각하고 대립가설을 채택하는거야.

한줄요약: p-value가 유의수준보다 낮으면 우연이 아니다 => 즉, 유의미한 분석 결과.

카이제곱 검정

• '관측된 데이터'와 '기대되는 데이터'가 얼마나 다른지 확인하는 도구
  • e.g.
    기대(50) vs 관측 (52) → 이정도 오차는 우연히 생길 수 있어. 이 동전 던지기의 결과는 정상이야.
    기대(50) vs 관측(90) → 관측값이 비정상 적인데? 동전 던지기에 다른 영향이 개입했나?

카이제곱값과 p-value

• 카이제곱값은 관측값과 기대값이 얼마나 차이가 나는지를,
  p-value는 이 차이가 얼만큼 우연히 발생했는지를 보여줌.
  
  
• 분석 순서는: 데이터 → 카이제곱값 → p-value
  e.g.
  1. 데이터들끼리 얼마나 다른지 계산해 보니 카이제곱값이 10.5가 나왔네?
  2. 이 10.5라는 숫자를 통계 공식에 넣어서 계산해 보니 우연일 확률(p-value)이 0.001이네?
  3. 내 기준인 0.05보다 작으니까, 이건 우연이 아니야! (기각)
     
     
• 카이제곱값은 계산결과, p-value는 카이제곱값을 얼만큼 믿을지 판단하는 도구!
  
  

분석결과를　해석할　때　주의할 점

• 카이제곱 값은 연관성의 척도를 보여줄 뿐, 이를 통해 인과관계를 확인할 순 없다.
• 카이제곱값은 데이터의 개수가 많아질수록 커지는 성질이 있다. 두가지 분석의 카이제곱값을 비교할 땐 표본의 크기를 함께 고려하자.
• 통계적으로 유의미하다는 말과 비즈니스적으로 중요하다는 말은 같은 의미가 아님을 유의하자.
  • e.g. 서비스의 버튼 색상을 바꾼 결과 클릭률이 0.001% 상승했고, 통계결과 p<0.0001 가 나옴. p값만 보면 매우매우 유의미한 - 즉, 버튼 색상 변화때문에 클릭률이 오른 게 빼박인- 상황이지만, 클릭률 0.001%는 서비스 운영 측면에서 중요하지 않은 수치임.

Follow-up

• 크라메르의 V 알아보기 (나...중에..)
  • 실제로 변수 사이의 영향력이 얼마나 큰지(효과 크기)를 알고 싶다면, 카이제곱값뿐만 아니라 '크라메르의 V(Cramér's V)' 같은 별도의 수치를 확인해야 합니다. - 잼미니

오늘 하루를 회고하며...

아 FOMO통 와;;

---

지금 나의 백로그에 (ㅋ) 쌓여있는 AI 신기능이 한무더기다.
이거 언제 다 살펴보고 언제 다 시도해보고 공부하나~
hoarders mentality를 가진 내가 PM이 된다면 과연 백로그 관리를 잘 할 수 있을까? (탕요나지 못할 건 뭐람)
/
오늘은 집중을 꽤나? 못했다. 뭔가 스케쥴이 뒤죽박죽이 되면서 예상대로 시간을 쓰지 못한 이유가 컸던 듯. 그리고 갑자기 튀어나온 데이터 이론 개념들에 신나서 공부하다가 정작 과제 진도를 많이 못 뺌. 그치만 데이터 상식이 늘었죠?
/
과제는 순항 중이에요,, 아마도;;
오늘은 운동을 갈랬는데 좀 뛰어야겠는 기분~
날씨가 너무 좋았어서 낮부터 계속 뛰고 싶었기 때문이죠.
뛰고, 푹 자고, 내일 일찍 일어나서 초코 케이크 만들고 하루를 시작 할 예정.