AI PM이 다른 점
1. ML 엔지니어 / 데이터 사이언티스트와의 협업
2. AI 기획 프로세스 경험
3. AI를 통한 비즈니스 임팩트
AI가 하나의 도메인으로 부상함 -> AI PM을 채용하는 추세가 늘어남
아직 과도기이긴 함.. 실제 컬리에서도 ai pm부서가 1-2달 뒤 사라짐..ㅜ프로젝트 예시) 카카오와 다음의 콘텐츠들은 어떻게 분류되고 있을까? (ifkakao 개발자 컨퍼런스 2019)
과거 - 수집 관리 시스템 + human power!
개선 후 - 자동 수집 시스템 -> 너무 많은 정보량 -> 자동 분류가 필요해짐
문제 정의 : 콘텐트 자동 분류가 필요해짐
해결 : 머신러닝을 이용한 자동 분류 시스템 사용
- 기간별 콘텐츠 경향이 쉽게 파악됨
- 유저 취향에 맞는 콘텐츠가 제공됨
머신러닝과 딥러닝
• 머신러닝 → 사람이 특징을 설계 + 모델이 학습
• 딥러닝 → 모델이 특징까지 포함해서 전부 학습
데이터 수집
자체 데이터 수집/제작 : 크롤링,플랫폼을 통한 직접 수집 및 제작
데이터 구매 : 데이터 제공업체를 통한 구매, 특정 산업군의 기업에서 구매
협력 및 파트너십 : 연구 협력, 산업 파트너쉽 등을 통한 데이터 확보
- 원천 데이터 수집
- 파이프라인 설계 및 자동화
- 수집 주기,형식,저장 방식 결정
- 데이터 품질 검증
데이터 전처리
- 노이즈 제거/이상값 처리 - 오류 데이터 극단값 (Outlier)등 모델 학습에 방해가되는 데이터를 제거하거나 보정
- 결측치 처리 - 비어있는 값을 평균·중앙값으로채우거나,해당 샘플을 제거하는 방식으로 처리
- 형태소 분석 + 불용어 제거
- 라벨링 기준 합의 - 라벨링을 하는 사람마다 기준이 다르면 학습 데이터에 노이즈가 생김. 기준이 모호하면 모델 성능이 직접 훼손 됨
- 라벨(Label) 부여 - 각 데이터에 정답 카테고리를 붙히는 작업. 지도학습의 핵심 자료
모델 학습
모델이란? 데이터를 학습하여 만들어진 '판단 능력을 갖춘 알고리즘'
Input(입력데이터) ->
Model(학습된 판단능력, 수학적 함수의 집합) -> Output(예측,결과)모델은 고정된 소프트웨어가 아니라, 계속 성장하는 유기체이다.
-
입력(Input) - 어떤 데이터를 넣어줄 것인가?
무엇을 학습시킬지를 먼저 설계함 -
추론(Inference) - 모델이 결과를 내는 과정
실시간으로 입력을 받아 결과를 내보내는 단계.
Latency(응답속도)와 정확도의 균형이 중요함 -
최적화(Optimization) - 피드백을 통해 모델을 개선
실제 사용 데이터와 피드백으로 모델을 재학습
KPI와 연결된 개선 사이클을 설계
학습을 위한 데이터셋 분할
훈련(약 70%) + 검증 (약 15%) + 테스트 (약 15%)
예측/평가
평가지표 : Accuracy(정확도), Precision(정밀도), Recall(재현율)
F1-Score(정밀도와 재현율의 조화 평균)
학습 셋 구축과정
사례 참고 -> 현황 파악 뼈대 만들기 -> 카테고리 구체화 -> 학습 셋 구축
-> ML Model 타당성 겁증 -> 카테고리 통합, 제외
스마트한 학습 셋 관리 방법
- 학습 셋 어드민 구축
- 히스토리 관리
- 색을 통한 학습셋 운영 효율화
