(특강) 이활석 - 서비스 향 AI 모델 개발하기

강의 소개
회사에서 AI 모델을 개발하는 것이 수업에서 듣는 내용과 무엇이 다른지 살펴봅니다.

가장 큰 차이점은 데이터셋과 평가 방법이 준비되어 있지 않다는 것인데요. 학습 데이터셋을 준비할 때 실제 회사에서는 어떤 일을 겪게 되는지, 그리고 해당 데이터셋을 학습된 모델의 성능을 평가할 때는 어떠한 점을 고려해야 하는지 사례 중심으로 살펴봅니다.

더불어 개발 프로세스의 효율성을 위한 조직 구성도 제안하면서, AI 상품화 과정 속에 필요한 전체 업무 리스트를 정리해 봅니다.

마지막으로, AI 입문자에게 도움이 될 만한 조언들로 강의를 마무리합니다.

서비스 향 AI 모델 개발 VS 수업/학교/연구 AI 모델 개발

• 서비스에서 사용되는 AI 모델 개발 일은 현재 수업에서 배우고 있는 AI 모델 개발과 무엇이 다른가?

연구/수업/학교 관점의 AI 개발 : 주어진 데이터셋(학습,테스트)/평가 방식에서 더 좋은 모델을 찾는 방식으로 AI 모델 개발

서비스 관점의 AI 개발

• 주어진 서비스 요구사항에 적합한(데이터셋/평가방식X) AI 모델 개발

• 서비스 요구사항을 통해 학습 데이터셋 구체화(종류, 수량, 정답)

  • 질의응답을 통해 불분명한 서비스 요구사항을 구체화하여 필요한 데이터셋을 수집
  • 정확한 데이터 종류, 서비스 활용 방안
  • 학습데이터에서 '정답'은 AI 모델 별로 입력에 대한 출력 쌍
  • 정답은 모델의 출력값이므로 AI 모델 설계 정보를 고려(학습 데이터셋 $\Longleftrightarrow$ 모델링)
  • 학습 데이터셋와 모델링이 맞물려 반복 시행을 통해 목표로 수렴

• 테스트 데이터셋은 학습 데이터셋에서 일부를 사용 + 서비스 요구사항으로부터 테스트 방법 도출

  • 테스트 방법 정리
    - offline test(서비스 적용 전 성능평가) || online test(서비스 적용 시 성능 평가)
    - 정량평가, 정성평가

    	Offline	Online
    정량 평가	완벽하지 않기에 AI 모델 후보 선택 목적	해당 AI 모델을 서비스 시나리오에서 자동 정량 평가
    정성 평가	각 후보 AI 모델에 대한 면밀 분석 후 서비스 출시 버전 선택	VOC를 통해 AI 모델 개선 포인트 파악

학습 데이터셋 준비 담당자 기준에서 실제 업무

• 서비스 기획자와: 기능 요구사항 구체화, 학습데이터 수량/종류 논의
• AI모델 개발자와: AI 모델 설계 논의, 학습데이터 정답/수량/종류 논의
• 외주 업체와(제작): 학습 데이터셋의 정답을 정해줄 작업툴 개발
  • 작업 가이드 작성, 작업 단가 논의, 작업 수량 논의, QnA 대응

서비스 요구사항에서 모델 요구 사항도출

• 처리 시간 : 하나의 입력이 처리되어 출력이 나올 때까지의 시간
• 목표 정확도 : 해당 기술의 정량적인 정확도
• 목표 QPS(queries Per Second, 초당 처리 가능한 요청 수)
  • 향상 방법 : 장비 확보, 처리 시간 단축, 모델크기 축소
• Serving 방식 : hardware, Local CPU/GPU Server vs Cloud Cpu/Gpu server
• 장비 사양 : 해당 서비스를 동작하기 위한 장비 사양(QPS, 예산등 고려하여 도출)