당근마켓의 머신러닝 모델로 동네생활 신고 업무 자동화하기 을 읽고 쓰는 글입니다.
제가 읽은 글은
- 당근마켓의 동네생활 탭에 올라온 게시글을 필터링 하는 업무에 머신러닝 기술을 도입한
이유,과정,결과에 대해 얘기해 주고 있습니다.
도입 이유
- 사용자의 경험을 긍정적으로 만들기 위해
- 운영자의 작업 시간을 단축시켜 운영자가 더 중요한 일에 집중할 수 있게 만들기 위해
개발 과정
- 운영자들이 직접 사용 가능하며, 준-실시간으로 예측을 진행하기 위해
작업을 진행하기 위해 모델 아키텍쳐를 심플하게 만들었다. - data labeling작업 없이 이전에 운영자가 수동으로 처리하던 데이터를 활용했다.
- 데이터 불균형이 있어 학습에 적절한 비율을 실험을 통해 찾아나섰다.
- 평가 기준을 무엇으로 설정할 것인가에 대한 고민을 했고, 회사가 추구하는 가치에 따라 False Positive를 줄이는 것을 목표로 삼았다.
- baseline으로 LSTM과 vanila transformer를 활용했고, 메인 모델 개발은 BERT방법론을 사용했다.
- threshold가 0.5를 넘으면 제재글로 판단했고, 세부항목 만큼의 multi-class classification을 구현해 점수가 가장 높은 곳으로 분류했다.
- threshold가 특정 수준을 넘으면 운영자가 확인하지 않도록 자동화 했다.
- 모델의 주기적인 재학습을 위해 파이프라인을 구축했다.
- 재학습 환경을 구축하는 과정에서 현재 버전이 잘 예측하는 것은 그대로 여전히 잘 예측하도록 하면서, 잘못 예측하는 걸 더 잘하게 만드는 방법이 무엇인지 고민하고 있다.
결과
- 모델적용이후 수동 처리량이 40% 감소했다.
- 글이 제재되는 시간이 57% 줄어들었다.
- 특정 항목에서 사용자 신고량이 차지하는 비율이 47%감소했다.
글을 읽고
- 현업에서의 기술 적용은 나의 생각보다 훨씬 체계적이고 논리적으로 진행된다는 걸 간접적으로 경험할 수 있었습니다.
- 현업에서 모델 재학습을 위해 파이프라인을 구축한다는 걸 이 글을 통해 처음 알게 되었습니다.
- 모델을 적용한 결과 보는 내내 알수 없는 뿌듯함이 느껴졌습니다. 자신이 만든 시스템으로 효율성이 개선되고, 다른 사람들이 편리해지는 걸 목격하는 게 개발자로서의 보람이 아닐까라는 생각이 들었습니다.
글을 읽다가 생각난 나의 경험
저도 스타트업 회사에서 퍼포먼스 마케터로 일할 때 이와 유사한 경험을 했던 적이 있습니다. 당시에 대표님은 제 마케팅 능력보다 개발 역량을 더 필요로 했고, 덕분에 인턴으로 근무하던 6개월 동안 영상 업로드 자동화 시스템과 DB데이터 입력 자동화 시스템을 개발했었습니다.
영상 업로드 자동화 시스템을 개발하면서 위 글에서 나온 BERT모델 사용을 고려했었습니다. 자동화 시스템에는 뉴스기사의 핵심 내용이 필요했고, 이를 BERT모델로 추출할 수 있지 않을까라는 생각이었습니다. baseline수준의 BERT모델을 가져와 데이터에 적용했지만 당시의 개발 역량으로는 해당 모델을 적절히 tuning하는 게 쉽지 않아 원하는 결과를 얻지는 못했습니다. 최종적으로 다른 방향으로 뉴스기사의 핵심 내용을 얻어와 시스템을 완성했습니다. BERT활용은 실패했지만 새로운 모델을 공부하고 적용하려던 시도는 좋은 경험이었습니다.
DB데이터 입력 자동화 시스템은 운영자의 작업 시간을 단축시켜 운영자가 더 중요한 일에 집중할 수 있게 만들기 위해라는 당근마켓이 기술을 도입한 이유와 정확히 동일했습니다. 회사 서비스의 핵심은 다양한 디자인 템플릿이었고, 저 역시 이를 담당하는 디자이너가 템플릿 제작에 집중할 수 있도록 불필요한 업무시간을 줄여주기 위해 DB데이터 입력 자동화 시스템을 개발했었습니다.
이후 인턴기간이 끝나고 사석에서 디자이너를 만났었는데 내가 만들어준 시스템이 사실상 회사에서 받은 가장 좋은 복지였다라는 얘기를 듣고, 내가 만든 시스템이 누군가에게 도움이 된다는 사실이 정말 너무나도 기뻤습니다.
