한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 후기입니다.
머신러닝 혹은 분산 시스템 각각에 대해 다루는 책은 많다. 하지만 두 분야를 함께 다루며 그 간극을 좁히기 위한 내용이 담긴 책은 아직까지 많이 나오지 않았다. 이 책에서는 분산 환경에서 대규모 머신러닝 시스템을 구현하기 위한 다양한 패턴과 널리 알려진 방법을 소개한다.
-저자의 말-
모델을 고도화하는 것만큼이나 분산 머신러닝 파이프라인을 구축하는 것은 단순한 일이 아니다. 그냥 대규모 시스템을 설계하는 것만으로도 서비스 성격에 따라 구조적인 차이가 커서 고려해야할 부분이 많은데, 머신러닝은 데이터 수집과 관리, 그리고 모델 학습 성격까지 고려해야 하므로 더 까다롭다.
따라서 이번 기회에 이 책을 기반으로 간단한 파이프라인을 구축해보는 미니 프로젝트를 진행할 예정이다. 이 책 외에도 「가상 면접 사례로 배우는 대규모 시스템 설계 기초」(1) (2)를 참고할 예정이다. 외에도 프로젝트를 진행하면서 구체화되거나 방향성이 변경되는 부분이 발생하면 본 포스트에 업데이트 할 예정이다.
우선, 시리즈 형식으로 각 파트를 정리하고 실습하면서 워밍업을 진행하고, 배운 내용을 적용하는 형식으로 프로젝트를 천천히 빌드업 할 예정이다.
개략적인 계획은 다음과 같다. 핵심 목표는 머신러닝을 활용하여 가치가 높은 기업에 한해, 다양한 플랫폼에 분산된 채용 정보를 한 곳에 모아 참고할 수 있는 형태로 만드는 것이다.
