kaggle의 영화 제목, 줄거리, 장르 데이터셋을 이용하여 이용자가 입력한 데이터를 기반으로 영화를 추천해주는 시스템을 개발해보았다.
여러 tokenizer 기법들 중에 subword tokenizer에 대해 알아보았다.
형태소 분석을 사용하여 토큰화를 해보았다.