🎢 성능이 과하게 높은 현상
- train data는 모두 extract word로 이루어져 있음(명사, 동사, 형용사 등)
아무리 많은 문장들이 학습되어도 extract word에 대해서만 학습하기 때문에,
결국엔 비슷한 단어들끼리 학습을 하는 것이 됨!
ex 1) 사람들, 사람 -> "사람"
ex 2) 좋다, 좋아, 좋아하다, 좋고 -> "좋"
val, test 모두 동일하게 extract word에 대해서만 진행하니 거의 다 비슷한 단어이고 성능이 좋을 수 밖에 없다!
cf) Whole word에 대해서 학습을 진행하면 성능이 확 떨어진다!
==> LSTM의 한계!
- LSTM은 문맥을 이해할 수는 없다.
- 단순히 extract word를 보고만 판단!