1. 개념 정리
노드 2
- loss가 높게 유지되는 현상
- 전처리 확인
- model.fit 조건 확인
2. 회고
이상하게 모델이 학습되는 동아 loss가 계속 0.4-0.5로 엄청 높게 유지돼서 다른 사람이 진행한 노드를 찾아서 전처리 과정도 비교하고 다 해봤었다.
원래는 이전 노드에서 사용했던 데이터를 다시 저장해썼지만, 데이터를 깃허브에서 직접 다운받아서 써봤다. 그런데 변화는 없었다.
그리고 전처리 과정에서 apply를 사용해서 문장 길이를 정제하거나, 결측치를 제거하거나 하는 등 데이터 상의 변화가 있을 때마다 새롭게 변수를 선언하는 과정에서 변수가 섞였나 싶어서 확인을 해보기도 했다. 그런데 다른 사람이 진행한 전처리 결과랑 내가 진행한 전처리 결과랑 비교했을 때 같았고 내 모델은 여전히 epochs를 10 진행해도 loss가 줄어들 기미가 보이지 않았다.
그래도 결국 해결하긴 했는데, model.fit을 하는 과정에서 변수에 할당했던 부분을 지워보니 갑자기 시작부터 accuracy가 80을 넘었다. 진짜 뭐지? 이유를 알 수 없다.. 일단 이대로 진행하는데 다시 돌려봤을 때 오류나면 어쩔까 싶다. Mecab을 이용한 모델 비슷했는데 잘 돌아가는 거 보면 어떻게 해결되긴 한 듯.
제출하고 나서 처음부터 다시 돌려봤는데, 처음엔 loss가 0.4-0.5로 또 똑같이 유지되나 싶어서 다시 돌려보다가 그냥 끝까지 놔뒀더니 10번째에 0.2-0.3 정도까지 줄어든 걸 확인했다. 한 번 운좋게 나온 건 아니고 완전 해결된 거 같아 다행이다.
이제 교육일의 반이 지났다. 딱히 포기할 생각은 들지 않고 부족한 부분을 어떻게 채워야할지에 관한 생각이 강해져서 다행이라고 생각한다. 이 상태가 끝날 때까지 유지되거나 부족한 부분을 어느 정도 채운 채로 마무리할 수 있으면 좋겠다.
