감성분석 Layer 비교

내가 현재 하고있는 것.
training 데이터는 대략 2500개정도,
validation 데이터는 대략 200개.
8차원 단어 임베딩을 사용하였고,
32유닛 Dense 층 1개, sigmoid 1개.
손실함수: binary_crossentropy
옵티마이저: RMSProp
배치 사이즈는 32개, 에포크는 10번.

https://cyc1am3n.github.io/2018/11/10/classifying_korean_movie_review.html
training 데이터는 15만개,
validation 데이터는 5만개.
이 분은 CounterVectorization을 사용하셨고,
층은 64유닛 Dense 2개, sigmoid 1개를 사용하셨다.
손실 함수와 옵티마이저는 동일,
배치 사이즈는 512개, 에포크는 10번 쓰셨다.

https://wikidocs.net/44249
training 데이터는 약 12만개.
validation 데이터는 약 3만개.
이 분 역시 단어 임베딩을 사용하셨고,
층은 100차원 임베딩 벡터, 128차원? LSTM,
그리고 sigmoid 1개를 사용하셨다.
손실함수와 옵티마이저는 동일하고,
배치사이즈는 60, 에포크는 4번 하셨다.

딥러닝의 결과를 좌우하는 세가지는
1. 데이터의 질
2. 제대로 된 토큰화
3. 적절한 학습과정 (층)

지금 나는 제대로 된 데이터 질과
토큰화를 진행한 상태에서 학습과정을 분석하는걸까?

임베딩의 차원수를 높였더니 안정적인 accuracy를 기록하였다.

Dense층의 유닛이 늘어난다는 것은 복잡한 표현을 학습할 수 있지만, 계산 비용이 커지고 원하지 않는 패턴을 학습할 수도 있다.

배치 사이즈는, 훈련할 랜덤 데이터의 개수이다.

하...............모르게따