# pytorch_lightning
KoBERTMultiClassification 개선 중
처음에 ELECTRA를 이용한 MultiClassification을 구현하려고 하였지만 학습이 안 되는 문제가 생겨 사람들이 예시로 많이 올려놓은 BERT기반으로 먼저 구현해보기로 하였다. 사람들이 예시로 올려놓은 코드들을 보면 forward 함수에서 위와 같은 형태로 layer를 쌓는 것을 볼 수 있어서 나 또한 그렇게 쌓았었다. 하지만 내 코드는 돌아가기만 했지, 전혀 학습이 되지 않았다. (loss가 1에서 진동하는 것을 볼 수 있었다.) 그래서 다른 코드에서 문제가 있었나 싶어서 봤는데 configure_optimizer의 optimizer 선언 부분에 parameters를 bert한정으로만 해서 학습하게끔 되어 있는 것을 발견하고 이 부분만 고치면 학습이 가능할 것이라고 예상했다. self.bert.parameters()를 self.parameters()로 바꿔 학습했지만 여전히 loss가 1에서 진동하는 모습을 보였다.(저게 가장 큰 문제라고 생
ELECTRA로 Binary Classification
올해 초에 TA 문서 요약 서비스 개발 중 BART모델을 알게 되었다. 또 깃헙에 KoBART를 알게 되었고 예시 코드를 보던 중 Pytorch Lightning을 처음 접하게 되었다. Pytorch Lightning의 깔끔한 구조와 자동으로 함수만 구현하고 trainer.fit()만 하면 학습되는 점에 매료되었던 것 같다. 처음에 ELECTRA로 다른 사람이 구현한 것을 바탕으로 모델을 구현하려고 했으나 에러가 났고, 왜 이런 에러가 나는지 알지 못해 LSTM 모델부터 구현해봤다. 시계열데이터가 처음이라 많이 헤멨고, 또 삼성 주식 예측하는 모델을 만들었는데 2000년대에 비해 너무 많이 올라서 LMSE loss값이 60000대씩 나오는 무지막지한 경험을 했다(실패ㅜ). 나중에 데이터 스케일링을 다시 해서 도전해볼 생각이다. Pytorch Lightning 사용법을 익혀서 다시 ELECTRA에 도전하게 되었다! ELECTRA with Pytorch Li