딥러닝 모델 리뷰

0. 목차 모델 개요 모델 구조 모델의 장점과 단점 코드 리뷰 1. 모델 개요 transformer의 시초가 된 논문이다. 특히 자연어처리에 자주 쓰인다. 기존 LSTM등 시계열 모델에서 자연어처리를 하려면 인코더-디코더의 복잡한 모델구조와 함께 단어 하나씩 순차적으

0. 목차 모델 개요 모델 구조 모델의 장점과 단점 코드 리뷰 1. 모델 개요 마이크로 소프트에서 개발 앞선 신경망들은 레이어를 많이 쌓아 신경망의 depth를 깊게 가져갔으나 오히려 그래디언트 소실 문제 때문에 성능이 어느순간 나빠지는 것을 발견함 이 문제를 해결

모델 개요모델 구조모델의 장점과 단점코드 리뷰cnn의 깊이가 깊어지면 어떤일이 발생하는지를 중점으로 모델을 쌓았다. 3x3의 아주 작은 conv layer을 사용하였고 이 conv layer가 16층, 19층을 쌓으면 좋은 성능을 낼 수 있다고 생각하였고 이를 구현한