profile
코딩하는 개발자

[Paper] R-CNN(2013)

R-CNN (2013) 논문 요약입니다.

2022년 3월 9일
·
0개의 댓글
·

[PyTorch] Transformer 구현

작년부터 Transformer가 성능이 그렇게 좋다더라... 이제 RNN이고 LSTM이고 다 필요없고 이미 NLP는 저걸로 천하통일이라더라... 하는 소식을 듣고 있었다. 중간에 강화학습 공부 좀 찍먹해보다가 다시 캐글에서 PetFinder 이미지 비전 태스크 공부로

2022년 1월 14일
·
0개의 댓글
·

Transformer를 구현하며 배운 것들

named_parameters() 함수는 (param_name, param_weight) 형태의 튜플을 반환한다.Xavier Uniform Initilization을 이용하고자 한다면 다음과 같이 조건식을 추가하여 초기화하면 된다. (bias와 nn.layerNorm(

2022년 1월 14일
·
0개의 댓글
·