스터디모임_1

23/11/26 스터디 모임

• (cyclic shift, relative position bias개념

• swin transformer 뜯어보기

• transformer의 positional encoding https://skyjwoo.tistory.com/entry/positional-encoding이란-무엇인가

• input의 rgb 이미지를 넣을때는 dropout으로 쓰지 않고, 중간에 conv를 거쳐서 채널이 30개 100개 이럴 때 과적합을 방지하고자 일부 누락하는 방식으로 쓰는걸로 알고있습니다.

• 왜 Kernel Size는 홀수일까? https://velog.io/@garam/왜-CNN-kernel은-odd-size-일까

• https://datascience.stackexchange.com/questions/23183/why-convolutions-always-use-odd-numbers-as-filter-size

• 짝수 -> 중앙 픽셀 기준 좌우 대칭이 없어진다.

• Why use only 3x3 kernel? not 7x7 and 11x11. https://velog.io/@woojinn8/CNN-Networks-3.-GoogLeNet

• Max Pooling, Global Average Pooling의 효과와 비교.