논문

1.ViT: An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

post-thumbnail

Reference: DSBA https://www.youtube.com/watch?v=0kgDve_vC1o&t=536s VIT 학습입니다. Inductive Bias training에서 보지 못한 데이터에 대해서도 적절한 귀납적 추론(개별 -> 보편)이 가능하도록

2024년 5월 10일

2.Attention Is All You Need

post-thumbnail

Transformer정리중관련논문 - all you need is attention구현코드 - 해당코드는 시계열 데이터(sunspot)을 이용하여 연습하였습니다.Dot-Product(내적)MultiHeadEstimator$y = \\sum\_{i=1}^m \\alpha

2024년 5월 22일