CV
1.Metric learning
[metric learning / self-supervised learning] metric learning task metric learning이란, objects들간의 distance function을 배우는 학습 방법론이다. 이때, distance의 정의는 이미
2.Attention & Transformer
1. Attention Attention function은 Attention(Q, K, V) = Attention value 이렇게 구성되어져 있다. 이때 attention value는 values들의 weighted average라고 생각을 하면 된다. Step 0
3.[논문 리뷰] QVHIGHLIGHTS: Detecting Moments and Highlights in Videos via Natural Language Queries (Moment-DETR)
QVHIGHLIGHTS 논문 Model-structure Code Introduction Video moment localization란, 영상 내에서 highlight 혹은 쿼리와 관련된 짧은 순간을 특정하는 task에 해당된다. 해당 논문은 유사 task인 mo
4.[논문 리뷰] Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
ViT가 등장한 이후, vision 분야에서의 transformer 연구가 활발히 이루어지고 있다. Data efficiency를 고려한 DeiT도 존재하고, 또 다른 후속 논문으로는 Swin Transformer가 존재한다. Swin transformer는 shift
5.[논문 리뷰] A Simple Framework for Contrastive Learning of Visual Representations
https://www.notion.so/bf34e52a900f4ed79e8ec156389ba3a1?pvs=4
6.[논문 리뷰] Learning to Compare: Relation Network for Few-Shot Learning
1. introduction 거대 데이터로 학습된 모델은 이전에는 존재하지 않았던 새로운 카테고리를 분류하고자 할 때, 대용량의 데이터로 학습해야 하는 경우가 존재한다. 적은 데이터로는 fine-tuning을 진행시키기 힘들고, 증강 기법은 overfitting의 위
7.[논문 리뷰] A closer look at few-shot classification
퓨삿 러닝은 제한된 라벨 데이터하에 관찰된 적없는 클래스를 예측하려고 학습을 진행하는 것을 목표로 한다. 이 과정에서 무한히 많은 알고리즘들이 등장하였는데, 저자는 이러한 알고리즘들의 비교를 하여 인사이트를 뽑아냈다. 1) 우선, 깊은 backbone network를