Contrastive Loss
torch.nn.functional
pairwise_distance(feature_A,feature_B, p=2)
feature A와 feature B의 p-norm
Parameters
p (real) – the norm degree. Default: 2eps (float, optional) – Small value to avoid division by zero. Default: 1e-6
keepdim (bool, optional) – Determines whether or not to keep the vector dimension. Default: False
같으면 Y=1 이므로 D^2만 남는다 -> d가 작아지면 loss 작아짐
다르면 Y=0 이므로 {max(margin-d,0)} ^2 이 되어 margin이 d가 될수록 loss 작아짐
따라서
- 같은쌍은 거리가 0이 되도록
- 다른쌍은 거리가 margin(d)
이 되도록 학습한다.
사진 출처 -https://deeplearningdemystified.com/article/fdl-3
사진 출처 -https://kmhana.tistory.com/17
supervised learning
이미지와 라벨정보를 주어서 학습
-> 많은 이미지에 라벨정보를 주는게 힘들다
self-supervised learning
이미지 자체에서 쉽게 얻을 수 있는 정보를 이용해 representation 학습
ex) 이미지를 회전시키며 얼마나 회전시켰는지를 이용
jooooon