# Knowledge distillation
[CV] Training Technique
Data AugmentationLeveraging pre-trained informationLeveraging unlabed dataset for trainingTraining set과 Real data distribution간에는 gap이 존재한다. Train set
[모델 경량화 기법] Knowledge Distillation
Knowledge Distillation 추가 조사 1. Knowledge Distillation 개요 다수의 큰 네트워크들인 전문가(Experts, Teacher) 모델에서 출력은 일반적으로 특정 레이블에 대한 하나의 확률값 만을 나타내지만, 이를 확률값들의 분
Overcoming Catastrophic Forgetting beyond Continual Learning: Balanced Training for NMT
Overcoming Catastrophic Forgetting beyond Continual Learning: Balanced Training for NMT, ACL 2022
Sound Classification 정리 7. CMKD: CNN/Transformer-Based Cross-Model Knowledge Distillation for Audio Classification
개인적으로 Audio & Speech 분야의 Sound Classification 에서 중요하다고 생각하는 논문을 정리했습니다.
PAPER REVEIW : Structural and Statistical Texture Knowledge Distillation for Semantic Segmentation
Introduction 본 논문은 Semantic Segmentation 분야의 Knowledge Distillation의 새로운 방법론을 소개한 논문이다. Semantic Segmentation 분야에서의 제안되었던 KD 방법론들은 대부분 high level에 있
Knowledge Distillation
Knowledge Distillation = 지식(Knowledge) + 증류(Distillation) 지식 : 어떤 대상에 대하여 배우거나 실천을 통하여 알게 된 명확한 인식이나 이해 증류 : 액체를 가열하여 생긴 기체를 냉각하여 다시 액체로 만드는 일. 여러 성분
PAPER REVIEW : Student Customized Knowledge Distillation : Bridging the Gap Between Student and Teacher
본 논문은 Knowledge Distillation 분야 중 Feature Distillation 분야와 관련된 논문이다. 논문의 저자는 "좋은 교사 모델이 학생에게 좋은 정보만 주는가"에 대해 초점을 맞춰 연구 방향성을 잡았다. 이전의 연구들에서는 좋은 교사들이 좋은
Boosting Contrastive Learning with Relation Knowledge Distillation (AAAI/ 2022)
cluster-based와 contrast-based를 link하는 relation knowledge-distillation 기법 제안
Paper Review : Intra-class Feature Variation Distillation for Semantic Segmentation
이 논문은 이전의 pairwise relation에서 knowledge distillation을 하던 것들과 달리 새로운 방법론을 제시한다. intra-class feature variation distillation (IFVD)인데 intra-class feature
[간단정리]Comparing Kullback-Leibler Divergence and Mean Squared Error Loss in Knowledge Distillation(IJCAI 2021)
Some notes on relation between KL-Divergence and MSE for Knowledge Distillation
Knowledge Distillation
모델이 발전할수록 모델이 요구하는 메모리와 용량이 커진다. 실시간으로 응답해야 하거나 개인정보처럼 민감한 정보를 처리하는 경우라면 반드시 온디바이스에서 처리해야 한다. 문제는 온디바이스의 메모리와 용량은 서버만큼 넉넉하지 않다.
Paper Review : Structured Knowledge Distillation for Semantic Segmentation
이 논문은 semantic segmentation 분야에 있어서 지식증류 기법(Knowledge Distillation)을 이용하였다.Knowledge Distillation을 Semantic Segmentation 분야에 이용하였다.GAN 구조를 이용하였다.이 논문에
.png)
Improving BERT Fine-Tuning via Self Ensemble and Self-Distillation[., 2020]
오늘 소개드릴 논문은 다음과 같습니다. Improving BERT Fine-Tuning via Self Ensemble and Self-Distillation https://arxiv.org/abs/2002.10345기존 연구에 따르면 BERT계열의 pre-t
.png)
Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results[.,2017]
본 연구에서는 기존에 알려져 있는 Temporal ensembling 방법에서 한 단계 나아가 Mean teacher방법을 제안합니다. Mean teacher는 model의 weight를 평균 내는 방법인데, 적은 수의 label만 가지고 이전 방법에 비해 좋은 성능을
.png)
Distilling the Knowledge in a Neural Network[.,2015]
Model compression방법으로 knowledge distillation를 설명하도록 하겠습니다. Knowledge distillation은 teacher network와 student network의 ensemble을 기반으로 한 방법이라 설명할 수 있습니다