Contrastive Learning
Positive pair와 negative pair의 유사도를 측정해서 positive pair라면 가깝게, negative pair라면 멀리 위치하도록 하는 Learning
EM Algorithm
expectation-maximization algorithm으로 probabilistic model에서 maximum likelihood나 maximum a posteriori를 갖도록 parameter를 추정하는 반복적인 알고리즘이다.
Bagging
Bootstrap Aggregating은 샘플을 여러 그룹으로 나누고 각 그룹에따라서 모델을 따로 학습시키고 Aggregation하는 방법이다. 각 모델이 예측한 값의 평균을 Bagging model이 최종결과로 예측한다. 대표적으로 Random Forest 방법이 속한다.
Boosting
Bagging이 각 모델을 병렬적으로 aggregating하는 반면 Boosting기법은 weak learner를 sequential하게 연결해 최종 모델을 구현한다.
Gradient Boosting
Boosting에서 알 수 있듯이 모형들이 sequential하게 연결되고 이전 모형의 예측값과 실제값의 차이인 Gradient(or residual)를 줄여주는 함수를 반복적으로 찾아 선형결합시켜 최종적인 모델의 오차를 줄여나간다.
In-context Learning
Fine-tuning이 downstream task를 수행하기위해 downstream task data를 통해 pre-trained model을 업데이트하는 반면에, 업데이트에 상당한 비용이 들어가는 Large-scale language model에 대해 In-context Learning은 task data의 일부만 사용하고 model parameter는 업데이트하지않는다. 사용하는 task data의 수에 따라 Zero-shot, One-shot, Few-shot Learning으로 분류된다. 예를 들어, one-shot learning은 downstream task data 중 한건에 대해서 해당 data가 task에 대해 어떻게 수행되는지 보고 이후의 downstream task 수행시 참고한다.
NLU
Natural Language Understanding
NLG
Natural Language Generation
Scaling law
where test loss is cross entropy in nats
https://arxiv.org/pdf/2001.08361.pdf
=> Transformer based Language Model의 performance는 the size of dataset, the amount of compute used for training, the number of model parameters에 크게 의존하고(architectural hyperparameters such as depth vs. width에는 약하게 의존) 해당 값들이 클수록 Loss는 계속 떨어진다
=> Large Language Model의 출현
Adversarial Attack
Poisoning Attack vs. Evasion Attack
White-Box Attack vs. Black-box Attack
Adversarial Defense
Adversarial training
Denoising perturbation
