부스트캠프 8주차 정리

BART: Facebook AI의 트랜스포머 기반 모델로, 인코더-디코더 구조를 사용하여 문장 생성과 이해에 강점을 두며, 특히 denoising autoencoder 방식으로 손상된 문장을 복원하는 데 탁월하다.

T5: Google의 모델로 모든 NLP 문제를 텍스트 변환 문제로 통일한 접근을 사용한다. 입력과 출력을 모두 텍스트로 처리하여 범용성이 뛰어나다.

Negative Sampling: 대규모 분류 문제에서 모든 데이터 대신 부정 예시를 샘플링해 학습 효율성을 높이는 방법으로, 주로 워드 임베딩 학습에서 사용된다.

Triplet Loss: 'Anchor', 'Positive', 'Negative' 데이터를 이용해 유사한 것은 가깝게, 다른 것은 멀게 학습하는 임베딩 손실 함수이다.

Sparse Retriever: BM25와 같은 방식으로 단어의 정확한 일치를 기반으로 문서를 검색한다. 빠르고 해석이 용이하지만 문맥적 의미는 반영하지 못한다.

Dense Retriever: 사전학습된 언어모델을 통해 의미적 유사성을 고려한 검색 방식을 사용한다. 더 복잡한 의미를 처리할 수 있지만 학습이 필요하다.

Hybrid Retrieval: Sparse와 Dense 방식을 결합하여 단순 검색과 의미적 검색의 장점을 동시에 활용해 검색 성능을 극대화한다.