Paper Review
1.📄 Factorization Machine 논문 리뷰
0. Abstract 본 논문에서는 SVM(Support Vector Machines)과 Factorization model들의 장점을 합친 Factorization Machine(FM)에 대해서 소개한다. SVM처럼 FM은 어느 실수 값 feature vecto
2.📄 AutoRec: Autoencoders Meet Collaborative Filtering 논문 리뷰
0. Abstract 본 논문은 Collaborative filtering(CF)을 위한 AutoRec 을 소개한다. AutoRec은 compact하며 효율적으로 기존의 state-of-the-art CF기술들(biased matrix factorization, RB
3.📄 Neural Collaborative Filtering 논문 리뷰
0. Abstract Collaborative Filltering(사용자와 상품 feature 사이의 상호작용)의 key factor를 모델링 할 때, Matrix Factorization을 사용하며 사용자와 상품의 잠재 feature의 내적을 적용한다. 본 논
4.📄 Attention is All you need 논문 리뷰
주요 sequence transduction 모델은 인코더와 디코더를 포함하고 있는 복잡한 RNN 또는 CNN을 기반으로 한다. 본 논문에서는 오직 attention mechanism에만 기반한 transfomer를 제안한다. 이는 병력적으로 시퀀스 데이터를 처리하기
5.📄 BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 논문 리뷰
BERT 이후에 나온 연구에서는 MASK token의 분포를 바꾸어 훈련하는 방법을 다루었는데 이런 방법론은 span prediction, generation 등에서 잘동작하기 위한 방법으로 모든 태스크에 적용할 수는 없다. encoder만 존재하는 BERT는 일반적인
6.Conformer: Convolution-augmented Transformer for Speech Recognition
최근 Transformer 및 CNN 기반 모델이 ASR(Automatic Speech Recognition)에서 RNN을 능가하는 유망한 결과를 보여줬다. Transformer : 콘텐츠 기반의 global interactions을 잘 포착CNN : 지역적인 특징