profile
한솔
post-thumbnail

Contextual Representation Learning beyond Masked Language Modeling

In-batch negative를 MLM에 적용시킨 논문

3일 전
·
0개의 댓글
post-thumbnail

TABLEFORMER: Robust Transformer Modeling for Table-Text Encoding

TAPAS 다음으로 나온 논문 (ACL 2022)으로 테이블 구조를 이해하는 언어모델이다.

2022년 5월 10일
·
0개의 댓글
post-thumbnail

MPNet: Masked and Permuted Pre-training for Language Understanding

MPNet은 BERT와 XLNet의 장점을 취하고 한계를 보완하는 방식의 pretraining 기법을 제안한다.

2022년 4월 25일
·
0개의 댓글
post-thumbnail

NORMFORMER

Under review at ICLR 2022, Facebook AI Research

2022년 3월 15일
·
0개의 댓글
post-thumbnail

The Power of Scale for Parameter-Efficient Prompt Tuning

프롬프트 튜닝이 꽤 괜찮게 사용될 만한 테크닉이라고 주장한다. SuperGLUE 벤치마크셋에 대해서도 기존 파인튜닝 방법만큼 성능이 나오고(모델이 커질수록 차이가 줄어듦), 제로샷 같은 경우에도 잘하기 때문이다. 기존 학습된 언어모델의 파라미터를 고정하고, 훨씬 적은

2022년 2월 15일
·
0개의 댓글

HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization

Abstract 요약 테스크에 대한 논문 의미 그래프를 담기 위해서 GNN을 주로 사용했음 긴 텍스트에서 사용하기 위한 좀 더 효율적인 모델 적은 메모리와 파라미터로 Rouge, F1 좋은 점수를 냈다. HETFORMER on Summarization 토큰, 문장,

2022년 1월 19일
·
0개의 댓글
post-thumbnail

COCO-LM : Correcting and Contrasting Text Sequences for Language Model Pretraining

ELECTRA ICLR 2020 (google research) Efficiently Learning an Encoder that Classifies Token Replacements Accurately. MLM (Masked Language Model, bidire

2022년 1월 19일
·
0개의 댓글