2023-Spring lab seminar

Improving Faithfulness in Abstractive Summarization

prompt transfer

어려워

현재 OOD(out-of-distribution) 예제를 검출하는 것의 중요성에 대한 합의는 있지만, OOD 예제의 공식적인 정의와 가장 잘 검출하는 방법에 대해서는 합의가 없다. \-> background 변화와 semantic 변화에 따라 이러한 예제를 분류하고,

다국어 언어 모델에 대한 최근 연구는, cross-lingual zero-shot transfer 능력을 입증했지만, 언어 간 공유속성이 downstream task에서 전송을 가능하게 하는 것이 무엇인지에 대한 입증이 부족함언어들은 많은 언어적 측면에서 다르기 때문에

Abstract pretrained multilingual model은 transfer cross-lingual을 통해 zero-shot learning을 가능하게 하여 pretraining에 보이는 언어에 가장 적합한 성능을 발휘함 pretraining 시 보이지 않는 언어의 성능을 향상시키는 방법이 존재하지만, 세계 언어의 일부의 raw text를 ...

Instruct GPT 찍먹리뷰

아 어렵다

Abstract SOTA 문장 임베딩을 크게 발전시키는 간단한 contrastive learning framework인 SimCSE를 제시 먼저 입력 문장을 받고 standard dropout만 noise로 사용하여 contrastive objective로 스스로를 예측하는 unsupervised 접근법을 설명함 dropout이 최소한의 data aug...

What is Parsing? 각 문장의 문법적인 구성 또는 구문을 분석하는 과정 (구문분석 트리를 구성하는것 constituency parsing: 문장의 구조를 파악하는것이 주 목적 dependency parsing: 단어간 관계를 파악하는것이 주 목적 dependency parsing 각 단어간 의존 또는 수식 관계를 파악 -> 한국어와 같이 자유...

TEC

Vision Transformer

Transformer

RNN Encoder-Decoder을 제안

딥러닝에서 neural networks가 깊어질수록 성능은 더 좋지만 train이 어려움→ 잔차를 이용한 잔차학습 (residual learning framework)를 이용해서 깊은 신경망에서도 training이 쉽게 이뤄질 수 있다는 것을 보임이 논문은 empiri

대규모 이미지 인식에 있어 convolutional network depth가 정확도에 어떤 영향을 미치는지 조사→ 3 x 3 Conv filter를 여러 개 쌓아 기존 CNN 모델의 layer 개수를 deep하게 늘리고, 이것이 대규모 이미지 인식에서도 좋은 결과를

CNN(Convolutional Neural Network)정확도를 향상시키는 수많은 기능이 있고, batch normalization과 residual connection은 대부분의 model, task, dataset에 적용할 수 있음본 논문에서는 WRC, CSP,

“You Only Look Once: Unified, Real-Time Object Detection” REVIEW Abstract Object Detection 대한 새로운 접근 방식인 YOLO: 1-stage detector로 특징 분류와 classificati