Paper review

본 논문은 2월 5일 기준 13251회 인용될 만큼 유명한 논문이다. 저자는 Yoon Kim으로 현재 MIT의 조교수로 재직하고 있다.본 논문에서는 사전 학습된 word vector에 CNN을 사용한 sentence classification모델을 제안하고 있다. 특히

본 논문은 AlexNet과 같은 우수한 성능을 보인 large convolutional network가 왜 학습 수행이 잘되는지, 그리고 좋은 성능을 만드는지에 대해 다룹니다.CNN아키텍쳐를 구성하는 각각의 layer부터 최종 classifier까지 입력된 이미지로부터

이번에 리뷰할 논문은 바로 ELMo의 시작, "Deep contextualized word representations"입니다. Abstract 본 논문에서는 새로운 타입의 deep contextualized word representation을 소개하고 있습니다.

현재 다양한 신경망 인코더 디코더 모델이 생성 요약 분야에서 좋은 모습을 보이고 있다. 하지만 신경망 모델의 생성 요약 능력은 양날의 검과 같다. 생성 요약의 흔한 문제 중 하나는 원문의 factual information을 왜곡하거나 생성하는 것이다. 이러한 원문과

긴 텍스트를 다루는 NLP의 다양한 응용으로, 더 긴 input sequences를 다룰 수 있는 모델의 정확도를 측정하는 벤치마크들이 부상하고 있다. 하지만, 이러한 벤치마크 들언 input size 또는 model size가 달라짐에 따라 정확도, 속도 그리고 전력

본 논문은 2020 ACL에 실린 논문입니다. Summarization task에서 factual inconsistency를 해결하기 위해 QA방식을 이용해 metric을 제안하고 있습니다. factual inconsistency에 관해 궁금하다면 전의 포스트 중 하나

본 논문은 2020 ACL에 실린 논문입니다. Summarization task에서 factual inconsistency를 해결하기 위해 QA방식을 이용해 metric을 제안하고 있습니다. factual inconsistency에 관해 궁금하다면 전의 포스트 중 하나

본 논문에서는 최첨단 문장 임베딩을 크게 향상시키는 간단한 contrastive learning framework를 제안한다. 우리는 먼저 input sentence를 취하고, dropout을 noise로 사용해 constrastive objective에서 스스로를

본 논문은 2022년 5월에 ACL에 실린 논문으로, textcnn의 저자인 Yoon Kim님이 2저자인 논문입니다.간단하게 정리만 한 글입니다.pretrained transofrmers based langauge generation models의 fine-tuning

원문 기반 텍스트 생성은 factual inconsistency라는 치명적 단점 존재factual inconsistency는 생성문이 원문과 맞지 않는 사실 또는 존재하지 않는 사실을 내포하는 것을 의미그래서 최근에 다양한 factual consistency evalu

생성 요약에서 발생하는 incosistency를 줄이기 위해 많은 연구자들이 다양한 모델을 내놓고 있는데, consistency와 abstractiveness사이에 trade-off관계를 이용한 consisteny 성능 향상은 아니었을까?에 대한 의문을 조금이나마 해소

SMART는 토큰 대신 문장을 matching시 기본 단위로 사용또한 문장과 문장이 완전히 일치하는 방법이 아니라 matching function을 사용해 soft-matching되는 문장을 사용Candidate 문장은 reference문장 뿐만 아니라 원문 문장과도

이 논문은 2022년 9월 26일에 올라온, 2022 NeurIPS에 accept된 논문입니다!논문 리뷰에 너무 많은 시간이 걸리는거 같아서, 이번엔 motivation, proposed methods, experiment conclusion형식으로 리뷰해보려고 합니다

본 논문은 2019 NeurIPS에 실린 논문으로, 강화학습을 사용해 좀 더 flexible하고 amenable한 sequence를 생성하는 모델을 제안token을 step-by-step으로 생성하는 것이 아니라, insertion 혹은 deletion을 사용해 현재