# Encoder / Decoder

wkshin89

- Paper: https://proceedings.mlr.press/v119/zhang20ae/zhang20ae.pdf arXiv: https://arxiv.org/pdf/1912.08777.pdf arXiv 에 Appendix 내용이 많이 있음 Code: https://github.com/google-research/pegasus Google Blog: https://ai.googleblog.com/2020/06/pegasus-state-of-art-model-for.html 1. Introduction Google Research, ICML 2020 기존에 거대 모델들이 (MASS, UniLM, T5, [BART](https://velog.io/@wkshin89/Paper-Review-BART-Denoising-Sequence-to-Sequence-Pre-training-for-Natural-Language-Generation

lhs109802

Rethinking Atrous Convolution for Semantic Image Segmentation https://doi.org/10.48550/arXiv.1706.05587 Introduction 두가지 난관 Semantic segmentation을 수행하는 Deep Convolutional Neural Networks(DCNNs)에 있어 다음과 같은 두가지 어려움이 존재한다. 1. 연속적인 pooling 작업 혹은 convolution strides 조절에 의한 정보 손실 두 작업은 굉장히 추상인 특성을 DCNNs에게 학습시키는데 사용할 수 있지만 세부적인 정보를 필요로 하는 dense prediction에 방해가 될 수 있다. 본 연구에서는 이 문제점을 해결하기 위해 atrous convolution을 사용했다. 확대된 convolution이라고도 불리는 atrous convolution 은 기존 ImageNet으로 훈련된 모델의 마지막

eojin16

github url: https://github.com/EojinK/KU_DeepLearningAssignment3 In this assignment, I trained “UNet” model with “Pascal VOC 2012” datasets, and conducted image segmentation. • Optimize parameters with Adam optimizer and cross Entropy Loss 1. Description of my code A. Unet_skeleton.py: In class Unet's ‘def init’, I stacked convDown layers from channel size 64 to 1024 according to the Unet picture in the project slide. After maxpool and upsample I stacked convUp layers from 1024 t

qtly_u

원문 : Vaswani, Ashish, et al. “Attention is all you need.” Advances in neural information processing systems. 2017. 본 글은 Google Brain에서 2017 NIPS에 발표한 Attention is All You Need 논문에 대한 리뷰입니다. RNN 모델의 장기 의존성 문제(long-term dependency)를 극복하기 위해 제안된 Transformer는 BERT나 GPT의 기반이 되는 모델입니다. 다시 읽으면서 제가 이해한대로 정리해보겠습니다. 초록(Abstract) 성능 좋은 시퀀스 변환 모델은 대체로 인코더와 디코더를 포함한 복잡한 RNN 또는 CNN 신경망에 기반을 두고 있음 해당 논문은 recurrence와 convolution 을 전부 제외하고

hyojin2011

Introduction Related Work ![](https://velog.velcdn.com/images/hyojin2011/post/b552f674