PaperReview

사전에 MobileNet과 SENet을 공부하고 오면 좋을 듯하다.EfficientNet은 기존 합성곱 신경망 스케일링에서, 네트워크의 너비와 깊이, 그리고 인풋 이미지의 해상도 3가지 측면을 compound scaling을 통해 모두 스케일링하는 방법론을 제시한다.기

기존 합성곱 신경망의 한계점이었던, 고정된 크기의 인풋 문제를 해결했다. 연산량이 줄어 속도를 향상 시켰다. Abstract 기존의 합성곱신경망은 고정된 인풋이미지를 필요로 했다. 합성곱 신경망의 안쪽에 있는 FC Layer에 고정된 크기의 인풋이 필요하게 때문.

서로 다른 2개의 LSTM을 각각 인코더와 디코더로 사용했다.입력 시퀀스를 인코더에 입력할 때, 단어들의 순서를 반전시켜 입력해 성능 향상을 보였다.DNN은 데이터의 양질이 확보된 large labeled training sets일 때 잘 작동하지만, 시퀀스를 시퀀스로

시퀀스 번역 모델들은 인코더 디코더를 포함한 복잡한 합성곱 신경망 혹은 순환 신경망을 기반으로 하는 것이 지배적인 흐름이다. 가장 좋은 성능을 내는 모델들은 또한 어텐션 메커니즘을 사용한다.저자들이 제안하는 Transformer라는 모델은, 순환 혹은 합성곱 신경망(R

Biomedical Task에서 Sell Segementation 에 관한 연구를 진행한 U-Net에 관한 리뷰이다.U-Net에 관한 리뷰에 앞서, 기존 연구인 Fully Convolutional Networks for Semantic Segmentation에 관해 설

Generative pertaining model trained by Unlabeled datafine-tuning with labeled data로 간추릴 수 있을 것 같다.Transformer에 대한 선행 공부를 하면 좋을 듯하다.대량의 unlabeled data가

Bidirectional Encoder Representation Transformers의 약자로, 모든 레이어에서 양방향으로 unlabeled text로부터 deep bidirectional representation을 pre-train하도록 설계 되었다.pre-tr

VAE에 대해서 리뷰한다. VAE는 계산하기 어려운 posterior distributions에서의 연속적인 latent variables로부터 효과적인 인퍼런스와 학습을 수행하기 위해서 개발되었다. >기존 오토인코더는 차원 축소의 목적, 즉 인코더를 위해서 개발된

신경망을 이용한 기계 번역의 최근 모델들은 기본적으로 인코더 디코더 구조를 가졌다.소스 문장을 인코더를 거쳐 고정된 길이 벡터로 변환하고, 이를 디코더의 인풋으로 사용해 번역을 하는 구조.본 논문에서는, 고정된 길이의 벡터의 병목현상의 문제점을 가정하고, context

Generative Models의 목표는 학습 데이터의 샘플들을 어떤 가상의 확률 분포 $P{data}(x)$로부터 얻은 것으로 가정하고, 이 분포와 유사한 분포 $P{model}(x)(==P_\theta(x))$ 를 나타내는 모델을 학습하는 것에 있다. 이때 학습

Abstract NLP 분야에서, 모델이 하위 작업에서 Fine-tunning 되기 전에, Data-rich Task에 대해 먼저 Pre-train되는 Transfer Learning은 영향력 있는 기술로 부상했다. 본 논문은 모든 텍스트 기반 언어 문제를 Text

큰 규모의 vision, language representation learning이 발전되어 옴.대부분의 기존 연구는 트랜스포머 기반의 멀티몯라 인코더를 visual, word token에 대해 공동으로 학습함.하지만 visual token과 word token이 a