Papers
1.Thumbnail
2.ImageNet Classification with Deep Convolutional Neural Networks - Alex Net, 2012
이는 AlexNet의 구조이다.Convolution 5개와 Fully-connected 3개로 이루어져있다.다음 설명은 위 논문에서 중요한 순서대로 설명한 것들이다.CIFAR-10 에서의 25%의 training error를 달성하기 까지의 epoch을 나타낸 그래프로
3.Deep Residual Learning for Image Recognition-ResNet(1) ,2015
1. Introduction Deep CNN의 장점 Deep CNN은 image classification에서 많은 breakthrough를 가지고 왔다. Deep CNN은 자연스럽게 low,mid,high level의 feature를 통합한다. Layer들을 st
4.Identity Mappings in Deep Residual Networks-ResNet(2), 2016
https://arxiv.org/abs/1603.05027 1. Introduction 기존 Resnet은 다음과 같이 표현 할 수 있다. $\mathbf{y}l$ $=$ $h(\mathbf{x}l)$ + $F(\mathbf{x}l,\mathcal{W}l)$
5.Fully Convolutional Networks for Semantic Segmentation , 2015
본 논문의 가장 중요한 개념은 Fully convolutional이다.기존 VGG같은 ConvNet에서는 inputsize가 모든 input image에 동일해야 했는데 이유를 생각해보면 마지막의 Fully-connected layer때문이다.Convolution la
6.U-Net: Convolutional Networks for Biomedical Image Segmentation , 2015
Fully convolutional networks for semantic segmentation (2014)과 비교하기위해 원래 논문에 내용을 추가함. 이하 FCN이라 하자.Convolution을 사용한 전형적이고 쉬운 network는 Classification m
7.Going deeper with convolutions - GoogLe Net (2014)
바로 Architecture로 들어가 앞 내용과 함께 설명하겠다.GoogLeNet Architecture이다.기존의 또는 대부분의 CNN model은 세로가 길었다. 정확히 세로로만 길었다.중간에 옆으로 되어있는 구조가 보이는데 이 구조를 Inception module
8.Attention Is All You Need ; Transformer ,2017
Deep learning from scratch 2 와 wikidoc 보고 정리해본 내용이다.https://velog.io/@jj770206/attention-in-seq-to-seq-transformerhttps://arxiv.org/abs/1706
9.Residual Attention Network for Image Classification , 2017
구조만 간단하게 보고 pytorch로 구현 해보기.본 논문의 ResNet에서 attention이 추가되었다고 생각해도 되는데 핵심은 Residual-Attention이다.즉 attention에 residual mechanism이 들어가 있다.논문에 대한 해설이 많지 않