Generative model 생성 모델을 학습한다는 것은 그럴듯한 이미지나 문장을 만드는 것으로 생각할 수 있다 하지만 단순히 Generative model의 전부가 아니고 다양한 것을 할 수 있다. Learning a Generative Model 어떠한 강아지 이미지가 주어졌다고 가정했을 때 아래는 generative model이 했으면 하는 혹은 할 수 있는 것들 3가지이다. Generation : 강아지 같은 이미지를 sampling하는 모델 Density estimation : 어떤 이미지가 들어왔을 때 확률 값 하나가 튀어나와 강아지 인지 아닌지를 구분하는 모델 Unsupervised representation learning : 강아지가 있으면 강아지는 귀가 두개고, 꼬리가 있고, 다른 특성들을 추출하는 모델(feature learning) 또한, Genera

Sequential Model 문장은 항상 길이가 달라질 수 있으며 어순이나 바뀌거나 단어가 빠지는 문제들이 있기 때문에 모델링하기가 어렵다. 이러한 문제들을 해결하고자 Transformer self attention이라는 구조를 사용한다 Transformer RNN은 재귀적인 구조인데, **transform은 재

sqeuntial data를 처리하는데 있어서 가장 큰 어려움은 우리가 결국 얻고 싶은 것은 하나의 label 혹은 정보인데, sequential data는 길이를 알 수 없으므로, 받아들여야 하는 입력의 차원을 알 수 없는 것이다. input의 입력을 알 수 없으므로 여태까지 배워왔던 CNN과 같은 network들을 사용할 수 없다. Naive sequence model Autoregressive model 가장 기본적인 sequence model은 입력이 여러 개 들어왔을때 다음번 입력에 대한 예측을 하는

이전에 배웠던 ResNet, DensNet, GoogleNet 등 이러한 네트워크가 이미지 분류만에만 사용되지 않고, Semantic Segmentation 과 Object Detection 에도 사용되었다. Semantic Segmentation 이미지 안의 모든 객체를 탐지해 분류하는 것으로, 이미지의 모든 픽셀이 어떤 label에 들어가는지 보고 싶을 때 사용한다. ex) 자율 주행 자동차에 비유하면 차선을 따라서 가야하고 차 혹은 사람이 앞에 있으면 멈춰야 하는 경우에 사용 지금까지의 CNN은 Convolution, pooling 등을 하고 flatten으로 펼쳐서 fc layer를 통해 output을 추출하는 구조였다 앞으로 배우는 Fully Convolution Netw

AlexNet 그 당시에 GPU가 부족했기 때문에, 최대한 파라미터를 집어넣기 위해 네트워크를 두 개로 나누어서 사용 11 x 11 filter를 사용하게 되면 하나의 하나의 conv kernel이 볼 수 있는 영역은 커지지만 상대적으로 더 많은 파라미터가 필요가 되기 때문에 좋지 않다. Convolution layer 5개와 Dense layer 3개의 총 8단으로 되어있는 네트워크 key ideas ReLU activation Preserves properties of linear models (선형 모델의 특징들을 보존) Easy to optimize with gradient descent (sgd,mini-batch에서도 잘 작

Convolution Padding과, Stride 를 고려하지 않은 기본적인 Convolution 적용하는 Filter의 모양에 따라 convolution output이 Blur, 강조하거나(emboss), 외곽선(outline)만 나타낼 수 있다 RGB Image Convolution 이미지가 들어간 후 여러개의 channel을 갖는 convolution을 feature map 이라 한다. feature map의 channel은 filter의 숫자로 결정된다. 따라서, input chan

3. Optimization 최적화를 진행하면서 여러가지 용어가 등장하는데, 정확하게 정의를 짚고 넘어가지 않으면 여러 오해가 생길 수 있다. 이번 강의에서는 여러 용어들에 대해서 명확한 의미를 이해하고 넘어가는 것이 중요! Generalization 일반화 성능을 높이는 것이 목적 학습을 시키게 되면 학습 데이터에 대한 error는 줄어들지만, train error가 0이 된다고 해서 성능이 좋은 것은 아니다. train error가 작다고 하여, test error 역시 작다는 보장이 없기 때문이다. 따라서 일반화는 test error와 train error 간 gap을 줄이는 것 overfitting이란 train data에 대해서는 잘 동작하지만, te

인공신경망 인공신경망도 시작은 인간의 뇌를 모방하여 신경망의 형태를 나타내었지만, 꼭 항상 사람이나 동물의 뇌를 모방할 필요는 없다. 지금의 딥러닝 혹은 인공신경망이 ‘인간의 뇌를 모방하기 때문에 잘 작동한다’ 라는 해석보다는 이 모델이 왜 잘 작동하는지 수학적으로 분석하는 것이 더 옳다고 생각된다. function approximators 와 함께 nonlinear transformations가 반복적으로 일어나는 모형을 인공신경망이라 한다. Linear Neural Networks Linear regression은 입력이 1차원이고 출력이 1차원일 때 이 두개를 연결하는 모델을 찾는 것. 선형이기 때문에 기울기와 절편이라는 parameter를 찾는 모형 주로 선형회귀에서의 Loss function 은 MSE를 사용 ![](https://velog.velcdn.com/images/ysw2946/post/7190b2db-d03