Deep Learning 👩🏻‍💻

Linear Regression label과 하나 이상의 feature 사이의 선형 관계를 모델링

binary classification을 위한 simple model (simplest neural network)

앞서 살펴 보았던 logistic regression으로는 XOR 문제를 해결할 수 없었다. 그 이유가 무엇일가? 바로 XOR 연산이 선형으로 구분 불가능하기 때문이다. 이 문제를 해결하기위해 layer를 쌓으면 되는데, 이게 바로 neural network 인 셈이다

Open source DL framework로 GPU를 이용한 Tensor computing, Automatic differentiation system을 지원한다.

지금까지 학습한 PyTorch 기초 지식들을 이용하여 앞에서 구현해보았던 XOR 문제를 해결하는 neural network를 더 간단하게 다시 한 번 구현해보자.

초기 input layer의 데이터가 아닌 hidden layer의 입력을 정규화하는 방법이 바로 Batch Normalization이다. Batch Normalization을 적용하면 학습 속도 감소, 가중치 초기화에 대한 민감도 감소, 모델의 일반화 효과 등의 장점

모든 뉴런을 연결하는 기존의 fully connected를 이미지에 적용한다고 생각해보자. 이미지 크기가 커질수록 파라미터 개수는 기하급수적으로 증가하게 되고, 이에 따른 memory size 부족과 같은 문제가 발생할 수 있다. convolution layer를 이용

Goal: training a neural network with a great generalization performance

딥러닝에는 크게 두 분야가 있다. 바로 이미지를 다루는 Computer Vision과 자연어를 다루는 NLP(Natural language processing)이다. 그 동안 이미지 처리를 다루는 computer vision에 관해 학습했고, 앞으로는 자연어를 다루는