Deep Learning

그래픽 처리 장치는 그래픽 연산을 빠르게 처리하여 결과값을 모니터에 출력하는 연산 장치이다.따라서 원래 게임등 그래픽이 필요한 프로그램에서 많이 사용되었다.CPU와는 달리 GPU는 코어가 아주아주 많다.코어가 많기 때문에 많은 연산을 병렬로 동시에 처리할 수 있다.물론

image위의 식은 아주 간단한 형태의 가상함수이며 우리가 인공 신경망에서 학습하는 weight들이 theta1에 해당하고 theta0는 bias에 해당합니다.딥러닝에서 우리는 신경망을 학습시켜 가설함수를 참 값과 거의 유사하게 mapping 하는 것을 목표로 합니다.

오버피팅이란 과적합이라고도 하며 모델의 파라매터들을 학습 데이터에 너무 가깝게 맞췄을 경우 발생하는 현상이다.

파라미터는 모델 내부적으로 결정되는 변수. 하이퍼 파라미터는 모델 외부적으로 설정해주는 값

Pytorch와 TensorFlow 둘 다 프레임 워크다.컴퓨터 프로그래밍에서 소프트웨어 프레임워크는 복잡한 문제를 해결하거나 서술하는 데 사용되는 기본 개념 구조이다.

Normalization의 장점

딥러닝 학습에 있어 가중치를 잘못 설정할 경우 기울시 소실 문제나 표현력의 한계를 갖는 등 여러 문제를 야기할 수 있기 때문에 초기 가중치 설정은 매우 중요하다.

뉴럴넷의 단점

여러가지 활성화 함수들

Degradation Problem을 해결하기 위해서 Residual Learning이라는 개념이 등장했습니다.