컴퓨터 POWER UP
멀티태스킹, 병렬프로그래밍과 동시성
단순하게 병렬프로그래밍에 대한
Lecture 7: Convolutional Networks
지금까지 공부했던 classifier들은 spatial structure에 대해 고려를 하지 못했다.
드디어 spation structure에 대한 고려를 시작한 모델이 CNN이다.
- 키워드
convolution layer, pooling layers, normalization Barh Normalization
사실 개념은 알고있었는데 parameter나 layer 갯수에 대해서는 까먹고 있었는데 더 자세히 알 수있었다.
특히 Receptive Field에 대해서는 전혀 알지 못했는데 이번에 알게 되었다.
그 해결책으로 나온 stride도 일종의 sampling 기법이 될수있다는것도 표본 조사론을 들어놓고도 몰랐다가 알게되었다.
Batch Normalization
노드를 진행할때 Batch Normalization을 왜하는지 몰랐었다. 그냥 단순히 normalization하나보다했는데 이런 비밀들이 있는지 몰랐고 train 단계와 test(혹은 inference 추론) 단계가 달라서 많은 버그를 일으킨다는 것도 알게됐다.
해커톤
은 따로 서술
Fundamental 17
인터넷의 구조와 통신에 대한 기초 지식
어렵다..모르겠다..
Lecture 8: CNN Architectures
CNN의 발표이후 CNN 기반 모델들이 어떤식으로 발전해왔는지 강의
Alexne(2012) t 혁명적인 발전으로 엄청나게 인용이 많이된 논문
ZFNet(2013 알렉스넷의 더 거대한 버전
VGG(2014) 이전의 ad-hoc 하게 짜던 걸 넘어 모델 디자인에 principal이 생김
(Conv 5 x 5)보다 Conv 3 x 3 을 2번 반복하는게 더 적은 parameter와 적은 계산을 사용함.
GoogLeNet(2014) 효율성에 포커스를 맞추기 시작함. 계산, param, 메모리 줄이기
Stem network로 down sample함,
inception module로 비싼 연산하기전에 1 x 1 연산으로 채널 숫자를 감소시킴
비효율적인 FC layer 대신 global average pooling을 사용함
Auxiliar Classifier Batch Normalization 전에 10층이상 학습이 어려웠기때문에 구글이 사용하던 기법
ResNet(2015) VGG와 GoogLeNet의 장점들에서 영감을 얻음. 상싹슬이, 지금도 baseline
Batch Normailzation으로 10층 이상 학습 가능해졌지만 더 deep한 모델이 성능이 하락하는 상황이 발생함. ResNet은 itentity function을 통해 깊은 모델이 더 얇은 모델을 emulate(모방)할수있게 함으로서 해결. 즉 deep할 수록 적어도 더 얇은 모델보다 성능이 하락하진않음으로 상승하는 토대를 만듬)
Model Ensembles(2016) 여러 모델들의 앙상블 기법
ResNeXT 그룹을 더하면서 같은 계산 복잡도지만 성능을 향상시킴
2017년부터 imgaeNet 대회는 더이상 하지않고 Kaggle에게 넘어감.
그 다음부턴 더 효율적으로 모바일, 저전력을 이용한 모델에 연구가 집중됨.
MobileNet, ShuffleNet,...
Neural Architecture Search: architecture design을 자동화하려는 노력..
우리가 해야할것?
영웅이 되려하지마라.. 기존의 구조 따와서 써라
정확도를 원하면 ResNet-50이나 ResNet-101
효율적인(real time , run on mobile)을 원하면 MobileNets, ShuffleNets을
뉴스 요약 봇
아직 진행중
Fun 18 시계열 이상치 판별
가장 흥미롭고 재미있었던 노드였다.
단순히 시계열 데이터에 대해서 설명하는 것이 아니라 이상치를 판별해나가는게 인상깊었다.
Outlier / Novelties
decompose 한 후 신뢰구간으로 이상치 찾기,
k-means,와 DBSCAN으로 군집분석해서 이상치 찾기
Auto-Encoder를 통해 이상치 탐색, 처음으로 ECODER를 통해 데이터 Generate를 하게되어서 신기했다. 뭔가 더 공부해보고 싶은 분야
Do it! 자료구조와 함께 배우는 알고리즘 입문 : 파이썬 편
이전에 쓰던 책보다 훨씬 설명이 자세해서 좋았다.
근데 용어들을 영어 병기를 안해주고 한자로 쓰니 무슨말인지 모르겠는 용어들이 있다.
DCGAN
아직 진행중
일단 한번 모델을 돌려봤는데 잘 적합이 안된다..
50 epoch를 해봤는데 다들 알아볼수없는 그림이 그려졌다.
transpose convolution에 대해서는 따로 글을 썻고
standard convolution과 tanspsoe convolution과의 변환에 대해서 더 자세히 공부해보려고한다.
딥러닝 numpy로 해보기
편리한 keras나 텐서플로 툴을 쓰지않고 기본부터 numpy를 통해 해보아서 좋았다.
