AI
지금 하고있는 AutoEncoder를 통한 Anomaly Detection --> 적당히 하고 다른거 찾을 예정
또한 AutoEncoder를 PCA와 같이 가중치분석을 통한 변수들의 민감도 분석 --> 저번에 hidden node를 1로하는 해양쪽AE논문을 봤는데.. 이쪽이 뭔가 썰풀기 좋긴 할듯
CNN 이미지처리 --> 가장 실용적인.. 이건 내 취미로라도 조금씩 가져가야겠다. CNN 돌려본적은 없지만 킹렉스넷으로부터 시작되는 CNN의 역사는 볼때마다 가슴이 웅장해진다.
GAN 적대적학습 --> 적대적생성학습을 어디에든 적용시킬 수 있어야 하는데.. 이번 USAD논문을 보면서 최대한 흡수해야겠다.
Loss Func. --> 이거 L1로 줬다가 loss가 안줄어들더라.. 무조건 L2 써야하나? 근데 L2하고 MSE하고 다른게 뭐지
Optimizer --> AdamW.. 나도 학습도중에 trainloss는 그대로인데 validationloss가 쭉 올라가버리는 현상좀 관측해보고 싶다.. 아직까지 본적이 없다. 학습을 제대로 못하고있다는거겠지
Activation Func. --> 이것과 normalization사이에 관계가 있다는데.. 잘 모르겠다. 예전엔 뭣도모르고 ReLU썼다가 Sigmoid도 써보고 tanh도 써보고 했는데.... Sigmoid나 tanh쓰다보니 그냥 ReLU만 쭉 쓰고 싶다. 학습이 너무 안된다
Regularization
batch
epoch
learning rate
normalization
skitlearn, dataloader
cuda --> 테슬라두개박아놓고 gpu메모리점유율평균이 하나만 20%..
multigpu
글쓰다날아감
현재 가장 중요한건 저놈의 cuda다
나는 양손에 테슬라V100을 장착중이다
근데 그 평균점유율이 한쪽만 20%수준에 불과하다
v100 둘 다 평균메모리점유율 80%를 넘기는 학습을 상시로 한다면
과정이 어쨌든 내 수준에선 뭔가 나온다
그러기 위해선 좀 더 state of art 기법들을 끊임없이 공부해야한다
공부하자
끝.
