공부기록[Pytorch]

https://velog.io/@ta1231/부스트캠프-2주차

https://velog.io/@ta1231/부스트캠프-2주차-l3u9jt7v

위 내용은 이번주 공부했던 내용이다. 간단하게 요약하자면 1장에서는 python과 tensorflow의 차이(TF: Define and Run, Static VS Pytorch: Define by Run, Dynamic Graphs) 각각의 장단점 (TF: production, multi gpu VS pytorch : Define by Run → 즉시 확인 가능하며 사용하기 편함. 그래서 논문쓸 때 혹은 구현에 장점이 있다)

2장에서는 pytorch의 operation 중심으로 배웠다. (handling.. 행렬곱 등등..requires_grad, backward)

3장에서는 파이토치 프로젝트의 템플릿을 소개받고 직접 실행했다.

아래와같이 실행한다.

python newproject.py

# 프로젝트 폴더 생성

cd

# 프로젝트 폴더 이동

python train.py -c config.json # 학습 시작

python train.py -r <checkpoint경로>
4강에서는 nn.Module(딥러닝을 구성하는 레이어의 base class)와 nn.Parameter(weights값으로 학습대상이 되는 Tensor)가 무엇인지 배웠고, Backward 과정은 아래와 같다.

optimizer.zero_grad() <- 초기화
outputs = model(input) <- 예측값 생성
loss = criterion(output, labels) <- loss 생성
loss.backward() <- 미분값 구하기
optimizer.step() <- 파라미터 업데이트

5강에서는 Dataset(입력상태를 정의하고 index를 먹임)과 DataLoader(배치를 어떻게 할 것인지) 클래스에 대해 배웠다.

6강은 모델 불러오기에 대한 강의였는데 학습 결과를 저장(model.save())와 중간결과를 저장(model.load, Checkpoint)의 개념을 배웠다. 또한 transfer learning(다른 데이터셋으로 만든 모델을 현재 데이터에 적용), Freezing(모델 일부분 파라미터 업데이트 중지)등을 할 수 있다.

7강은 학습과정에서 기록하거나 상태를 확인할 수 있는 툴인 Weigths and bias와 tensorboard를 배웠다.

8강은 Multi gpu사용하는 개념, 9강은 하이퍼파라미터, 10강은 troubleshooting을 배웠다.

학습 회고

월요일과 화요일은 과제를 얼른 마치기 위해서 늦게까지 과제를 붙잡다가 잤다. 파이토치를 처음해보는거라 시간이 오래걸린걸수도 있고 과제 설명을 자세히 안읽어서 그런걸수도 있다. 선택적으로 푸는 optional문제는 손도 못대고 심화과제는 아직 쳐다도 못봤지만 벌써 금요일 밤이 되어버렸다.. 특히 nn.Module의 forward함수가 자동으로 실행된다는 걸 몰라서 꽤 많은 시간이 걸렸다. 왜 실행되는지 몰랐다가 피어세션에서 이야기하면서 매직메서드로 되어있다는걸 알게 되었다.(알려줘서 감사합니다...) 그래도 시간이 좀 걸렸지만 잘 마무리한 나한테 칭찬..

두런두런 시간에는 변성윤 마스터님의 힐링강의?가 있었는데 그 중에서 인상깊었던 것은 캠프가 끝나고 어떤 사람이 되어있을 것인지 생각해보면 뭘할지 알 수 있다는 것과 늦는 것에 대해 너무 부정적으로 생각하지 말라는 점이었다. 사실 당장은 한 ~이 되고싶다에 대한 생각을 많이 해보지 않았던 것이 사실이라 캠프 도중에 그 점에 대해서는 생각해봐야할거같다. 마스터님께서 커리어를 늦게 시작하셨지만 지금은 짧은 시간내에 빠르게 쌓아올리셨는데 늦다는 것에 대해 너무 조급하게 생각하지 말아야겠다. 이번주 친구들의 서류 소식을 들으면서 뒤숭숭했는데 비교하지 말고 내갈길 가야겠다.

이번주는 스페셜 피어세션이나 피어세션 하면서 잘하는 사람이 정말 많다는 것을 다시한번 느끼게 되었다. 최근까지 뭔가 열등감이라고 느낄만한게 없었는데 막상 같이 공부하는 사람들이 같은시간내에 더 잘하는걸 보니깐 인정하기 싫으나 열등감을 느낀것이 사실이고 더 열심히 하지 못한것에 대한 미련도 생겼다. 사실 그런 느낌을 갖는게 내 성장에 필요하다고 계속 생각했으나 그런 상황에 있지 못했다. 뭐 각설하고 다음주는 좀 더 열심히 해야겠다는 걸 느꼈다.