1. 강의 복습
PyTorch_1
PyTorch_2
PyTorch_dataset&dataloader
PyTorch model
PyTorch monitoring tools
pytorch 활용
PyTorch는 처음 다뤄보기 때문에 쉽지 않았다. 사실 처음 안해보는게 없다
이번 주는 강의는 별로 없었지만 과제 양이 많았는데 과제 하나를 이틀에 거쳐서 완료했다.
2. 과제 수행 과정
말이 많은 부덕이 🦆
gather
tensor의 차원에서 헷갈리는 부분이 있었다.
gather 함수를 사용할 때 index tensor을 input으로 넣어줘야 하는데 3차원에서 막혔었다. index tensor의 어느 부분을 수정해야 하는지 값을 여러 개 넣어보면서 비교해갔다. index와 dim 값을 적절히 조정해서 결과를 얻을 수 있었다.
참고 https://pajamacoder.tistory.com/2
nn.Module
super().__init__() : super()로 부모클래스를 초기화해줌으로써 부모클래스의 속성을 subclass가 받아오도록 한다. (초기화 안하면 부모클래스의 속성 사용 x)
ModuleList vs List
ModuleList로 묶어준다면 모듈들을 추후 optimizer를 호출할 때 불러올 수 있음. list로 구성한 모듈의 파라미터들은 전달되지 않음
Hook
패키지화된 코드에서 다른 프로그래머가 custom 코드를 중간에 실행시킬 수 있도록 만들어놓은 인터페이스
- 프로그램의 실행 로직을 분석하거나
- 프로그램에 추가적인 기능을 제공하고 싶을 때
(모듈)
Module.register_forward_pre_hook
Module.register_forward_hook
Module.register_full_backward_hook
(tensor)
Tensor.register_backward_hook
apply
apply는 Postorder Traversal 방식으로 module들에 함수를 적용
tensor pad
tensor에서 패딩하는 함수
F.pad("기존 tensor", ("추가할 위치 튜플"), "mode","추가할 값")
# 위치 : ("좌","우","위","아래")
# mode : constant(고정값), reflect(대칭복사)3. 피어세션
1주 차를 경험했기 때문에 본격적으로 피어세션에서 같이 할 과제와 공부를 생각해 봤다. 우리 조는 일주일에 CS224N 강의 두 개, Deep Learning 교재 챕터 몇 개씩 공부해 보고 정해진 요일에 토의 시간을 갖기로 했다. 본격적인 시작은 다음 주부터 시작하는데 여전히 바쁠것이기 때문에 하루 경험 후 일정과 분량을 조정하기로 했다.
+ 스페셜 피어세션
다른 조 분위기, 피어세션 활용 방법 등을 들을 수 있었다. 코테 준비를 어떻게 하는지, 논문 리뷰, 대회 준비, 멘토링 활용, 기타 스몰톡까지
4. 학습 회고
공부할 것도 많고 해야 할 것도 많다.
사람마다 아는 게 다르고 배우는 속도도 다른데 나는 부지런하지 않으면 5개월 동안 얻어 가는 게 없겠다고 생각했다.
