학습정리

Pytorch

1, 2, 3강 파이토치 기본및 프로젝트 구조

파이토치 기본 소개, 기본 구조 등에 대해서 배울수 있었다. 앞에 1강은 다른 프레임워크들과의 비교등을 통해서 파이토치가 어느정도 사용되는지 등에 대해 볼수 있었다. 파이토치 기본은 기본적인 tensor등의 연산을 다루고 있다.

4강 AutoGrad & Optimizer

파이토치에서 핵심이라 할수 있는 AutoGrad에 대해서 배웠다. 이것을 통해서 텐서들의 미분을 연산하고 Optimizer를 통해서 역전파하며 모델을 학습시킬수 있다.

5강 Dataset & DataLoader

데이터셋을 불러와서 어떻게 그 데이터를 모델이 먹일수 있는가에 대해서 배울수 있었다.

6강 모델 불러오기

모델을 한번에 전부 학습하려면 시간이 오래걸릴수가 있기에 중간에 학습하다가 멈추고 나중에 이어서 할수도 있는데 그럴때에 필요한 모델 불러오기와 저장 기능등에 대해서 알아보았다. 그뿐만 아니라 다른 사람이 만든 모델이나 이미 내가 예전에 만든 모델들을 가져와서 사용하는 방법에 대해서도 알아보았다.

7강 Monitoring tools for Pytorch

파이토치 사용시에 학습등을 모니터링 할수 있는 여러 툴들에 대해 알아보았다. tensorboard와 wandb를 중심으로 해서 살펴보았다.

8강 Multi-GPU 학습

GPU가 여러개일때 어떻게 분산학습을 시킬지에 대해서 알아볼수 있었다. 다만 실습까지 해보지 못한것이 아쉽긴하지만 기초 개념은 알고 지나갈수 있었다.

9강 Hyperparameter Tuning

모델 튜닝을 하는것으로써 하이퍼파라미터들을 조절해서 더욱 성능을 높이는 방법에 대해서 배웠다. 다만 튜닝보다 더 중요한것이 데이터이고, 그후 모델이라는것을 강조되서 배웠다.

10강 PyTorch Troubleshooting

파이토치 사용중에 발생할수 있는 여러 문제점과 그것들에대한 해결방안에대해서 알아보았다. GPU등을 사용하는 환경이기 때문에 보지 못하던 문제와, 큰 데이터셋을 사용하기에 메모리 문제가 많이 발생할수 있고 그것을 해결하는 법을 알아보았다.

피어세션

이번주 피어세션은 과제를 같이 풀어보는 시간으로 많은 부분이 대체되었다. 과제의 양이 생각보다 너무 많았고, 생각보다 힘들고 시간이 오래 걸리는 부분이 있었기 때문에 피어세션 시간에도 서로 물어보며 자신의 과제를 하기로 하였다.

과제

필수과제로 파이토치 다큐멘테이션, 여러가지 함수 사용법, 그리고 hook나 apply등 몇몇 중요한 함수들에 대한 문제들이 첫번째 필수과제에 있었고, 두번째 필수 과제는 데이터셋을 로드 하고 어떻게 모델에 먹이는지, 그리고 자신만의 커스템 데이터셋을 만드는 방법에 대해서도 알아보았다. 정형데이터, 이미지데이터, 텍스트 데이터들 각각에 대해서 데이터 전처리와 어떻게 사용할지에 대해서 알아보았다.

회고

이번주에 생각보다 과제의 양이 많아서 다른것들을 따로 해볼 엄두를 낼수 없었다. 심지어 강의도 제대로 듣지 못할 정도였다. 그렇지만 그런 과제들을 풀면서 어느정도 파이토치의 작동법을 알수가 있었다. 다만 선택과제는 보지도 못한게 아쉬웠다.

다음주 부터 이제 대회라고 생각하니 벌써부터 긴장이되고, 이 실력으로 뭘 할수 있을까 싶지만, 예전에도 이렇게 프로젝트를 통해서 성장한 경험이 있기 때문에 이번에도 크게 성장하리라 생각한다.