[U-stage] PyTorch for AI

View: 두 텐서가 동일한 데이터를 공유그래서 연속성 제약 조건( contiguous)이 있음Reshape: 데이터 공유x, 제약조건xdim = 1인 axis 제거matmul은 각 batch마다 mm을 해준것과 같다https://data-newbie.tist

Layer는 blockLayer를 쌓아서 DL 모델을 만듬Layer의 base classInput/Output, Forward/Backward 정의Parameter(tensor) 정의Tensor의 상속 객체nn.Module 내의 attribute가 될 때엔 requir

모델 형태(architecture)와 parameter 저장중간과정 저장해서 최선의 결과 모델 선택모델을 외부 연구자와 공유해 학습 재연성 향상중간과정 저장해서 최선의 결과 모델 선택earlystopping 기법 사용시 이전 학습의 결과물을 저장일반적으로 loss, e

Node: 컴퓨터 1대를 의미, system이라고도 함Single Node Single GPU: 컴퓨터 1대에 GPU 1개Single Node Multi GPU: 컴퓨터 1대에 GPU 여러개, 보통 4~8개 정도 Multi Node Multi GPU: 서버 컴퓨터 같이

tensor/model, forward/backward별로 argument가 다름tensor(-backward): gradmodel-forward: module, input, outputmodel-backward: module, grad_input, grad_outpu

Colab 기본 mpl은 3.2.2 버전이라 pip install을 이용해 수동 다운로드 해줘야됨