단순한 선형회귀 모델

필요한 모듈 불러오기

import torch
import torch.nn as nn
import torch.nn.functional as F # 모든 

모델 선언

model = torch.nn.Linear(1,1)

파이토치는 Define by run방식으로 실행되므로 유연하다는 장점이 있습니다. Define by run이란 연산 정의와 동시에 값이 초기화 되는 방식이며, 반면에 Define and run 방식은 먼저 모델을 만들어주고 값을 모두 따로 넣어주게 됩니다.

class LinearRegressionModel(torch.nn.Module): # torch.nn.Module을 상속받음
    def __init__(self): 
        super().__init__() # 다른 클래스의 속성 및 메소드를 자동으로 불러 옴
        self.linear = torch.nn.Linear(1,1) # input_dim 1, output_dim 1
    def forward(self, x):
        return self.linear(x)

일단 단순하게 하기 위해서 input_dim도 1로 주고, 출력층도 1로 주었어요.

model = LinearRegressionModel()

다중선형회귀 모델

모델 선언

model = torch.nn.Linear(3,1)

class MultivariateLinearRegressionModel(torch.nn.Module):
    def __init__(self):
        super().__init__()
        self.linear = torch.nn.Linear(3,1)
    def forward(self, x):
        return self.linear(x)

모델을 불러와 옵티마이저 설정해주기

model= MultivariateLinearRegressionModel()

옵티마이저는 SGD를 사용했고, lr은 0.00001로 주었습니다.

optimizer = torch.optim.SGD(model.parameters(), lr = 1e-5)

활성화 함수와, loss등을 넣어주게 됩니다.

nb_epochs = 2000
for epoch in range(1,nb_epochs+1):
    # H(x) 계산
    prediction = model(x_train)
    # cost 계산
    cost = F.mse_loss(prediction,y_train)
    # gradient를 0으로 초기화
    optimizer.zero_grad()
    # 비용함수를 미분하여 gradient 계산
    cost.backward()
    # W, b를 업데이트
    optimizer.step()
    
    if epoch % 100 == 0:
         print('Epoch {:4d} / {} Cost: {:.6f}'.format(epoch, nb_epochs, cost.item()
                                                     ))

파이토치에서는 가중치를 초기화해주는 과정이 반드시 필요합니다!
gradient를 초기화해주는데에는 추후에 설명드리도록 할게요!

참고문헌: PyTorch로 시작하는 딥 러닝 입문