👩‍🎨 PyTorch

최근 AI와 딥러닝이 빠르게 확산되면서 이를 구현하기 위한 프레임워크의 중요성도 함께 커지고 있다. 특히 최근에는 keras 나 tensorflow조합보단 PyTorch를 주로 사용한다고 한다.

PyTorch는 왜 많이 사용될까

첫째, 파이썬 문법.
PyTorch 코드는 일반적인 파이썬 코드와 거의 동일한 흐름을 가진다. 덕분에 코드를 읽고 이해하기가 쉽고, 디버깅도 편리하다.

둘째, 즉시 실행(Eager Execution) 방식을 사용한다. 코드를 작성하면 바로 실행되고 결과를 확인할 수 있다.

셋째, GPU 연산을 쉽게 사용할 수 있다.
복잡한 설정 없이도 GPU를 활용해 대규모 모델을 빠르게 학습할 수 있다.

그렇다면 PyTorch의 핵심적인 차별점이 무엇일까

1. Tensor

PyTorch에서 가장 기본이 되는 개념은 Tensor다.

Tensor는 알다시피 숫자 배열이다.

NumPy 배열과 매우 비슷하지만,tensor는 GPU에서 연산할 수 있다는 점이 가장 큰 차이다.

딥러닝에서 입력 데이터, 가중치, 출력값은
모두 Tensor 형태로 처리된다.

그렇다면 tensor가 무슨 장점이 있길래 pytorch가 tensor를 쓰는 것이 차별점이 되는것일까?

Tensor의 진짜 강점은 바로
같은 코드로 CPU와 GPU를 모두 사용할 수 있다는 점이다.

때문에, 이게 PyTorch가 실무와 연구에서 강한 이유다.

2. 자동 미분 (Autograd)

딥러닝 학습의 핵심이 예측값과 정답의 차이를 계산하고 그 손실이 모델의 각 파라미터에 얼마나 영향을 주는지이다. 이걸 하기 위해서는 스터디에서 항상 강조했듯이, 미분 계산이 필요하다.

PyTorch는 이 과정을 자동으로 수행한다.
PyTorch는 모든 미분을 직접 구현하지 않고, Autograd라는 기능을 통해
미분 과정을 자동으로 처리해준다.

즉, 개발자는 모델 구조를 정의하고 손실 함수만 지정하면
PyTorch가 역전파(backpropagation)에 필요한 미분을 자동으로 계산한다.

이 기능 덕분에
딥러닝 모델 구현이 훨씬 단순해진다.

3. Dataset과 DataLoader

딥러닝에서는 데이터를 효율적으로 불러오는 것이 매우 중요하다. 특히 전처리를 하다보면 데이터를 효율적으로 불러오는게 중요하다는 것을 체감하게 된다.

Dataset은 데이터와 정답(label)을 하나로 묶는 역할을 한다.

DataLoader는 데이터를 미니배치 단위로 불러오고, 섞고, 병렬 처리해준다.

이 두 구조 덕분에
대규모 데이터셋도 효율적으로 학습에 사용할 수 있다.

4. 신경망 모델 정의

PyTorch에서는 torch.nn 모듈을 사용한다.

layer, 활성화 함수, 손실 함수 등이 이미 구현되어 있어 따로 정의할 필요가 없다.

tensorflow랑 다른게 뭔데

앞에서 pytorch의 특징만 보면
“TensorFlow도 다 되는 거 아닌가”라는 의문이 든다.
실제로 TensorFlow 역시 Tensor, 자동 미분, Dataset 구조를 모두 제공한다고 한다.

하지만 PyTorch와 TensorFlow의 차이는
기능의 유무가 아니라, 사용 방식이다.

1. 코드 실행 방식의 차이

PyTorch는 앞서 말했듯이 기본적으로 즉시 실행(Eager Execution) 방식을 사용한다.

즉, 코드를 작성하면 그 즉시 실행되고 결과와 오류를 바로 확인할 수 있다.

조금 더 파이썬 친화적이라고 할 수 있다.

반면 TensorFlow는 전통적으로 그래프 기반 실행 방식을 사용해 왔다.

먼저 전체 계산 구조를 정의하고, 그 다음에 실행하는 방식이다.

그래프 기반 구조를 강하게 반영한다는 것이다.

이 차이로 인해 PyTorch는 디버깅이 쉽고
TensorFlow는 구조를 명확히 설계해야 한다.

2. 자동 미분을 다루는 방법

PyTorch의 자동 미분은 “연산을 하면 미분이 따라온다”는 느낌에 가깝다.

연산을 작성하고 backward()를 호출하면 미분값이 바로 파라미터에 저장된다.

개발자는 미분 그래프를 거의 의식하지 않아도 된다.

TensorFlow의 자동 미분은
GradientTape와 같은 구조를 통해 자동미분을 관리한다.

내부 동작을 더 명확히 제어할 수 있는 장점이 있지만
초보자 입장에서는 정의를 해야지 쓸 수 있다라는 장벽이생길 수도 있다.

결과적으로 자동 미분을 자연스럽게 쓰는 느낌은 PyTorch에 더 가깝다.

3. 모델 정의 방식의 차이

PyTorch에서는 신경망 모델을 일반적인 파이썬 클래스처럼 정의한다.

조건문, 반복문, 동적 구조를 자유롭게 사용할 수 있다.

그래서 연구용, 모델 구조가 자주 바뀌는 실험, 논문 구현 에 매우 적합하다. 이것이 요즘 pytorch가 자주 쓰이는 이유라고 볼 수 있다.