M1 Part13 "Pytorch 2.0 (Stable) came out"

INTRO

아침에 자고 일어나니, Pytorch 2.0과 Pytorch Lightning 2.0이 나왔다고 떴다. 이래저래 시간이 많지 않기에 간단하게 설치만 진행해봤다. Pytorch Lightning의 경우, Colab에서만 많이 써보기는 했는데 천천히 써보려고 한다.

참고

• M1 Part6 - '니들이 mps를 아느냐?'ver.220624
• M1 Part10 - '니들이 Pytorch 2.0을 아느냐?' ver.221230
  - (Colab) 새로운 실험코드
• Pytorch 2.0 GET STARTED
• Accelerating Hugging Face and TIMM models with PyTorch 2.0
• 2023.03.15 발행
  • PyTorch 2.0: Our next generation release that is faster, more Pythonic and Dynamic as ever
  • New Library Updates in PyTorch 2.0

INSTALL

01 conda env(conda 가상환경) 생성

다음과 같이 입력하여 day라는 이름의 conda 가상환경을 생성하도록 해보자.

conda create -n day python=3.8

python 버전은 3.8로 한다.

02 day 진입

다음 코드로 day 라는 이름의 conda env로 진입한다.

conda activate day

03 기본적인 라이브러리 설치

다음 코드로 기본적인 라이브러리들만 설치하도록 하자.

conda install numpy pandas scikit-learn jupyter seaborn matplotlib

필요하다면, 다른 라이브러리들을 설치해도 된다.

Pytorch 2.0 설치

우리는 일단 Pytorch 공식페이지(중에서 설치 안내 페이지, 'Get Started')로 접속하도록 한다. 상단 탭 중 'START LOCALLY' 부분에서 아래 쪽 표 비슷무리한 게 있다. Your OS 부분에서 'Mac'으로, PyTorch Build 부분에서 'Stable(2.0.0)'으로, Compute Platform은 'Default'로, Package 부분에서는 'Conda'를 클릭하도록 한다. 혹시 모르니 스크린샷을 첨부하도록 하겠다. 보고 똑같이 선택해주면 될 듯한다.

이제 설치를 마저 진행해보겠다.

04 위 스크린샷의 설치 코드를 복붙하자.

위 스크린샷의 설치 코드를 그대로 복붙하여 입력하고 실행하면 설치가 된다.

$ conda install pytorch torchvision torchaudio -c pytorch

05 설치 완료 및 Pytorch Version 확인

Test (Colab) 새로운 실험코드

1. Epoch당 약 5.16666초 정도 소요!

2. torch.compile()

• 이번 Stable 버전에서 torch.compile()은 Beta로 되어있었다. (참고: PyTorch 2.0: Our next generation release that is faster, more Pythonic and Dynamic as ever )

• M1에서 torch.compile()은 아직 험난하다.

  • compiled_mopdel = torch.compile(model) 진행
    

  • run_train 을 실행하면 다음과 같은 에러가 여전히 난다.
    

  • 하지만, torch._dynamo.config.suppress_errors = True를 실행하고 나서 다시 run_train 을 실행하면 돌아는 간다. 이 때, Epoch당 약 5.125초 정도 소요된다.
    

End

앞으로도 기대해본다 : )