# Pytorch 2.0
PL Template for NLP (0)
PyTorch 2.0 출시를 맞아 NLP를 위한 PyTorch Lightning 템플릿을 만들고자 합니다. 또한 python 3.11의 경우 10~60%, Pytorch 2.0의 경우 38~76%의 성능 향상이 있었기에 이를 조합하면 얼마나 큰 변화를 줄 수 있는지 체크하고자 합니다. 그렇기에 Python, Hydra, PyTorch, PL, NLP Task 순으로 정리하여 문제점과 요구 사항들을 정리하고자 합니다. Python Version PyTorch 2.0 Linux : 3.7~ Window : 3.7~3.9 Mac : 3.7~ Hydra 1.3 : 3.6~ PyTorch Lightning 2.1.0 dev : 3.8~ HuggingFace Transformers : 3.6~ 즉 3.8 이상의 version을 사용해야한다는 것을 알 수 있습니다. Python Version간 차이점은 다음과 같습니다. 발췌 : Python
M1 Part 15 [torch 2.0] "the kernel appears to have died. it will restart automatically"
썸네일 이미지 출처 INTRO 가끔 jupyter notebook에서 간단하게 이것저것 코딩을 할 때가 있다. 최근에 Pytorch 2.0 (Stable)과 Lightning 2.0이 동시에 같은 날에 런칭했다. 그래서 필자는 conda 가상환경을 싹 다 밀어버리고 최근에 다 다시 설치를 진행했다. 그 이후에 평화롭게 가끔 M1에서 코딩을 하고 있던 어느 날... 다음과 같은 팝업 메세지와 마주하게 되면서 커널이 죽고 다시 시작되는 현상을 겪게 된다. "the kernel appears to have died. it will restart automatically" 이에 대해서는 여러가지 원인이 있고 그에 따른 방법들이 있다. 통상적으로는 RAM과 관련된 부분일 것이다. 하지만, 내가 이 포스트를 쓰는 목적은 만에 하나 다른 특이한 경우의 수가 있기 때문에 공유하려
M1 Part13 "Pytorch 2.0 (Stable) came out"
INTRO 아침에 자고 일어나니, Pytorch 2.0과 Pytorch Lightning 2.0이 나왔다고 떴다. 이래저래 시간이 많지 않기에 간단하게 설치만 진행해봤다. Pytorch Lightning의 경우, Colab에서만 많이 써보기는 했는데 천천히 써보려고 한다. 참고 M1 Part6 - '니들이 mps를 아느냐?'ver.220624 [M1 Part10 - '니들이 Pytorch 2.0을 아느냐?' ver.221230](https://velog.io/@heiswicked/M1-Part10-니들이-Pytorch-2.0을-아
M1 Part10 - '니들이 Pytorch 2.0을 아느냐?' Install Pytorch(GPU) on M1 ver.221230
INTRO 올해 6월 전후로 M1에 Pytorch가 M1 GPU를 쓸 수 있는 Pytorch 1.12를 내놓았다. 그리고 최근, 2022년 12월에 Pytorch 2.0이 발표되었다. Pytorch 2.0에서 강조하는 부분은 torch.compile() 이다. torch.compile()뿐만 아니라, TorchDynamo, TorchInductor, AOTAutograd, PrimTorch 등을 통해서도 효율성과 연산속도를 올린 것 같다. 또한, HuggingFace와 timm 라이브러리와의 호환성도 대폭 높였다고 한다. Pytorch 2.0 GET STARTED [Accelerating Hugging Face and TIMM models with PyTorch 2.0](https://pytorch.org/blog/Accelerating-Hugging-Face-and-TI