[패스트캠퍼스] AI 반도체 첫 걸음 : LLM과 Computer Vision 학습일지

패스트캠퍼스에서 AI 반도체 첫 걸음 : LLM과 Computer Vision 에 관한 강의를 내일배움카드를 통해 수강할 수 있다고 하여 강의를 들어보았다. NPU를 이용하여 모델 최적화, 양자화, 디플로이까지 해야하는 task를 받아서 매우 흥미있게 수강을 했던 기억이 난다.

강의 처음에는 CPU 아키텍처를 설명하는데, 소개부분이라 간단하게 설명하고 넘어갈 줄 알았으나 핵심은 제대로 짚고 넘어가는 모습이 인상깊었다. 강의 초반부터 학습자들이 어떻게 공부하면 좋을지 정확히 알려주는 로드맵처럼 구성되어 있었고 이 때문에 막힘 없이 들을 수 있었다.

비전 모델 설명 이후부턴 수준이 확 올라가는 것을 느꼈고, 학습부터 디플로이까지 전체 파이프라인을 보여주며 설명하는 것이 인상깊었다.

netron을 이용하여 yolov8 모델을 다시 한번 살펴볼 수 있는 기회도 얻게 되었다. NPU에서 사용할 수 있는 모델을 만들기 위해선 pt > onnx > NPU에서 지원하는 모델 로 변환과정을 거치는 것이 일반적인데, furiosa도 동일한 절차를 거친다. 왜 이 과정이 필요한지, onnx의 opset은 무엇인지 다시 한번 찾아봤고 각 npu마다 opset을 정할 수 밖에 없는 이유가 무엇인지 혼자서 고찰도 해본 시간이었다. 우선은 yolo만 실습을 해보았는데, 리뷰를 쓰면서 문득 궁금한게 다른 모델도 가능하다면 furiosa SDK로 여러 실험을 해보고 싶다.

나는 환경을 구성할때, Yocto를 이용해서 dependencies를 배포했었는데, 여기선 docker를 사용했다보니 docker 개념을 잡는데에도 많은 도움을 받았다. 시작이 반이라고 docker를 써보기 시작하니 편하고 생각보다 많은 장점들이 눈에 보이는게 즐거웠다.

또한, 간단히 넘어가도 될 수식적인 부분도 심도있게 가르쳐준다.

저작권 문제로 강의 영상 일부를 가져올 순 없지만 SGD에 대한 수식적인 부분도 세세하게 설명해주고 어떤 식으로 동작하여 어떤 결과를 가져오는지 깔끔하게 설명해준다.

모델 서빙도 말로만 들었지 실제로 적용해본적은 없었는데, AWS를 사용하여 서빙에 대한 개념도 잡아서 많은 도움이 되었던 강의였다.

패스트캠퍼스에서 이런 기회를 준 것에 대해 감사하고 초심자들이 길을 잃지 않고 앞으로 나아갈 수 있도록 강의를 구성하고 설명해준 Furiosa 재직자분들에게 감사를 표한다. 강의 중간중간에 들어있는 재미있는 만화짤들이 아직도 생각나는 걸 보면 강의를 만들기 위해서 정말 많은 고생을 한게 눈에 보인다. 만약, NPU에 관심이 있는 취준생, 직장인들이라면 들어보면 좋을 것 같다. 절대 후회하지 않을 강의라는 것을 보장한다.