Unity Barracuda 적용 사례 정리 (튜토리얼 수준)

• 3D 모델링 친구랑 오랜만에 만나서 얘기하다가 유니티로 뭐 재밌는 거 있으면 해보자고 얘기나 온 김에 정리한 포스트.

• 유니티에는 바라쿠다라는 AI 모델 돌리게 해주는 패키지가 있는데 이걸 사용하기 위한 튜토리얼 수준의 프로젝트를 정리해본다

• 참고로 유니티 바라쿠다는 ONNX 기반의 모델을 사용하는데, 이건 딥러닝 프레임워크에 상관없이 모델이 돌아갈 수 있도록 도와주는 프레임워크의 일종

NNCam

• 웹캠 배경 제거를 위한 프로젝트
• BodyPix라는 ResNet50 기반의 포즈 측정 기술을 활용
• 튜토리얼 비디오: https://www.youtube.com/live/5oKgj8q83ec?feature=share
• 깃허브 프로젝트 링크: https://github.com/keijiro/NNCam

HandPoseBarracuda

• 손바닥/손가락 트래킹 프로젝트
• 깃허브 프로젝트 링크: https://github.com/keijiro/HandPoseBarracuda

Waifu2xBarracuda

• 이미지 업스케일링을 위한 프로젝트
• 이걸 왜 유니티에서 해야하는 의문이 생겼는데 리소스 많이 차지하는 텍스쳐를 이를 활용해서 좀 더 가볍게 만드는 데 쓸 수 있다는 듯?
• 깃허브 프로젝트 링크: https://github.com/keijiro/Waifu2xBarracuda

In-Game Style Transfer Tutorial Leveraging Unity

• 게임 배경을 위한 스타일 트랜스퍼
• 유튜브 데모: https://youtu.be/JhFivpJhV-Q
• 프로젝트 소개 링크: https://www.intel.com/content/www/us/en/developer/articles/technical/in-game-style-transfer-tutorial-leveraging-unity.html

MNIST with Baraacuda

• MNIST 분류 모델 가져와서 숫자 맞추기 캐치 마인드 같은 거 만드는 튜토리얼
• 유튜브 강의: https://youtu.be/ggmArUbRvC4

Inference BERT NLP with C# ONNXRuntime

• 와우 드디어 찾은 NLP 계열 모델
• QnA 시스템에 활용한다 (질문이 들어오면 BERT를 통해 답변을 생성하는 활용)
• 유튜브 강의: https://youtu.be/7gDrt-SQZc8

---

글을 마치며

• 주로 시각적 인터렉티브에 초점이 맞춰진 탓인지 컴퓨터 비전 모델 올려둔 모델이 대부분, 예를 들어 얼굴 인식, 포즈 인식이 제일 흔한 활용이었다
• 일단 컴퓨터 비전 쪽 튜토리얼 따라가면서 바라쿠다 적응해보고, NLP 모델로 넘어가는 게 좋겠다 (여기는 참고자료가 별로 없어서 거의 맨땅에 헤딩하기 같은 느낌?)