[AR] Part.1 - Metal

AR

AR(Augmented Reality) 은 한국말로는 증강현실이라고 하고, 실제로 존재하는 환경에 가상의 사물이나 정보를 합성하여 마치 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다.

증강현실을 구현할 수 있는 툴이나 회사들은 많지만, 아무래도 iOS 개발을 하고 있고 자주 접하던 언어와 밀접하게 찾게 되었다.

애플의 AR기술은 이미 다양한 API들로 일반 개발자들도 구현할 수 있는 수준까지 왔다.

그럼 어떻게 구현할 수 있을까?

AR을 어떻게 구현해?

Xcode 에서 새로운 프로젝트를 만들 때 14.3 버전 기준으로 4번째에 해당하는 Augmented Reality App을 선택하여 만들 수 있다.

Augmented Reality App을 선택하면 제공되는 Kit과 기술들로는 RealityKit, SceneKit, SpriteKit, Metal 4가지가 제공이 된다.

그냥 하나로 하면 되는거 아닌가? 싶을 수 있다.
사실 내가 그랬다.

각각 다 다른 이유에서 만들어졌을테니 하나씩 살펴보도록 하자.

이 중 이번 파트에서는 Metal 먼저 살펴보도록 하겠다.

Metal

공식문서에서의 설명

Metal 프레임워크는 앱이 장치의 그래픽 처리 장치(GPU)에 직접 엑세스할 수 있도록 해줍니다. Metal을 사용하면 앱이 GPU를 활용하여 복잡한 장면을 빠르게 렌더링하고 계산 작업을 병렬로 실행할 수 있습니다.

예시를 들어보자면,

• 정교한 2D 또는 3D 환경을 제공하는 게임
• Final Cut Pro와 같은 비디오 처리 앱
• 대규모 데이터 세트를 분석하고 처리하는 과학 연구 앱 (아마 여기가 AR처리쪽인듯)
• 완벽한 몰입형 Vision OS 앱

Metal은 기능을 보완하는 다른 프레임워크와 함께 동작합니다. 예를 들어 MetalFX는 다른 렌더링의 속도보다 더 짧은 속도로 업스케일링을 도와주고, MetalKit은 Metal 컨텐츠를 화면에 표시하는 작업을 단순화 해줍니다.

Metal Performance Shaders 프레임워크는 각 GPU의 고유 하드웨어를 활용하는 최적화된 컴퓨팅 및 렌더링 쉐이더의 큰 라이브러리를 제공합니다. 비전OS에서 Compositor Services 프레임워크의 도움을 받아 완전히 몰입형 입체 콘텐츠를 만듭니다.

RealityKit, SceneKit, SpriteKit 및 Core Image를 포함한 많은 고급 애플 프레임워크가 Metal의 성능을 활용합니다.

이러한 고급 프레임워크는 GPU 프로그래밍 세부 사항을 구현합니다.

Metal은 SceneKit 또는 RealityKit이 렌더링할 수 있는 것보다 훨씬 많은 수의 다각형 또는 3D 입자를 렌더링할 때 빛나기 시작합니다.

---

Metal은 RealityKit, SceneKit, ARKit, CoreML, Vision, AVFoundation 등 모든 곳에서 구현된다는 점을 알게 되었다.

참고 & 인용 자료

https://borabong.tistory.com/16
https://developer.apple.com/documentation/metal