최근 sim2real 기법으로 딥러닝의 부족한 데이터를 채우는 모습을 확인할 수 있다. 나 또한 이러한 기법에 깊게 감명받아 3d design과 simulation을 공부하려고 한다.
먼저 3d design 툴은 어떤 것들이 있을까?
Autodesk 사의 제품들이 우리가 주로 사용하는 것이고, 공대생이라면 creo, cartia, solid works 등이 더 익숙할 것이다. 예체능 사람들에게는 blender, 3d max 등이 익숙하다.
그 다음 위의 3d 툴로 만든 것들을 simulation 해보고 싶을때, 어떠한 플랫폼을 사용할까?
unity, unreal, gazebo, carla 등이 있다.
각각의 장단점은 존재한다. 나같은 경우에는 gazebo만 사용해봤으며 unity, unreal은 사용이 어려워 중도 하차를 했다. 하지만 최근 sim2real 기법이 대세로 자리잡으며 다시한번 simulation 툴을 익히겠다는 다짐을 하였다.
Nvidia omniverse라고 들어는 보았나?
비교적 최근에 나온 플랫폼이며 정확한 실시간 시뮬레이션과 협업이 가능한 툴이다. 아래는 nvidia korea에서 설명한 내용이다.
NVIDIA Omniverse™는 가상 협업 및 물리적으로 정확한 실시간 시뮬레이션을 위해 구축된 개방형 플랫폼입니다. 크리에이터, 디자이너, 연구자 및 엔지니어는 주요 설계 도구, 자산 및 프로젝트를 연결하여 공유 가상 공간에서 협업하고 과정을 반복할 수 있습니다. 개발자와 소프트웨어 제공업체는 Omniverse의 모듈식 플랫폼에서 확장 프로그램, 앱, 커넥터 및 마이크로 서비스를 쉽게 구축 및 판매하여 기능을 확장할 수도 있습니다.
핵심 특징은 다음과 같다.
1. 사용자와 애플리케이션 간의 실시간 협업이 가능
2. 실시간 속도. 오프라인 품질
3. NVIDIA RTX 기술로 렌더링된 사실적인 이미지를 모든 디바이스에서 스트리밍 가능
4. 2D -> 3D workflow 가속
두번째는 영문 버전으로 nvidia omniverse를 설명한 링크이다.
여기서 내가 주의 깊게 본것은 nvidia omniverse가 따로 사용하는 데이터 형식 USD이다.
Universal Scene Description (USD) is an easily extensible, open-source 3D scene description and file format developed by Pixar for content creation and interchange among different tools. As a result of its power and versatility, it’s being widely adopted, not only in the visual effects community, but also in architecture, design, robotics, manufacturing, and other disciplines. Omniverse uses USD for interchange through the Nucleus DB service.
로봇쪽에서도 채택하는 데이터 형식이라하니, 이제 sdf를 보내주고 usd를 사용하는 omniverse의 세계로 가보자...
Omniverse는 다음 5가지 핵심 component를 갖고 있다.
1. Nucleus
2. Connect
3. Kit
4. Simulation
5. RTX Renderer
Omniverse consists of 5 key parts: Nucleus, Connect, Kit, Simulation, and RTX Renderer. These components, along with interoperable third-party digital content creation (DCC) tools and renderers - and third-party and NVIDIA-built extensions, apps, and microservices make up the full Omniverse ecosystem.
즉 타사 제품과 화합하기 위해 사용되는 툴이라는 것. 각각에 대해 알아보자.
Nucleus
Connect
Kit
Simulation
RTX Renderer
Nvidia Create
[ref]
- https://www.youtube.com/watch?v=i1lxZaCs0tA
- https://developer.nvidia.com/
- https://developer.nvidia.com/usd#usd
- https://graphics.pixar.com/usd/release/index.html
- https://www.nvidia.com/ko-kr/omniverse/
- https://docs.omniverse.nvidia.com/
- https://developer.nvidia.com/?destination=node/906120&autologout_timeout=1
- https://www.nvidia.com/en-us/self-driving-cars/simulation/
- https://www.youtube.com/watch?v=jtMoxUyPPXk
