• https://github.com/facebookresearch/Replica-Dataset

• 

1. Replica 데이터셋

• Replica 데이터셋은 다양한 실내 공간의 고품질 재구성 데이터셋
• 각 재구성은 아래를 포함합니다.
  • 깨끗한 dense geometry,
  • 고해상도 및 high dynamic range textures,
  • 유리 및 거울 표면 정보,
  • planar segmentation
  • semantic class
  • instance segmentation
• 이 저장소에 포함된 Replica SDK는
  • ReplicaViewer를 통해 데이터셋을 시각적으로 검사할 수 있게 해주며,
  • ReplicaRenderer를 통해 씬에서 -> 이미지를 headlessly 렌더링하는 예제를 제공
• 기계 학습 목적으로,
  • 각 데이터셋은 AI Habitat에서 사용되는 형식으로 내보내기를 포함하고 있으며,
  • 따라서 AI 에이전트 훈련 및 기타 ML 작업에서 원활하게 사용할 수 있습니다.
• 각 Replica는 다음과 같은 asset을 포함합니다:

├── glass.sur
├── habitat
    ├── mesh_semantic.ply 
    ├── mesh_semantic.navmesh
    ├── info_semantic.json
    ├── mesh_preseg_semantic.ply 
    ├── mesh_preseg_semantic.navmesh
    ├── info_preseg_semantic.json
    ├── replica_stage.stage_config.json
    └── sorted_faces.bin 
├── mesh.ply
├── preseg.bin
├── preseg.json
├── semantic.bin
├── semantic.json
└── textures
    ├── 0-color-ptex.hdr
    ├── 0-color-ptex.w
    ├── 1-color-ptex.hdr
    ├── 1-color-ptex.w
    ├── ...
    └── parameters.json

2. 각 파일의 내용:

• glass.sur: 유리 및 거울 표면의 매개변수화.
• mesh.ply: 씬의 정점 색상 포함 쿼드 메쉬.
• preseg.json 및 preseg.bin: 씬의 평면 및 비평면 사전 분할.
• semantic.json 및 semantic.bin: 씬의 의미적 분할.
• textures: 씬의 고해상도 및 고동적 범위 텍스처.
• habitat/mesh*semantic.ply: AI Habitat용 의미적 또는 사전 분할 정보가 포함된 쿼드 메쉬.
• habitat/info*semantic.json: 각 mesh_*.ply의 인스턴스 ID에서 의미적 이름으로의 매핑.
• habitat/mesh*semantic.navmesh: AI Habitat용 네비게이션 그리드.
• habitat/replica_stage.stage_config.json: habitat-sim용 씬 레벨 매개변수를 정의하는 구성 파일.
• habitat/sorted_faces.bin: habitat-sim Ptex 렌더링 지원을 위한 사전 처리된 기하 데이터가 포함된 바이너리 파일.

3. Mac OS 및 Linux에서 다운로드

pigz, wget, 및 unzip이 설치되어 있는지 확인하십시오:

# Mac OS에서
brew install wget pigz unzip
# Ubuntu에서
sudo apt-get install wget pigz unzip

데이터셋을 다운로드하고 압축을 풀려면 download.sh 스크립트를 사용하십시오:

./download.sh /path/to/replica_v1

4. Windows에서 다운로드

win_download.bat을 실행하여 Replica를 다운로드합니다.

5. Replica SDK

5.1. 설정

Pangolin의 종속성을 설치한 후, build 스크립트를 사용하여 Replica SDK를 컴파일할 수 있습니다:

git submodule update --init
./build.sh

Pangolin 및 Eigen의 종속성을 설치해야 합니다. 무인 렌더러를 사용하려면 libegl1-mesa-dev 패키지가 필요합니다.

6. ReplicaViewer

ReplicaViewer는 Replica 데이터셋을 탐색하기 위한 인터랙티브 UI입니다.

./build/bin/ReplicaViewer mesh.ply /path/to/atlases [mirrorFile]

HDR 텍스처에서 렌더링할 노출 값은 좌측 상단에서 조정할 수 있습니다.

7. ReplicaRenderer

ReplicaRenderer는 UI 없이 프로그램으로 정의된 궤적에서 이미지를 렌더링하는 방법을 보여줍니다. 이 실행 파일은 서버에서 무인으로 실행할 수 있습니다.

./build/bin/ReplicaRenderer mesh.ply textures glass.sur

8. Replica와 AI Habitat

Replica를 AI Habitat에서 사용하려면 AI Habitat Sim을 체크아웃하세요. 프로젝트를 빌드한 후 모든 것이 제대로 작동하는지 확인하려면 테스트 뷰어를 실행할 수 있습니다:

./build/viewer --dataset /PATH/TO/REPLICA/replica.scene_dataset_config.json -- frl_apartment_0