sim2real gap ideation

Domain Adaptation

• 한 도메인에서 학습한 모델을 다른 도메인으로 일반화하는 문제를 다루는 기술입니다.
• 도메인은 데이터의 분포, 특성, 환경 등과 관련된 속성을 의미하며, 도메인 간에는 데이터 분포나 특성이 다를 수 있습니다.
• 하지만 현실적으로는 학습 데이터와 테스트 데이터가 서로 다른 도메인에서 추출될 수 있습니다.
• 예를 들어, 카메라로 촬영한 이미지와 실제 환경에서 수집한 이미지는 조명, 해상도, 배경 등의 측면에서 차이가 있을 수 있습니다.
• 이런 경우, 학습한 모델을 실제 환경에서 성능을 발휘하도록 일반화하는 것이 도메인 어댑테이션의 목표입니다.
• 도메인 어댑테이션은 주로 두 가지 상황에서 사용됩니다.
• 첫째, 대상 도메인의 레이블이 없는 상황에서 소스 도메인의 레이블이 있는 데이터를 이용하여 대상 도메인에서의 성능을 향상시키는 것을 목표
• 둘째, 소스 도메인과 대상 도메인이 주어졌을 때, 두 도메인 간의 차이를 최소화하여 소스 도메인에서 학습한 모델을 대상 도메인으로 일반화하는 것을 목표
• 주로 사용되는 방법은 특징 추출 방법과 분포 매칭 방법
  • 특징 추출 방법은 공통된 특징을 학습하여 도메인 간의 차이를 줄이는 것을 목표
  • 분포 매칭 방법은 소스 도메인과 대상 도메인 간의 데이터 분포를 일치시키는 방법을 사용

Transfer Learning from Simulation to Real World

• "시뮬레이션 데이터에서 학습한 모델을 실제 환경에서 사용하기 위해 전이학습(Transfer Learning)을 적용하는 개념입니다.
• Transfer Learning:
  • 한 도메인에서 학습한 지식을 다른 도메인으로 전달하여 성능을 향상시키는 기법
• 시뮬레이션 데이터는 가상 환경에서 생성된 데이터로, 특정 상황이나 조건을 시뮬레이션하여 생성됩니다.
• 이러한 데이터는 비교적 쉽게 생성할 수 있으며, 레이블링된 데이터도 효율적으로 확보할 수 있습니다.
• 반면에 실제 환경에서 수집된 데이터는 더욱 복잡하고 다양한 변동성을 가지며, 레이블링된 데이터를 효율적으로 확보하는 것도 어려울 수 있습니다.
• "Transfer Learning from Simulation to Real World"의 목표는 시뮬레이션 데이터에서 학습한 모델을 실제 환경에서의 작업에 적용하는 것
  • 시뮬레이션 데이터로 사전에 학습된 모델을 사용하면, 실제 환경에서 데이터를 수집하고 레이블을 생성하는 데 드는 시간과 비용을 절약할 수 있음
  • 이를 통해 실제 환경에서의 성능을 개선하고, 데이터 부족 문제를 극복할 수 있습니다.
• Transfer Learning은 주로 두 가지 방식
  • 첫째,
    • 사전 학습된 모델의 일부 또는 전체를 고정(fixed)하고,
    • 새로운 실제 환경 데이터로 모델을 fine-tuning하는 방법
    • 시뮬레이션 데이터로 학습한 모델의 일반화된 특징을 유지한 채로, 실제 환경 데이터에 맞게 조정하여 성능을 개선
  • 둘째,
    • 사전 학습된 모델의 일부를 feature extractor로 사용하고,
    • 새로운 실제 환경 데이터에 대해 새로운 분류기(classifier)를 학습하는 방법입니다.
    • 이 방법은 모델의 하위 층은 이미지의 공통 특징을 추출하는 역할을 하고, 상위 층은 특정 작업에 특화된 특징을 학습하는 데 활용됩니다.

GAN(Generative Adversarial Networks)

• GAN(Generative Adversarial Networks)은 시뮬레이션과 실세계 데이터 간의 차이를 줄이는 데에 활용될 수 있는 강력한 도구
• GAN은 생성자(generator)와 판별자(discriminator)라는 두 개의 신경망으로 구성되어 있음
• GAN의 핵심 아이디어는 생성자와 판별자가 서로 경쟁하며 학습하는 것입니다.
  • 생성자: 시뮬레이션 데이터를 실세계 데이터에 근접한 형태로 생성하기 위해 노력
    • 실제 데이터와 유사한 분포를 생성하도록 훈련
  • 판별자: 생성된 데이터와 실제 데이터를 구분하는 능력을 향상시키기 위해 학습
    • 두 종류의 데이터를 잘 구분할 수 있도록 훈련
• GAN을 사용하여 시뮬레이션과 실세계 데이터 간의 gap을 줄이는 방법들
  • 시뮬레이션 데이터를 실제 데이터와 유사한 분포로 생성
    • 생성자 네트워크는 시뮬레이션 데이터를 실제 데이터와 유사한 분포로 생성하도록 학습
    • 이를 통해 시뮬레이션 데이터를 사용하여 실세계 데이터의 특성과 분포를 모사할 수 있음
  • 데이터 확장과 다양성 증대
    • GAN을 사용하면 생성자가 다양한 형태와 특징을 갖는 데이터를 생성할 수 있음
    • 이는 시뮬레이션 데이터의 다양성을 확장하고 실세계 데이터의 다양성을 증대시킬 수 있는 장점을 제공
  • 데이터 부족 문제 해결
    • 실세계 데이터의 수집이 어려운 경우, GAN을 사용하여 시뮬레이션 데이터를 이용하여 모델을 사전 학습한 후, 이를 실세계 데이터로 fine-tuning하거나 전이학습을 수행할 수 있음
    • 이는 데이터 부족 문제를 극복하고 모델의 성능을 향상시킬 수 있는 방법
  • 도메인 간의 분포 매칭
    • 판별자 네트워크는 생성된 데이터와 실제 데이터를 구분하도록 학습
    • 이를 통해 생성된 데이터의 분포를 실세계 데이터의 분포에 근접하게 만들 수 있음
    • 이는 시뮬레이션 데이터와 실세계 데이터 간의 분포 차이를 줄이고, 두 데이터 간의 유사성을 향상
• GAN은 시뮬레이션과 실세계 데이터 간의 차이를 줄일 수 있는 강력한 도구로서, 시뮬레이션 데이터를 이용하여 실제 데이터의 특징과 분포를 모사하고 다양성을 확장할 수 있습니다.
• 이를 통해 전이학습이나 도메인 어댑테이션과 같은 문제에서 실제 데이터의 부족 문제를 극복하고 모델의 성능을 개선할 수 있습니다.