EfficientSAM: Leveraged Masked Image Pretraining for Efficient Segment Anything

EMA (Exponential Moving Average)

• 교사 네트워크의 파라미터 θt를 학생 네트워크의 파라미터 θs 기반으로 업데이트하는 방식.

• 교사 네트워크가 학생 네트워크의 최근 학습 상태를 부드럽게 따라가도록 하며, 학습의 안정성과 성능 향상에 기여.

• 여기서 $\lambda$는 모멘텀 비율로, 1과 매우 가까운 값으로 책정.