LPF와 EMA

시계열 data에서 LPF를 구현하는 방법

• 시계열 data에서 LPF를 구현하기 위해서는 average를 구하는 방식을 취한다.
• 가령, $a_1, a_2, a_3$의 평균 $m_1$에서 새로 들어오는 값 $a_4$가 있을 경우, $\frac{a_1-a_4}{3} + m_1$을 해서 새로운 평균 $m_1$ 을 구하는 식으로 진행한다.

EMA

• 이를 DINO의 EMA에 적용시키면 다음과 같다.

• momentum 인자들이 급격히 변하는 student의 gradient를 blocking 한다.
• 또한, batch 내에서 average를 구해서 high frequency - noise - 를 제거한다.

• 그럼 왜 exponential EMA를 사용할까?
  • 최근에 들어온 정보를 더 크게 반영해 주기 위해
  • exponential 을 직접적으로 사용하는게 아니고, 저 붙은 수식들을 전개하면 exponential 의 테일러 전개 꼴이 나와서 그런 것임