Movement Pruning

Movement Pruning

movement pruning 이란 fine tuning 과정에서 각 가중치가 어떻게 변하는 지 추적하고, 그 변화의 방향 (증/감) 에 따라 가중치를 선택적으로 pruning 하는 방식이다.

즉, 학습 중 “가중치가 줄어드는 방향 (0에 계속 가까워지는 방향)” 으로 계속 움직이는 경우 (변화량이 음수), 그 가중치는 최종적으로 중요도가 낮다고 보고 잘라낼 수 있다. 반대로 작더라도 점차 커지거나 유지되는 방향 (변화량이 양수) 면 살려둔다.

지금은 가중치가 크지만, 계속해서 감소하는 방향이라면 실제로는 중요하지 않을 수 있다는 점을 반영한다. 가중치가 작아도 증가 추세면 중요해질 수 있으므로 유지한다.

magnitude pruning 과의 차이점

• magnitude pruning fine tuning 직후 혹은 도중 절댓값이 작은 가중치부터 잘라내는 기법. 간단하고 직관적이지만, “작은 가중치”임에도 불구하고 나중에 커질 가능성이 있거나, “큰 가중치” 지만 점점 줄어드는 중인 경우를 구분하지 못할 가능성이 존재한다.