viewPager2
offscreenPageLimit : 이 메서드는 페이지를 로드 했을 때 미리 로드할 페이지의 개수를 선언하는 메소드입니다. 말 그대로 1를 넣으면 1개를 미리 로드를 합니다. 이 메서드 한 줄 추가하여 제가 고민한 문제점을 해결할 수 있었습니다.
offscreenPageLimit
viewPager2.offscreenPageLimit = 1