급히 robots.txt를 복구했다. 하지만 바로 반영되지 않았다. 하루가 지나도 바뀌지 않는다.
robots.txt가 제대로 작성된 것이 맞는지 의구심이 생길 때, 다른 방식으로 검증해 볼 수 있다.
네이버 : 사이트 간단 진단
아래과 같이 네이버 검색로봇의 정보를 수집이 가능하다는 것을 알 수 있다.