[picoCTF] where are the robots writeup

문제

https://play.picoctf.org/practice/challenge/4?category=1&page=1&search=

Hints : What part of the website could tell you where the creator doesn't want you to look?

힌트를 확인했을 때 무언가가 숨겨져 있다는 식으로 이야기하길래 css를 통해 검은 글씨로 flag를 숨겨놓았나 하며 깊이 삽질을 시작했다.
전혀 아니었고 robots.txt에 대한 정보를 알았다면 쉽게 풀었을 문제였다.

풀이

robots.txt란?

robots.txt는 로봇 프로그램의 무자비한 크롤링을 자제하기를 권고하는 안내문이다. URL 뒤에 /robots.txt를 붙이면 해당 페이지의 robots.txt가 출력된다.
아래와 같은 field를 통해 크롤링의 범위를 설정할 수 있다.

• user-agent: 규칙이 적용되는 크롤러 식별
• allow: 크롤링할 수 있는 URL 경로
• disallow: 크롤링할 수 없는 URL 경로
  
  

호기심에 네이버의 robots.txt 파일을 확인해보았다.
(https://www.naver.com/robots.txt)

User-agent: *
Disallow: /
Allow : /$ 

robots.txt라는 파일이 위의 내용으로 다운로드 되었다.
이에 대한 더욱 자세한 정보는 이곳에서 확인 가능하다.

해결 과정

출력되는 메인 페이지이다. 웅장하다.
링크의 끝에 robots.txt를 붙여 파일을 확인하니 위와 같이 8028f.html 파일을 허용하지 않았다.
8028f.html 파일에 접속하기 위해 링크의 끝에 /8028f.html을 추가하니 flag을 획득할 수 있었다.

정답

사진 참조