새로 실습해볼 httrack에 대해 알아보는 시간입니다!
실습환경은 비박스,칼리리눅스로 실습하였습니다!
httrack란? 기본적으로 web scraping의 종류중 하나이며 웹 사이트에서 원하는 정보를 추출하는 방법입니다!
1.httrack 다운
httrack를 실습해보기 위해 우선 저장소 업데이트 후
apt install을 사용하여 httrack를 다운받아줍니다!
다운이 다된것을 확인했습니다!
2.bee-box의 ip 확인하기!
1.크롤링 시켜줄 beebox의 ipaddr를 확인하고 복사 또는 기억 해줍니다!
3.httrack를 실행 크롤링할 ip주소 확인
1.httrack를 실행시켜 가볍게 실습하는것이니 5가지의 번호중 1번을 선택하여 웹사이트만 복사를 해주었습니다!
2. 프록시와 다른것들은 초보이기도하고 우선 모르기에 건너뛰어주었습니다!
2-1 url 정보에 아까 확인해두었던 beebox의 ipaddr를 url적는 문구에 붙혀넣기를 하여 잘 실행될수있도록 해줍니다!
3.크롤링될될 경로를 확인해보면 /root/websites/beebox_test에 저장됨을 확인하고 기억해 다될때까지 기다려줍니다
4. 경로 재확인,작업이 정상적으로 작동되나 확인하기
아까 실행시키면서 보았던 경로를 통해 들어가 이렇게 정상적으로 잘 작동이 되고있는가 다른 하나의 콘솔창을 실행시켜눈으로 확인했으나 잘 작동되는것을 볼수 있었습니다!
5.파일에 저장된 index.html을 통해 접속하여 작동되는지 확인!
마지막으로 직접 파일들에 들어가 크롤링된 index.html파일을 클릭하여 접속해서 목적이였던 beebox웹크롤링이 정상적으로 실행되는가도 확인해주었습니다!
오랜만에 적는 실습 후기
칼리리눅스에 대해 실습공부를 해보면서 이런식으로 칼리리눅스로 크롤링이 가능하구나, 다양한 기능들이 많구나에 대해 알아가는것같습니다! 아직 못해본것들이 다양하나 하나하나 알아가는것에 대해 뿌듯함을 느끼고 언젠간 버그헌팅 할수 있을정도의 실력에 가까워지면 좋을것같단 생각을 하며 열심히 해야겠단생각이듭니다!
