주제?
우리학교는 구글클래스룸으로 채용공고가 들어온다.
매번 들어가서 볼 때마다 가독성이 떨어졌다.
또한 회사주소(출근생각하면), 업무를 내가 보고 싶은 범위에서 보고 싶었다.
그래서 학교 채용의뢰로 들어오는 회사들을 정렬하고, 사용자에 맞게 볼 수 있는 서비스를 기획하게 되었다.
막막...
웹스크래핑을 사용해야한다.
웹스크래핑이란?
웹에서 필요한 정보만 가져오는 기술이다.
전에 영상을 보고 채용공고사이트를 만들어본적이 있다.
하지만 따라 치기만해서 잘 모른다..ㅎ
또한! 내가 스크래핑하려는 사이트는 클래스룸으로 소속 학생만이 들어갈 수 있다.
로그인이 필요한 사이트기 때문에 스크래핑이 더욱 골치 아파졌다.
어떻게 하면 로그인이 필요한 사이트를 스크래핑할지 열심히 구글링 해보았다.
1. 쿠키, 세션을 사용
내 쿠키흔적으로 웹페이지에 들어가는 방식이다.
하지만 새로고침되는 웹페이지만 가져오고 정작 채용의뢰정보를 가져오지 못했다...
계속 이 웹만 나온다
2. 그냥 정직하게 로그인 가즈아~
개발자도구에서 사용자의 login, password를 가져와, 로그인하는 방식이다.
개발자도구 - 네트워크 - form data에서 login, password를 볼 수 있다는데...
왜 없지....
3. selenium, chrome-googleDriver을 사용
자동화시스템이다. 직접 로그인을 하고, 스크래핑 하는 방식이라 시간이 많이 걸린다.
자동화이기 때문에 동작하나하나 내가 코드로 짜주어야한다는 번거로움이 있다.
구글은 아이디를 입력하고 다음을 눌러야 비밀번호를 입력할 수 있다. 아주아주아주 귀찮다!!!!
즉, 저 input에 id입력 후 다음 버튼을 클릭해야하는 코드를 더 작성해야한다. 아주아주아주 번거롭다
이 방법으로 한 글은 길어질 것같아서 다음 포스트로 작성하도록 하겠다.
