220920_TIL

Keyword

인스타그램, 스크레이핑, selenium

한 것

인스타그램 게시물 스크레이핑하는 코드 짜는 걸 어제에 이어 했다.

• 어제 말한 레퍼런스 코드의 큰 형태만 쓰고 세부 내용은 내가 필요한 방향에 맞게 다 바꾸었다. element(경로)는 아예 하나하나 다 직접 찾아서 수정해야 했다.
  • 예전에 개인 프로젝트할 때 스크레이핑에 실패했던 원인도 그랬고, 원하는 요소에 접근해 데이터를 가져오는 게 아직은 완벽하지는 않은 것 같다. 이거 100% 맞아! 라는 것보다는 '이렇게 경로 지정하면 될 것 같은데 한 번 해보자! 안되면 다시 해보지 뭐!'의 느낌으로 작업했다. 여하간 잘 되긴 했다.
  • 오늘은 페이지의 원하는 부분 포인터 지정하고 해당 부분 마우스 우측 클릭- selector 복사를 이용해 경로 가져오는 걸 활용했다.
• 댓글 정보 가져오기, 다음 게시물로 넘어가는 버튼 클릭하는 부분 실제 잘 돌아가는지 확인만 하면 되는데 오늘 못 할 것 같다. 개별 계정 메인 페이지에서 게시물이 모두 보이지 않는다. 아마 계속 접근하니까 접근이 일시 차단된 것 같다. 빨리 해버리고 싶었지만 어쩔 수 없이 좀 기다려봐야겠다. 일단 time.sleep() 대기 시간을 좀 더 늘려두긴 했는데 효과가 있을지는 모르겠다.

=> 수정)

• 다른 거 하고 돌아오니 풀려있어서 테스트 돌려봤다. 게시물 넘어가는 건 잘 되는데 코멘트가 제대로 안들어온다. 내일 다시 수정해보고 파일 저장까지 해보고 부탁하신 분한테 피드백 함 받아보자.

느낀 것

• 오늘 한 건 간단한 작업이었는데 마무리 못 한다니 아쉽다..