python 크롤링

크롤링 해보기 !

쥬피터를 사용해 python 크롤링을 해보자 !

• 이미지 간단 다운로드 해보기 !

다운로드 완료 !

---

기본 사용법!

• urllib.parse.urlencode() : url 인코딩, 한글 쿼리스트링 변환
• urllib.request.urlopen(url) : url을 인수로 받아 HTTP 요청 후 응답을 받음
• response.getcode() : 응답 코드 200 이면 OK, 404 면 File Not Found 등등
• response.read() : 응답에서 html등을 읽어 옴

---

requests 사용법 !

• requests.get(url) : url 인수로 받아 HTTP 요청 후 응답을 받음
• requests.get(url, params=params) : parmas= GET 방식으로 요청
• requests.get(url, data=data) : data= POST 방식으로 요청
• requests.get(url, headers=headers) : 헤더 값 추가 시 headers= 요청 헤더 값 추가해서 요청
• response.status_code : 응답 코드 200 이면 OK, 404 면 File Not Found 등등
• response.text : 응답에서 html등을 읽어 옴

---

다음 사이트 사용 !

• Agent값을 가져오므로써 요청, 응답받을 수 있다 !
• url의 변경으로 각각의 사이트를 받아올 수 있다 !
  pc
  

다음 모바일

응용으로 네이버도 간단히 해보자 !!
간단히 url 주소만 수정해준다면 ? 데이터를 받을 수 있는 것이다 !!

모바일의 Agent를 사용했기 때문에 모바일의 값을 받는것을 확인가능 !

---

BeautifulSoup

• HTML 과 XML 정보 추출을 도와 주는 모듈 패키지
  

• text 전체 추출
  

• 원하는 부분만 추출할 수도 있다 !!
  

• 여러개를 가져오는 방법 (리스트로 추출됨)
  
  

• 아래의 실행결과는 모두 같은 것을 알 수 있다 !
  
  

• header태그나 id값으로 가져올 수 있다!
  

JSON 처리하기

---

추가적으로 jsonview를 한번 써보자 !!

내가 url주소로 사용하려던

{"totSellamnt":109407294000,"returnValue":"success","drwNoDate":"2024-06-22","firstWinamnt":2195289188,"drwtNo6":44,"drwtNo4":33,"firstPrzwnerCo":12,"drwtNo5":40,"bnusNo":30,"firstAccumamnt":26343470256,"drwNo":1125,"drwtNo2":14,"drwtNo3":25,"drwtNo1":6}

jsonview를 사용하여 주소를

로 보기좋게 해줄 수 있다 !!