# Data Crawling

5개의 포스트

Scraping & Crawling

| Data Scraping | Data Crawling | | --- | --- | | 웹에서 다양한 소스에서 특정 데이터 추출 | 웹의 모든 소스를 추출 | | 모든 규모에서 수행 가능 | 대부분 대규모로 수행 | | 중복 제거가 반드시 필요한 것은 아님 | 중복 제거 과정이 필수적임 | | 크롤링 Agent 및 Parser가 필요 | 크롤링 Agent...

2022년 5월 17일
·
0개의 댓글
·

항해99 개발일지 3주차

Python은 예전에 배운 적이 있어서 이번 주차 수업은 수월하게 진행되었다. 데이터 크롤링도 다른 방식으로 배웠는데 requests 라이브러리를 이용해서 크롤링 하는 법은 이번에 새로 배웠다. 사실 다른 주차 수업들도 재밌었지만 이번 주 수업이 훨씬 재미있게 느껴졌다

2022년 4월 28일
·
0개의 댓글
·
post-thumbnail

[Data Crawling] Selenium ('웹 디자이너를 욕하지 말자') TIP

데이터(웹) 크롤링? 웹페이지의 내용을 그대로 가져와서 필요한 데이터를 추출해 내는 것 (본 게시글은 크롤링(셀레니움)에 대한 전반적인 지식이 필요합니다. 아닐수도?) 크롤링을 하면서, 매일 매일 좌절을 겪었다. 정형화되지 않은 웹 형식, 아주 신기하게 'p

2021년 4월 5일
·
0개의 댓글
·
post-thumbnail

[Data Crawling] re ('cp949 codec can't encode character ... ') issue

요즘에 캡스톤 관련 작업으로 데이터 크롤링을 진행중인데, 크롤링 된 데이터를 csv파일로 쓰던 도중 아래와 같은 오류가 생겼다.인코딩에 문제가 있는데...찾아본 결과, Python3 부터는 ANSI 기준으로 작성된 파일만 핸들링 할 수 있다고 한다.그리하여, 기존의 코

2021년 4월 2일
·
0개의 댓글
·
post-thumbnail

[Data Crawling] Beautiful Soup ('Connection aborted') issue

많은 요청으로 인한 Beautiful Soup 로드 에러

2021년 4월 1일
·
0개의 댓글
·