# 크롤링
2020-03-02 파이썬으로 학교 급식 파싱
학교에서 급식표를 보려면 지정된 장소에서 봐야하길래 웹으로 급식을 편하게 확인 가능하면 좋을 것 같아서 급식웹을 만들어주기로 하였다.일단 급식웹을 만들려면 급식을 받아서 뿌려주는 api가 필요하다. 그래서 나이스 학생서비스의 학교정보에 있는 주간식단에서 급식정보를 불러
210207-크롤링
강의 수강 1) 인프런크롤링 30분 요약 강좌 - 1부 2) 인프런파이썬 엑셀 프로그래밍 - 사칙연산 및 엑셀 함수 찾는 법 3) 유투브\_웹 데이터 수집의 기술 01 엑셀 VBA강의 수강 1) 인프런크롤링 30분 요약 강좌 2부 2) 인프런크롤링 30분 요약
파이썬으로 크롤링하기 with bs4
크롤링이 가능한 이유? 내가 받아온 데이터를 솎아내는 것브라우저를 통하지 않고 요청 -- requests lib받아본 데이터를 솎아내기 -- bueatifulsoup4가지고 오고싶은 html element의 선택자를 이용해 데이터를 추출한다. 나는 '포드 V 페라리'를
[번역] 텍스트 밀도를 통한 DOM 기반 컨텐츠 추출
최대한 원문 그대로 번역하고자 했고 애매한 부분들은 다 번역기 돌렸지만 그럼에도 불구하고 제가 이해한대로 번역했기 때문에 의역에 의한 왜곡이 있을 수 있습니다. 오타, 오역 지적해주시면 감사하겠습니다. 🥰
Scrapy - fake useragent 설정하기
scrapy-fake-useragent💎 Scrapy에서 간단하게 fake-useragent 방법을 정리하겠다.구글에서 scrapy fake useragent 검색을 하면 잘 나온다.아무래도 크롤링을 하다 보면 User Agent 정보를 headers에 추가해서 전달
Scrapy - 설치 및 실행
위키백과최근 기계학습을 위한 데이터의 수집 및 전처리 과정등을 위해 웹 크롤러의 역할이 점차 중요해지고 있다. Scrapy를 알고 있다면 크롤링을 좀 더 안정적이고, 빠르게 할 수 있고, 다양한 포맷으로 저장할 수도 있다.😎 Scrapy 공부한 내용을 정리해 보겠다.
[부스트캠프 Ai] Week 1 Day 5
File/Exception/Log Handling Execption 예상 가능한 예외 발생 여부를 사전에 인지할 수 있는 예외 사용자의 잘못된 입력, 파일 호출 시 파일 없음 개발자가 반드시 명시적으로 정의 해야함 예상 불가능한 예외 인터프리터 과정에서 발생하는 예
