# Web Crawling
[Week3] (Web Crawling) KOSPI 전종목 지수 가져오기
크롤링 연습에 가장 좋은 것이 바로 주식 데이터 불러오기다.동학개미로서 참을 수 없었기 때문에 KOSPI 전종목을 불러오는 코드를 통해 실습을 진행해보았다.코드를 하기 전 준비물은 전종목 kospi 종목코드다.
[Week3] (Web Crawling) 웹 크롤링이란?
웹 크롤링은 데이터 사이언스를 하는데 있어서 알아두면 굉장히 좋은 스킬이다. 아마 코딩을 배우는 분들이면 많이 들어봤을 것이다. 그렇다면, 웹 크롤링은 대체 무엇일까? 어원을 보면 '웹을 긁어오는 것' 이라는 뜻이다.
실습을 위한 웹크롤링 - 6. 브라우저와 셀레니움
브라우저가 셀레니움을 조종하는 관계, 화면에 그려주는 것은 렌더링이다. html 문서를 화면에 그리는 것을 브라우저가 한다. 그리고 북마크와 비밀번호 채우기, 보안관리, 동기화, 개인화 등을 브라우저가 한다.ex)네이버 접속(HTTP 통신, 렌더링)블로그 버튼 클릭(인
실습을 위한 웹크롤링 - 5. 썸네일 만들기
img를 가져오기 위해서 사용할 썸네일 만드는 사이트다.https://wonkooklee.github.io/thumbnail_maker/utm_source=pocket_mylist(이미 썸네일을 다 만들고 나서 작성하는 블로그)이곳에서 이미지 URL이 필요하기
실습을 위한 웹크롤링 - 4. 한우가격 가져오기
나는 돼지고기나 돼지가 나는 지역에 대해서 앞으로 데이터를 만지기 때문에, 한우가격을 불러와 보기로 했다.한우가격은 축산물품질평가원에서 가져왔다.출처: https://www.ekapepia.com/index.do생각보다 간단하게 되어있고, 한우의 이름과 가격이
실습을 위한 웹크롤링 - 3. 환율 계산기 만들기
requests를 활용한find(), split() 등을 활용한 문자열 파싱정규식(regex)를 활용한 패턴검색쿼리스트링에 대한 이해beautifulsoup을 활용한 편리한 html 파싱css selector를 활용한 손쉬운 파싱환율지표 시장은 이렇게 생겼다.처음 미국
실습을 위한 웹크롤링 - 2. 요약
인터넷과 웹웹서버와 디비http와 소켓브라우저웹앱과 api크롤링 주의사항requestsxml, html,json, jsonp, binaryregexbeautifulsoupcssbrowserseleniumF12를 통해서 개발자 도구를 들어갈 수 있다. 왼쪽 상단 첫번째에
실습을 위한 웹크롤링 - 1. 준비단계
컴퓨터 소프트웨어 기술로 웹 사이트들에서 원하는 정보를 추출하는 것을 의미한다. 웹크롤러란 인터넷에 있는 웹페이지를 방문해서 자료를 수집하는 일을 하는 프로그램이다. 멜론 사이트에서 현재 음악 차트 순위 자료가 필요하다면, 사이트에 가서 엑셀에 값을 넣고 정리해서 보고
[python] web crawling
프로젝트 준비 덕분에네이버쇼핑 선물하기 빠른배송 웹 크롤링을 해보았다.'나도코딩'의 네이버 항공권 웹크롤링 영상 시청 후, 혼자 응용한 것이다.webdriver가 잘 작동되지않아, 절대경로로 지정하였다.결과는 아래와 같이 성공적으로 잘 나왔다.해당 xpath에 존재하는
네이버 블로그 파이썬을 통하여 웹 크롤링하기
만들게 된 계기 빌딩 구내식당 메뉴를 매일 받아보는 취지로 만들어보았다 해당 식당의 메뉴가 블로그 글을 매일 수정하는 방식으로 알려주기 때문에 전에 배웠던 웹크롤링을 어렵지 않게 사용할 수 있을 것 같은 느낌에 바로 도전 web crawling이란? >crawli
[Web Crawling] Google Colaboratory와 크롤러 연결하기
google colaboratory에서 작업한 파일을 자동으로 google drive에 올리기기존 코드로 접근하던 방식에서 종목 이름으로 접근하도록 바꾸기crawler.jpynb(https://colab.research.google.com/drive/1-X2H
[Web Crawling] 2. Tweepy 원하는 데이터 불러오기
user_id나 screen_name 중 하나의 parameter로 user 명시count: default는 20 (<=200)screen_name을 이용해서 타임라인 데이터 불러오기수집 옵션에 api.user_timeline을 입력해주고 400개 만큼 수집합니다
[Web Crawling] 4. 과거 주식 데이터 불러와서 저장하기
Pandas 아래에서 진행하는 내용은 pandas 라이브러리를 사용합니다. 데이터 불러오기 네이버 금융 - 카카오 위의 코드를 실행시켰더니.. 아무것도 없다.. bsObject를 출력하도록 해봤더니 
[API] 카카오맵 API 사용법
웹 크롤링을 공부하다 카카오맵 API를 사용하게 되어 정리하게 되었다.자바스크립트 기준이니 참고하시길 바란다!제일 먼저 카카오맵을 사용하기 위해서는 JavaScript API 키를 발급 받아야한다.그러기 위해서는 카카오 계정이 필수로 필요하다.카카오 개발자사이트 접속개
TIL 29. Python 웹 크롤링(+ 로켓펀치)
python으로 취업 사이트들을 웹 크롤링 하며 배운 점과 느낀 점을 기록합니다. 이 글은 노마드코더의 파이썬 강의를 토대로 작성됐습니다. 요약 우선 내가 생각했던, 제대로 된 크롤링은 아니었다. 내가 생각한 웹크롤링은 정보의 바다와도 같은 인터넷에서 고래가 되는
[Express] Puppeteer, React, Express를 활용해 크롤러 만들기 및 Heroku에 배포하기
이번 포스팅에서는 Puppeteer를 활용해 구글의 검색결과를 크롤링 하는 웹페이지를 만들어 보겠다. 클라이언트는 React, 서버는 Express를 사용할것이다. 로컬에서 작업이 끝나면 Heroku에 배포까지 해보자.Puppeteer는 Google Chrome 개발팀
