# Crawling

66개의 포스트
post-thumbnail

CSV 쓰기 (소괄호)

데이터를 크롤링해서 csv 파일로 저장할 때소괄호 '()' 안에 들어 있는 텍스트는 복소수로 저장이 된다. 예를 들어 '(10)' 이라는 문자열을 그대로 저장하면 csv 파일 상에는 -10으로 저장이 되는 것이다. 양 옆의 소괄호를 제외하고 숫자 데이터만 csv 파일로

2020년 9월 15일
·
0개의 댓글
post-thumbnail

스타벅스 크롤링부터 DB에 데이터 dump까지 ☕️

스타벅스 사이트를 모델링하면서 데이터관계 에 대해서 더 자세히 공부했다면 이제 직접 테이블을 생성하고 사이트에서 데이터를 크롤링해서 그 데이터를 데이터베이스에 넣어보는 것까지 실습을 하면서 공부한 내용들을 내 것으로 만들어야 한다. 스타벅스 음료이름, image ur

2020년 9월 10일
·
0개의 댓글
post-thumbnail

[TIL] 2020.09.10 Starbucks serise_Crawling 텍스트 줄바꿈 문제

스타벅스 크롤링을 만 하루 넘게 열심히 했는데, 저장해두고 나니 이렇게 줄바꿈이 들어가서 데이터가 안예쁘게 깨진다 . html 에 <br> 이 포함되어 있어서 그렇다. .text 로 해서 크롤링 했는데, 거기서 <br> 을 빼주려면 어떻게 해야할까 ㅠ 블로그

2020년 9월 10일
·
0개의 댓글
post-thumbnail

TIL 스타벅스 웹 크롤링

스타벅스 코리아에서 모든 음료의 제목과 이미지를 크롤링해서 csv 로 저장해 올려주세요내가 이해한게 맞는지는 모르지만 나는 이렇게 이해했다.터미널 상에서 크롤링 프로젝트를 담을 폴더 mkdir 생성생성 후 그 폴더로 이동(cd 폴더명), 콘다 뉴프로젝트, 콘다 액티베이

2020년 9월 7일
·
3개의 댓글

TIL 웹 크롤링

BdautifulsoupSelenium✔️ beautiful soup을 사용하여 데이터를 크롤링 할 수 있다.✔️ 개발자 도구를 사용하여 수집할 데이터의 패턴을 분석할 수 있다.✔️ 크롤링한 데이터를 csv 파일에 저장할 수 있다.✔️ html 링크를 타고 이동하여 데

2020년 9월 7일
·
0개의 댓글
post-thumbnail

python: urllib vs. requests

requests 모듈을 좀 더 많이 사용한다고 하고 추후에 더 자세히 알게 되는 내용이 있으면 업데이트 해야지😢데이터를 보낼 때 딕셔너리 형태로 보냄요청 메소드(get / post) 를 명시requests.get(url) requests.post(url)get 으로

2020년 9월 5일
·
0개의 댓글
post-thumbnail

Python: 크롤링

✅ 네이버 검색 결과 가져오기 🍈 멜론 top100 데이터 csv 로 저장하기 CSV 모듈 🔗 참조

2020년 8월 24일
·
0개의 댓글

크롤링(왜 5번 이후로는 안되지...)

클래스101 강의의 상세페이지내의 정보를 가져오긴 위해 위와 같이 스크롤을 내려주었다. 필리때와 다르게 그냥 화면밑으로 스크롤을 내렸더니 자료를 가져오지 않고 그냥 지나치는 경우가 발생했다. 그래서 좀 더 섬세하고 간격을 조정하고 화면이 불러들여질 시간까지 고려하여야

2020년 8월 17일
·
0개의 댓글
post-thumbnail

Starbucks 음료 ERD, Crawling, sqlite3

실제 스타벅스 음료 메뉴에 있는 정보들을 크롤링하여 csv 파일로 저장하고 데이터베이스에 넣어보자스타벅스 홈페이지의 음료 카테고리에 있는 메뉴들에 대해서 ERD로 모델링을 해보고, 해당 ERD를 토대로 Django에서 models.py에 코드로 옮겨보자데이터베이스에 넣

2020년 8월 15일
·
0개의 댓글

TIL 3주차: 웹 스크래핑(크롤링)

웹 스크래핑 1. 웹 스크래핑이란? 웹 스크래핑이란 웹 페이지에서 우리가 원하는 부분의 데이터를 수집해오는 것 구글 검색시에는 web scraping으로 검색해야 함 참고: [크롤링과 웹 스크래핑의 차이 ](https://dzone.com/articles/web-scr

2020년 8월 15일
·
0개의 댓글

Web_Crawling

정적인 페이지 크롤링하기 사전 스터디 때 진행한 내용으로 아래 링크 참조 TIL No.13: Python - 네이버 뉴스에서 헤드라인 뉴스 목록 크롤링해서 저장하기 https://velog.io/@blakekim93/TIL-No.13-Python-네이버-뉴스에서-헤드라인-뉴스-목록-크롤링해서-저장하기 3주차 Python 크롤링 코드 마감. 전체 코드 및 실...

2020년 7월 27일
·
0개의 댓글

TIL no.14 - Python - 인스타그램 이미지 크롤링

beautifulSoup & Selenium

2020년 7월 7일
·
0개의 댓글

파이썬 에러 - chromedriver

현재 사용중인 크롬 브라우저와 chromedriver의 버전이 달라 발생된 에러

2020년 7월 2일
·
0개의 댓글
post-thumbnail

db_uploader.py

DB 업로드 코드 작성

2020년 6월 29일
·
0개의 댓글

TIL - Web Crawling 2

스타벅스 메뉴 크롤링

2020년 6월 20일
·
1개의 댓글
post-thumbnail

인스타그램 '사당맛집' 크롤링

인스타그램 크롤링을 통해 현재 내가 거주하고 있는 사당의 맛집 데이터를 수집해 보았다.검색어: '사당맛집'

2020년 6월 16일
·
8개의 댓글
post-thumbnail

Puppeteer를 이용한 웹 크롤링 해보기 (예제 1)

웹 페이지를 그대로 가져와서 거기서 데이터를 추출해 내는 행위다. 프로그래밍으로 자동화할 수 있다.Puppeteer는 Headless Chrome 혹은 Chromium를 제어하도록 도와주는 라이브러리이다.Headless BrowerHeadless Browser는 CLI

2020년 6월 8일
·
0개의 댓글
post-thumbnail

CRAWLING

requests, bs4, selenium, csv

2020년 6월 7일
·
0개의 댓글

TIL - Web Crawling

Web Crawling

2020년 6월 6일
·
0개의 댓글

Web Crawling 연습

빌보드차트처음 해보기도 하지만, 잘 이해하지못해 3일내내 이 코드만 붇잡고있었다.먼저 크롤링하여 받을 값들을 저장하기위해 csv를 설정해주었다, .writerow를 사용하여 해당csv의 값들의 title을 정해주었다.그다음 Chromedriver를 사용할 준비를 한다.

2020년 6월 4일
·
0개의 댓글