# Crawling

102개의 포스트
post-thumbnail

직방에서 서울 아파트 정보 크롤링하기 #1

개발자 도구 내에서 XHR 데이터들을 통해서 크롤링에 필요한 Reqeust URL 작성하기

2021년 1월 16일
·
0개의 댓글
post-thumbnail

Python | 노래 맞추기 게임

게임 방법:나 포함 4명의 플레이어와 술게임을 시작한다.게임을 시작하기 전, 나와 플레이어의 주량을 정해준다.랜덤으로 게임 시작 순서를 정한다.첫 플레이어가 '가수 이름'을 정한다.순서대로 가수의 노래를 하나씩 말한다.가수의 노래를 생각해내지 못하면 지게 된다. 진 플

2021년 1월 8일
·
0개의 댓글
post-thumbnail

Python | 멜론 검색 크롤링

목표: 멜론에서 가수 검색하여 노래 제목 크롤링하기 크롤링 파이썬 코드

2021년 1월 8일
·
1개의 댓글
post-thumbnail

TIL 06 | Python web scraping 응용 (참고 사이트 모음)

Web scraping이란 웹 페이지에서 원하는 데이터 추출하여 수집하는 것으로 한국에서는 Crawling이라고도 부른다. 여러 페이지를 스크래핑 하려면

2021년 1월 6일
·
0개의 댓글

Ted 강연 제목/대본 크롤링

테드 강연 크롤링.

2021년 1월 3일
·
0개의 댓글
post-thumbnail

English Linguistics 논문 abstract 가져오기

학술제를 준비하며, Linguistics 관련 논문 Abstract 데이터가 필요했다. 좋은 사이트를 찾기 위해서 정말 많이 찾아보았지만, 아래의 사이트가 그나마 괜찮았다. lingbuzz - archive of linguistics articlesBase url :

2021년 1월 3일
·
0개의 댓글

Selenium

웹은 크게 2가지로 나눌 수 있다.웹의 종류selenium은 가장 유명한 브라우저 자동화도구이다. 실제 웹브라우저를 켜는 과정을 거치기 때문에 selenium을 이용하면 동적 페이지에서도 데이터를 수집할 수 있다브라우저를 직접 동작시킨다는 것은 JavaScript를 이

2021년 1월 3일
·
0개의 댓글
post-thumbnail

[TIL] # 27 Starbucks

다시 Startbucks로 돌아왔습니다 😁 Aquery 툴을 이용해서 만들었던 데이터베이스를 토대로 이번에는 스타벅스에서 음료와 푸드에 대한 내용을 가지고 와서 csv파일에 저장해주고 DB에 넣어주는 과정입니다 크롤링에 대한 코드는 따로 없고요, 가지고온 csv

2020년 12월 26일
·
4개의 댓글
post-thumbnail

졸업작품의 시작은 크롤링

난 1학년이니까 아무것도 모를 수도 있지라고 생각한게 엊그제 같은데 벌써 3학년이 끝났다. 근데 여전히 아무것도 모른다. (???) 하지만 졸업을 하려면 졸업작품을 만들어야하니까 이제부터 전공이랑 조금 더 친해지려고 velog도 가입했으니까ㅎㅎ 원래 시작이 반이랬다!

2020년 12월 16일
·
0개의 댓글
post-thumbnail

파이썬 왕초보 구글 크롤링하기 - 1부 : 일단 해보기

파이썬 3.x 버전을 사용중이라면 pip3가 이미 설치되어있다.pip3가 있다면 업그레이드를 시켜준다.여기까지 확인이 되었다면, 프로젝트 폴더에 selenium을 설치해보자.BeautifulSoup도 설치하자..한 가지 더, chromedriver를 설치하자..크롬드

2020년 12월 16일
·
0개의 댓글

[학내공지를 이메일로!] 1. 전공변경생의 첫 발걸음.

귀찮은 학내공지 확인의 자동화

2020년 12월 15일
·
0개의 댓글
post-thumbnail

[Crawling] - selenium을 이용한 페이지 전환 및 스크린샷 저장

이번에는 다나와 사이트를 통해 페이지 전환 및 전환된 페이지를 출력하고, 스크린샷으로 저장해보겠습니다.webdriver을 사용하기 위해 selenium내의 webdriver을 import 합니다나머지 부분은 밑에서 같이 설명하겠습니다. 일반모드는 webdriver가 자

2020년 12월 9일
·
0개의 댓글
post-thumbnail

[Crawling] - Selenium 기본 설정 및 테스트

Selenium 이란? Selenium은 다양한 브라우저 및 플랫폼에서 웹 응용 프로그램을 위한 무료(오픈 소스) 자동화 테스트스위트입니다. Selenium도구를 사용하여 수행 된 테스트는 일반적으로 Selenium Testing이라고 합니다. Selenium 기본

2020년 12월 9일
·
0개의 댓글
post-thumbnail

[TIL] 자바스크립트로 크롤링 하기

지역 문화생활 활성화를 위한 앱 프로젝트중에 공연중인 연극을 홍보한다면 좋을거 같다는 생각이 들었다.허나 매일 어떤 연극을 하고있나 검색해 넣어줄수는 없는법, 자고로 개발자는 귀찮은 걸 싫어 해야 한다고 했다.좋은 해결 방법중 하나, 웹 사이트를 크롤링 해주는게 좋다고

2020년 12월 5일
·
0개의 댓글
post-thumbnail

Google 크롤링 요청하기

구글에서 검색하여 내 사이트가 나오려면 구글 봇에 현재 나의 사이트를 등록해야 한다. 등록을 위해선 사이트 소유권을 증명하는 작업이 필요한데 이 과정을 중점적으로 다뤄 보겠다.구글 서치 콘솔에 접속하여 배포한 URL 주소를 작성한다.빨간색으로 표시한 박스의 텍스트 코드

2020년 12월 4일
·
1개의 댓글
post-thumbnail

[Crawling] - requests 스크랩핑(Rest API)

Rest API? REST 기반으로 서비스 API를 구현한 것 -> REST는 자원을 이름(자원의 표현)으로 구분하여 해당 자원의 상태(정보)를 주고 받는 모든 것을 의미합니다.. 최근 OpenAPI(누구나 사용할 수 있도록 공개된 API: 구글 맵, 공공 데이

2020년 12월 2일
·
0개의 댓글
post-thumbnail

[Crawling] - requests 스크랩핑(JSON)

경량의 데이터 교환방식입니다. 이 형식은 사람이 읽고 쓰기에 용이하며, 기계가 분석하고 생성함에도 용이합니다. 또한 특정 언어에 종속되지 않고 xml를 대체합니다.위 코드는 url를 통해 50개의 json데이터를 받아오는 부분입니다. 전에 포스팅한 Session을 통해

2020년 12월 2일
·
0개의 댓글
post-thumbnail

[Crawling] - requests 스크랩핑(Session)

쿠키(Cookie)? 세션(Session)?웹은 대다수가 HTTP기반으로 동작합니다. 하지만 HTTP가 구현된 방식에서 웹 서버와 클라이언트는 지속적으로 연결을 유지한 상태가 아니라 요청(request)-응답(response)의 반복일 뿐이기 때문에, 이전 요청과 새로

2020년 12월 2일
·
0개의 댓글

python crawling - 워드 클라우드

파이참의 file → setting → project interpreter 에서 wordcloud 패키지 다운로드카카오톡 대화창에서 메뉴 → 대화 내용 → 대화 내보내기대화내용 중, 시간이랑 닉네임도 포함되 있음불 필요한 부분을 제거원하는 모양으로 만드려면 어떤 모양이

2020년 11월 28일
·
0개의 댓글