# scraping

51개의 포스트
post-thumbnail

Scraping 과 Crawling

지금 시대는 데이터들이 넘쳐나고, 사람들은 자신이 원하는 데이터를 얻기 위해 수많은 검색을 한다. 그만큼 많은 플랫폼들이 나오는데 플랫폼들은 고객들을 끌어들이기 위해, 다른 곳보다 더 좋은 데이터와 검색에 맞는 데이터를 보여줘야한다. 이 때 사용되는 기술이 바로 스크래

2022년 9월 18일
·
0개의 댓글
·

스크래핑 이란?

HTML문서를 가져온 후, 문서를 파싱(Parsing)해서 필요한 데이터를 추출하는 것이다.그러나 아무 사이트에서나 데이터를 가져와도 되는 것은 아니다.데이터는 회사의 중요 자산이고 스크래퍼를 위해 Request 할 때, 해당 사이트의 서버부하가 있을 수도 있다.또한,

2022년 9월 12일
·
0개의 댓글
·
post-thumbnail

Scraping & Crawling

웹에서 는 점이 있어 처음 보았을 때 구분이 잘 되지 않았다.심지어 쓰이는 곳도 비슷하며 함께 쓰이는 경우도 있다고 하니 더욱 그랬다...하지만 정보화 시대에 두 기능의 차이점 이라고만 검색해봐도 쉽게 설명해주는 분들이 많아 그분들의 도움을 받아 쉽게 이해한 바로는웹

2022년 7월 31일
·
0개의 댓글
·
post-thumbnail

Scraping & Crawling

스크래핑(Scraping)이란 외부 페이지의 정보를 얻기 위해 해당 페이지안에 들어가 데이터를 추출해 오는 것을 의미한다.위는 카카오톡에서 네이버 링크를 올렸을때에 모습이다.이와 같이 썸네일 이미지, 제목, 한줄 설명, 주소와 같은 정보들을 가져오기 위해서 스크래핑을

2022년 7월 31일
·
0개의 댓글
·

Scraping & Crawling

스크래핑과 크롤링은 처음 접하면 그 개념이 굉장히 어려울 것이다. 하지만 직접 사용해 보며 스크래핑과 크롤링의 차이를 알게 된다면 꽤 유용하게 사용할 수 있다. 나도 처음에는 스크래핑과 크롤링의 차이를 알지 못하고 사용하느라 이해가 어려워서 수많은 오류와 함께... 이

2022년 7월 24일
·
0개의 댓글
·

[scraping] iframe 가져오기

iframe을 스크래핑하는 방법과 iframe의 url이 없을 경우, 대처할 수 있는 방법에 대한 설명입니다.

2022년 7월 21일
·
0개의 댓글
·

wk3_Scraping_review

저번주 배웠던 scraping을 복습하며 내 것으로 만드는 주차네이버 영화 랭킹 목록을 가져오는 작업을 해볼 것이다.먼저 소스코드 복붙한 뒤 data 변수에 네이버 영화 랭킹 웹페이지 주소 복붙그 다음 내가 가져오고 싶은 데이터가 어디 속해있는지 inspector를 통

2022년 7월 18일
·
0개의 댓글
·
post-thumbnail

Scraping(스크래핑) & Crawling(크롤링)

스크랩(Scrap) ‘필요한 자료'만 모아 찾기 쉽게 만들어 놓은 자료를 스크랩이라고 하며 이를 이용하여 프로그램으로 구현해 놓은 것을 스크래핑이라고 한다. 크롤링(Crawling) 원하는 데이터(주식, 뉴스 등등)의 자료를 주기적으로 스크래핑 하는 것을 크롤링이라

2022년 7월 17일
·
0개의 댓글
·

wk2_scraping

scraping: 웹사이트에서 html을 읽어와 필요한 데이터를 추출하여 수집하는 기술scraping을 하기위해서는 requests와 bs4 library 설치해야한다. 웹과의 소통을 용이하게 해주는 request library와 scraping 기능을 하는 Beaut

2022년 7월 11일
·
0개의 댓글
·
post-thumbnail

Day-33 Optimistic-UI, 서버사이드렌더링(Scraping, Crawling, SEO, SSG, SSR)

우리는 데이터를 받아올 때 백엔드에 api를 요청하고 DB에 가서 받아와서 화면에 그려주는 단계를 거치게 되는데Optimistic-UI는 데이터를 받아오는 것을 기다리지 않고 어차피 성공할 것이라고 판단하여 바로 캐시스테이트에 업데이트를 하는 것을 말한다.Optimis

2022년 6월 23일
·
0개의 댓글
·
post-thumbnail

동물상 테스트 웹, 앱 만들기! (3편)

동물상 테스트 웹, 앱 만들기! (3편) by.조코딩

2022년 6월 16일
·
0개의 댓글
·
post-thumbnail

동물상 테스트 웹, 앱 만들기! (2편)

동물상 테스트 웹, 앱 만들기! (2편) by.조코딩

2022년 6월 15일
·
0개의 댓글
·
post-thumbnail

동물상 테스트 웹, 앱 만들기! (1편)

동물상 테스트 웹, 앱 만들기! (1편) by.조코딩

2022년 6월 11일
·
0개의 댓글
·

crawling & scraping

웹사이트, 하이퍼링크, 데이터, 정보 자원을 자동화 방법으로 수집, 분류, 저장 하는 것.여러 웹 페이지를 돌아다니면서 어떤 데이터가 어디에 있는 지 색인(index)을 만들어 데이터베이스(DB)에 저장하는 역할크롤링 기술이 악용이 될 수 있는데, Meta 태그의 no

2022년 5월 25일
·
0개의 댓글
·

(error)파린이의 웹스크래핑 feat. Selenium

2주 전에 간단하게 크롤링 한답시고 bs4 인터프리터를 추가한 후 간단하게 지니뮤직, 영화사이트를 웹스크래핑을 한 경험이 있다. 웹스크래핑이란? 웹 스크래핑(web scraping)은 웹 페이지에서 우리가 원하는 부분의 데이터를 수집해오는 것을 뜻한다. 한국에서는 같은 작업을 크롤링 crawling 이라는 용어로 혼용해서 쓰는 경우가 많다. 원래는 크롤...

2022년 5월 11일
·
0개의 댓글
·

Python Web Scraping (Beautifulsoup)

WebsiteOpen apiTarget file pathFind by class and stingify the data. By data processing, pick only required value.By using get method, extract the msq_

2022년 4월 22일
·
0개의 댓글
·

Scraping & Crawling?

Scraping & Crawling?

2022년 4월 6일
·
0개의 댓글
·
post-thumbnail

Scraping & Crawling?? 뭔데?

Scraping? Crawling? 너가 좋아하는 웹페이지 불러올수 있어!! 뭐? 캡쳐하면 그만이라고? 우리는 개발자인데..??커몬~~

2022년 3월 28일
·
0개의 댓글
·

day09

다른 사이트에 있는 정보를 가져오는 방법? 기존 웹사이트에서는 JSON 대신 XML(eXtensible Markup Language)을 이용하여 가져왔었다. 스크랩핑 특정 사이트에 가서 한 번만 스크랩해서 가져온다.디스코드에서 특정사이트를 입력하면 헤드 태그 안의

2022년 3월 26일
·
0개의 댓글
·