# requests

32개의 포스트

웹 정보 크롤링하기

🛒 Python Crawling 오늘은 친구의 부탁으로 웹 상의 정보를 긁어와 엑셀에 정리하는 작업을 해 보았다.

2021년 10월 6일
·
0개의 댓글
post-thumbnail

Python VS 가상환경, 라이브러리 패키지 설치 방법

중고등학교 시절 또는 대학생 때, 밤새 열심히 만든 과제가 학교(똥컴)에서 열리지 않아 좌절했던 경험이 있을 것이다. 한 번 이를 겪어 본 사람이라면 하나의 파일을 여러 버젼으로 저장해서 만약의 경우를 대비했을 것이다.python은 이같은 삽질을 방지하고자 버젼 호환이

2021년 9월 29일
·
0개의 댓글
post-thumbnail

파이썬 requests

requests 패키지를 설치 한 후, 사용. Ajax 와 같은 결과를 한줄로 나타냄.r.json() 은 jsonview 와 같은 역할.

2021년 9월 22일
·
0개의 댓글

딥러닝 처리 속도 개선하기 - 2) 테스트 결과

테스트는 다음과 같은 조건으로 한다. (MP==멀티 프로세스, MT==멀티 스레드) 서버 구성 : single, MP, MTrequests 방식 : single, MP, MT서버 구성은 gunicorn 실행 시 option을 달리하며 구현할 수 있고, request

2021년 9월 5일
·
0개의 댓글

딥러닝 처리 속도 개선하기 - 0) Intro.

데이터 분석 및 모델링 공부를 하다가 관련 직무에 지원했지만, 입사 후엔 어플리케이션 개발 팀에 배속되었고 거기서 맡은 업무는 데이터 전처리였다. 스스로 생각하기에 꽤나 특이한 경로를 거치는 중인데 덕분에 데이터 엔지니어링 뿐 아니라 그 전엔 전혀 알지 못했던 웹 개발

2021년 9월 5일
·
0개의 댓글
post-thumbnail

Toy 프로젝트 - 웹크롤링 part 03

썸네일이미지 출처: https://www.pngwing.com/ko/search?q=cgvpart 01, part 02 순서대로 모두 이어지는 내용이다.이 포스팅은 part 03 으로 마지막 파트이다. '블랙위도우'로 예시를 들고 있다.part 01, part

2021년 8월 8일
·
0개의 댓글
post-thumbnail

Toy 프로젝트 - 웹크롤링 part 02

썸네일이미지 출처: https://www.pngwing.com/ko/search?q=cgv : 이전 포스팅에서까지 url을 뽑았다. 이제부터는 구체적인 전략을 말하겠다. 해당 영화 url에서 댓글, 날짜, 사용자 크롤링 예정댓글 페이지 수에 따른 구분댓글 페이

2021년 8월 8일
·
0개의 댓글
post-thumbnail

Toy 프로젝트 - 웹크롤링 part 01

오늘은 기술블로그 느낌이 나도록 웹크롤링 예제를 보여주려고 한다. CGV 홈페이지에서 특정 영화의 댓글들을 크롤링하는 예제이다. k-digital training 에서는 'Toy 프로젝트'라는 이름으로 개인 프로젝트로 진행하였다. 개발자들이나 웹 관련 종사자들이

2021년 8월 8일
·
0개의 댓글
post-thumbnail

세팅이 반이다 _JUPYTER NOTEBOOK

현재 필자가 이 포스팅을 작성하고 있는 시점은 토요일 점심이 조금 지난 오후다. 이전 포스팅 끝에서 예고한대로 오늘은 JUPYTER NOTEBOOK 을 조금 더 편리하게 사용하기 위한 세팅을 하기 위한 팁을 작성하려고 한다. 이미 알고 있는 닝겐들사람들도 있겠지만,

2021년 7월 24일
·
0개의 댓글
post-thumbnail

[python] Requests 라이브러리 사용하여 Http response받아오기(Rest api)

Python 라이브러리의 강력함을 점점 느끼고 있는 중인 요새 입니다.... ✈Java 에서 사용했던 HttpURLConnection, HttpClient, OkHttp, Retrofit, RestTemplate 와 맥락을 같이 하는 라이브러리이다. pip 이용하여 모

2021년 7월 21일
·
0개의 댓글
post-thumbnail

3-3 파이썬 패키지 사용해보기

file > setting > project interpreter 화면에서 + 버튼 > 원하는 파이썬패키지 검색 > install > okprint(rjson'RealtimeCityAir','row',0,'MSRSTE_NM')여기서 , 요거는 and로 인식,없이 이어써

2021년 7월 14일
·
0개의 댓글
post-thumbnail

스파르타 코딩 왕초보 시작반 3주차

목차필요한 소프트웨어파이썬 기본 문법파이썬을 활용한 크롤링 (requests, beautifulsoup 라이브러리)mongoDB필요한 소프트웨어(1) 파이썬 3.8.5version 설치※파이썬 설치 및 이용 시, 절대 한글 이름이 포함된 폴더나 파일이 경로상에 있지 않

2021년 7월 8일
·
0개의 댓글
post-thumbnail

TIL 29. Python 웹 크롤링(+ 로켓펀치)

python으로 취업 사이트들을 웹 크롤링 하며 배운 점과 느낀 점을 기록합니다. 이 글은 노마드코더의 파이썬 강의를 토대로 작성됐습니다. 요약 우선 내가 생각했던, 제대로 된 크롤링은 아니었다. 내가 생각한 웹크롤링은 정보의 바다와도 같은 인터넷에서 고래가 되는

2021년 6월 3일
·
0개의 댓글
post-thumbnail

[Python] 웹 크롤링(Crawling) - BeautifulSoup, requests, re, pymongo

Python과 모듈 BeautifulSoup, requests, re을 이용하여 웹 크롤링 기본을 연습해볼 것이다. 1. 웹 페이지 선정 \- 먼저 크롤링을 진행할 적절한 웹 페이지를 선정해야한다. 이번 연습을 위해 OP.GG(롤 전적검색 사이트)의 랭킹 페이지를 선

2021년 5월 25일
·
0개의 댓글
post-thumbnail

[Python] Web Crawling - 공공데이터 크롤링

공공데이터 포털을 크롤링해보자.

2021년 5월 10일
·
0개의 댓글
post-thumbnail

[Python] Web Crawling - 실전(네이버 영화 리뷰)

실제 포털 사이트의 영화 정보를 크롤링하여 데이터 수집을 해본적이 있는가??!

2021년 4월 19일
·
0개의 댓글
post-thumbnail

installation of Python module

ubuntu에서 Python의 모듈들을 설치하기 위해서 pip명령어를 사용했는데pip명령어를 찾을 수가 없단다😂이게 무슨일인가 싶었는데 내가 Python만 설치하고 pip를 설치하지 않았던거다(역시 모든것의 잘못은 내자신)로 일단 pip를 설치하도록 하자나는 sudo

2021년 4월 5일
·
0개의 댓글
post-thumbnail

TIL DAY 28 || POST method with requests module

How to push data to db server in a decent manner?

2021년 3월 25일
·
0개의 댓글
post-thumbnail

[Python] Web Crawling -이론 및 실습

파이썬을 활용한 웹 크롤링 여기서 시리즈로 시작해보자!!

2021년 3월 8일
·
1개의 댓글

HTTP Messages

HTTP(Hyper Text Transfer Protocol)는 웹 브라우저와 웹 서버가 HTML로 작성된 웹 페이지나 파일을 주고받기 위한 프로토콜이다.

2021년 3월 6일
·
0개의 댓글