Python으로 웹 스크래퍼 만들기

절차적 언어다. (TOP To bottom)파이썬은 변수를 할당 받아 사용 가능ex.a = 3변수명은 숫자로 시작하거나 공백이 들어갈 수 없다.ex. 231age = 20 ❌ / my age = 20 ❌파이썬은 주로 스네이크 표기법을 사용한다.ex. my_age = 2

기본값이 정해지지 않을 시 Arguments(인수)를 넣으면 에러가 뜬다.그걸 방지하기 위해선 파라미터에 기본값을 설정하여 인자가 없을 시 해당 인자가 뜨게 설정한다.변수명 지정 후 디폴트 값을 주고, 출력에 맞는 계산식을 입력한다.디폴트 값은 0으로 쓰지만, 나누기의

📌 파이썬 자료구조 (Data Structure) > #### 1. list 대괄호[]를 사용하여 리스트를 구성하며 이후 출력시 []를 사용하여 전체 출력됨 리스트 속 특정값을 얻기 위해선 순서를 지정해야 하는데 0부터 시작되며, 0:3일 경우 0~2까지 출력

for문은 tuple이나 list 안에 있는 코드를 실행하기 위해 사용된다.튜플이나 리스트를 선언할 때는 관습적으로 복수형으로 사용하고, for을 사용할 때는 단수를 이용한다. ex. for website(단수) in websites(복수) 쉽게 말하자면 for문은 튜

📔 JOB SCRAPPER 만들기 https://weworkremotely.com 사이트를 활용해서 웹스크래퍼 제작 시작 홈페이지 html을 받아와서 정리하고, 엑셀로 내보내는 방식 활용 📌 01. Beautiful Soup 설치 Beautiful Soup란? H

이제 더 추가적으로 만들어보고자 한다.그 전에 기존에 만들어둔 https://weworkremotely.com 웹 스크래퍼를 옮기려고 한다.extractors 폴더를 만들어서 그 안에 wwr 파일을 추가한다. main의 함수를 복사해서 wwr로 갖고 온다. w

📌 웹 페이지 크롤링 indeed를 보면 페이지들이 있다. 페이지를 세고, 페이지에 맞춰 정보를 갖고오도록 하자. 현재 nav 안에 6개의 div로 구성되어 있음을 확인 ❗️ 마지막 화살표는 div라서 빼야한다. 일단 기존에 만들어둔 크롤링을 함수로 묶어서 정리

먼저 기존 리플릿에서 자꾸 봇 오류가 떠서 vscode로 옮겨왔다.(분명 어제는 됐었는데 오늘은 봇으로 인식해서 자꾸 보안으로 막혀버림...🥺)vscode에서 replit과 똑같이 모든 플러그인을 설치하고 돌려보면 이렇게 쾌적하게 되는 걸 확인할 수 있다. (진작 v

Flask란? Python을 이용해서 웹사이트를 구축할 수 있는 초소형 Micro frameworkpip3 install Flask 로 VSCODE에 설치먼저 기존 main에 있던 file 기능을 file.py를 만들어서 옮겨둔다.from flask import Fla

먼저 지난 코드로 만든 url를 확인해보면 키워드 뒤에 파이썬으로 전달한 걸 볼 수 있다. 해당 파이썬 키워드를 기존에 만들어둔 indeed와 wwr 함수에 전달해 자료를 얻어보자!request를 추가로 임포트하고, serach 함수에 keyword= 값을 받는 req