<크롤러 기초>

• 크롤링
  

  간략히
  - 크롤링 : 전체 다 가져오는 것
  - 스크래핑 : 일정 부분만 가져오는 것

---

크롤링 방법

셀레니움과 가상환경 구축

(코드 참고)

브라우져 열고 사이트 이동

# 1) 브라우저 열기
driver = webdriver.Chrome()
driver.get("https://www.google.com")

개발자모드

# F11 /Command + Option + i/ 크롬 (우측상단 ... - 도구 더보기 - 개발자모드)

빨간 동그라미 있는 부분 클릭

검색창에 가져가서 클릭 (해당부분의 코드가 파랗게 별하는 거 확인!!)


마우스 오른쪽 - COPY - XPATH

검색창 변수 입력

# search_box = driver.find_element(By.NAME, "q" -- XPATH로 복사한거 붙여넣기)
search_box = driver.find_element(By.XPATH, "//*[@id="input"]")

검색어 입력

• 검색어 보내기

serach_box.send_keys("Selenium" -- 검색어 입력)

• 엔터 누르기

serach_box.send_keys(Keys, RETURN)

00초 대기 후 브라우저 닫기

time.sleep(5 -- 원하는 시간)
driver.quit() -- 드라이버 닫기

닫아야 하는 이유 : 크롬이 메모리 차지를 많이 하기 때문에 부하가 걸릴 수 있음..

---

<데이터 전처리 & 시각화>

4주차

---

느낀점

크롤링이 엄청 어려운 느낌이 아니라서 한번 잘 해두면 두고두고 유용하게 쓰일 듯 하다.
처음에 개발자도구에서 어떻게 하구 갑자기 이상한 저 코드는 뭐지???? 했는데
두 세번 반복해서 하다 보니 금방 이해하는 듯 하다.
근데 <무신사> 실습에서 가격 부분은 어려워서 살짝 놓칠뻔 했으나 극뽁!
튜터님이 반복해서 설명하시는 동안 해결했다🥺🥺
그 후의 내용이 별로 없어서 금방 끝났다.
그래프는 아직 어려운것 같다
산점도를 최근에 해봤는데 기본 산점도까지는 괜찮은데 분류를 해야 하는데 못했다
그룹 별로 묶어서 데이터 프레임을 다 만든 다음 따로 산점도를 만들어야 했을까 모르겠다..