Starbucks 프로젝트 - 크롤링

스타벅스 키오스크를 만들기 위해서 당연히 메뉴가 필요하다.
처음에는 메뉴가 너무 많아 적당한 갯수의 메뉴만 DB에 저장해서 구현 할 생각이었다.
하지만 완성도를 높히기 위해 크롤링을 시도해 보기로 했다. 처음하는 크롤링이므로 라이브러리를 이해하고 적용해야 하기에 시간소요도 있었다.

라이브러리

라이브러리는 BeautifulSoup4를 사용했다. 이유는 크롤링을 하는데 많은 사람들이 사용해서 블로그나 stackoverflow의 소스가 많았기 때문이다.
처음 BeautifulSoup4를 이용해서 Starbucks사이트를 크롤링했지만 html 텍스트가 모두 크롤링이 되지 않았다.
검색을 통해 Starbucks같은 동적사이트는 BeautifulSoup4만으로 불가능하고 Selenium과 함께 사용할 때 크롤링이 가능하다고 한다.