MongoDB - python 연결(크롤링)

1)먼저 compass 실행 후 몽고DB의 localhost 주소를 복사해준다.

mongodb://localhost:27017

2) MongoDB 연결을 위한 라이브러리 설치

• 아나콘다 프롬프트에서 pymongo 설치
  pip install pymongo
  

3) jupyter notebook에 연결

• mongoDB연결 객체 생성
  mongoConnection = pymongo.MongoClient('mongodb://localhost:27017')
• 데이터베이스 목록 확인

mongoConnection = pymongo.MongoClient('mongodb://localhost:27017') 
databaseList = mongoConnection.list_database_names()
print(databaseList)

4) 스타벅스 크롤링을 위해 데이터베이스 생성

• Connection 생성
  starbucks = mongoConnection['starbucks']
• Column 생성
  sido = starbucks['sido']

5) 라이브러리를 활용한 스타벅스의 매장 크롤링 코드

(crawiling 코드도 조만간 포스팅할 예정이다)

• requests 라이브러리 import
  import requests

• startbucsk의 Ajax post방식의 url을 통해 필요한 데이터를 딕녀서리로 받아온다.

targetSite = 'https://www.starbucks.co.kr/store/getStore.do?r=MK5ZM1374T'
request = requests.post(targetSite, data={
    'ins_lat': 37.563398,
    'ins_lng': 126.9863309,
    'p_sido_cd': '01',
    'p_gugun_cd': '',
    'in_biz_cd': '',
    'iend': 1900,
    'set_date': ''
})
starbucks_json = request.json()