Web Scraper with python

• python을 이용해서, Inlearn 사이트에서 크롤링을 하여 CSV file로 저장을 해보았다.
  Code : Github

---

새롭게 배운 내용

---

Comma Separated Values (CSV)

• CSV(영어: comma-separated values)는 몇 가지 필드를 쉼표(,)로 구분한 텍스트 데이터 및 텍스트 파일이다. 확장자는 .csv이며 MIME 형식은 text/csv이다. comma-separated variables라고도 한다.
  
• writer.writerow로 각 열의 값을 입력해줄 수 있다.
• Inflearn 사이트에서 크롤링 하여 저장하는데, 한글이 자꾸 깨져서 찾다가 어느 사이트에서 open의 속성을 각각 정해주어야된되서 해봤더니 되었다.
  한글 깨짐 해결법
  http://blog.naver.com/PostView.nhn?blogId=rjs5730&logNo=220980957605&parentCategoryNo=&categoryNo=&viewDate=&isShowPopularPosts=false&from=postView

file = open("file.name", mode='w', buffering='-1`, encoding='utf-8')

encoding = 'utf-8'의 값을 꼭다시 주어야 한글이 깨지지 않는다.
code:

import csv

def save_to_file(jobs):
    file = open("inflearn.csv", "w", -1, "utf-8")
    writer = csv.writer(file)
    writer.writerow(["title", "instructor", "price", "link"])
    for job in jobs:
        writer.writerow(list(job.values()))
    return

다양한 Operator

strip = True		# string의 양쪽 빈칸을 없애준다.
strip("\n")		#공백을 없애준다
strip(" \r")	#공백을 없애준다.

print(span[-1])		#operation [-1] 는 마지막에서 첫 item을 나타냄
print(span[:-1])	#operation [:-1] 는 마지막에서 첫 item만 제외시킴
print(span[0:5])	#operation [0:5] 는 0번째부터 5번째까지 가져옴