🖥️ 크롤링 🖥️

parkeu·2022년 8월 26일

2022청년지원사업 ABC부트캠프 TIL 유클리드소프트 크롤링

ABC부트캠프

목록 보기

14/55

😏 CSS

HTML 문서에서 스타일에 관련된 부분을 별도로 분리

사용 유형
1) 태그 내부 삽입형 : HTML 태그 내에 style 속성 이용
2) 내부 스타일 시트 : head태그 속 style태그 내부에 속성 작성
3) 외부 스타일 시트 : css파일 외부에 저장

클래스 선택자 : 동일한 태그더라도 다른 스타일을 적용하고 싶을 때 선택자에 class속성 추가

id 선택자 : id 속성이 있는 특정태그의 내용에만 해당 스타일 지정, 한 문서에 한번만 사용가능

😵‍💫 css 기초(class 이용)

<html>
	<head>
		<title>css 적용한 문장 포맷</title>
		<style type="text/css">
			P.content1 {font-family:궁서; color:red;}
			.content2 {font-family:굴림; background:yellow;}
		</style>
	</head>

	<body>
		<p class="content1">첫번째문단</p>
		<p class="content2">두번째문단</p>
		<p>세번째문단</p>
	</body>
</html>

😵‍💫 css 기초(id 이용)

<html>
	<head>
		<title>css 적용한 문장 포맷</title>
		<style type="text/css">
			P#content1 {font-family:궁서; color:red;}
			#content2 {font-family:굴림; background:yellow;}
		</style>
	</head>

	<body>
		<p id="content1">첫번째문단</p>
		<p id="content2">두번째문단</p>
		<p>세번째문단</p>
	</body>
</html>

👀 ~~결과는 class를 이용한 것과 같다.~~

🏍️ 타슈 크롤링

라이브러리 임포트

from urllib.request import urlopen
from bs4 import BeautifulSoup
import time
import re

import pandas as pd

크롤링

# 1) 데이터프레임 생성
data = pd.DataFrame(columns=['스테이션명','위치','상태정보','위도','경도'])

# 2) 타슈 사이트 접속 주소 : https://new.tashu.or.kr/stationList.do
url = 'https://new.tashu.or.kr/stationList.do'

# 3) url 접속하여 HTML가져오기
html = urlopen(url)

# 4) HTML 태그 파싱(parsing)하여 변환
bsObject = BeautifulSoup(html, 'html.parser', from_encoding='UTF-8')

# 5) 타슈 정류장 정보가 있는 table만 가져오기
table = bsObject.find_all('table', {'class','board-tp-01 stationtable'})

# 6) 상세정보 추출하기
# 6-1) table내에 tr를 찾기
tr = table[0].find_all('tr')

# 6-2) 첫 tr(테이블의 컬럼정보)은 제외
tr = tr[1:len(tr)]

# 6-3) 타슈 정류장 상세 정보 추출
for index_tr in range(0, len(tr)):
  td = tr[index_tr].find_all('td')

  # 장소
  # ex) 1.무역전시관입구(택시승강장) -> 무역전시관입구(택시승강장) 
  station = td[0].text.split('.')[1] 

  # 위치
  location = td[1].text

  # 상태
  condition = td[2].text

  # 좌표 추출
  # 위도 Latitude
  lat = td[3].button.attrs['data-lat']
  # 경도 Longitude
  lon = td[3].button.attrs['data-ltd']

  # 7) 타슈 정류장 상세 정보 Dataframe에 담기(append)
  data = data.append({'스테이션명': station,
                      '위치':location,
                      '상태정보':condition,
                      '위도':lat,
                      '경도':lon},ignore_index=True)
  print('Complets of ' + station)

print('----------------------------------------------------------------')
print(data)

크롤링한 데이터 저장

data.to_csv('TASHU.csv', encoding='utf-8-sig')

📖 크롤링 데이터를 이용한 지도 시각화

# 데이터 준비하기
df = pd.read_csv('/content/TASHU.csv')
df.head()

import folium
# 1) 타슈 정류장 위치 기반으로 중심좌표 설정
t_map = folium.Map(location=[df['위도'].mean(),df['경도'].mean()], zoom_start=14)

# 2) 타슈 정류장의 상태에 따라서 Marker를 다른 색으로 표시 
# df.상태정보.unique() -> 정상:파란색, NETWORK 에러 : 빨간색
condition = df.상태정보 # df['상태정보']

# 3) 타슈 정류장 Marker 추가하기
for index_draw in range(0, len(condition)):
  if condition[index_draw] == '정상':
    folium.Marker([df.loc[index_draw, '위도'], df.loc[index_draw, '경도']],
                  popup='<pre>'+df.loc[index_draw, '스테이션명']+'</pre>', icon=folium.Icon(color='blue', icon='info-sign')).add_to(t_map)
  elif condition[index_draw] == 'NETWORK 에러':
    folium.Marker([df.loc[index_draw, '위도'], df.loc[index_draw, '경도']],
                  popup='<pre>'+df.loc[index_draw, '스테이션명']+'</pre>', icon=folium.Icon(color='red', icon='info-sign')).add_to(t_map)
t_map

➕ tiles='Stamen Terrain'추가

t_map = folium.Map(location=[df['위도'].mean(),df['경도'].mean()], zoom_start=14, tiles='Stamen Terrain')

➕ tiles='Stamen Toner'추가

➕ tiles='Stamenwatercolor'추가

👀 ~~다른 다양한 tiles -> https://deparkes.co.uk/2016/06/10/folium-map-tiles/ 참고~~

아이콘 변경

popup='<pre>'+df.loc[index_draw, '스테이션명']+'</pre>', icon=folium.Icon(color='red', icon='fa-bicycle', prefix='fa')).add_to(t_map)

해당부분 icon을 bicycle로 변경 https://fontawesome.com/v4/icon/bicycle

🚲세종어울링 크롤링

from urllib.request import urlopen
from bs4 import BeautifulSoup
import time
import re

import pandas as pd

import folium

# 1) 데이터프레임 생성
data = pd.DataFrame(columns=['스테이션명','위치','상태정보','위도','경도'])

# 2) 어울링 사이트 접속 주소 : https://www.sejongbike.kr/userStationAction.do?process=stationTotalList&menu=21
url = 'https://www.sejongbike.kr/userStationAction.do?process=stationTotalList&menu=21'

# 3) url 접속하여 HTML가져오기
html = urlopen(url)

# 4) HTML 태그 파싱(parsing)하여 변환
bsObject = BeautifulSoup(html, 'html.parser', from_encoding='UTF-8')

# 5) 정류장 정보가 있는 table만 가져오기
table = bsObject.find_all('table', {'class','content_table'})

# 6) 상세정보 추출하기
# 6-1) table내에 tr를 찾기
tr = table[0].find_all('tr')

# 6-2) 첫 tr(테이블의 컬럼정보)은 제외
tr = tr[1:len(tr)]

# 6-3) 정류장 상세 정보 추출
for index_tr in range(0, len(tr)):
  td = tr[index_tr].find_all('td')
  # 장소
  station = td[0].text.split('.')[1] 
  # 위치
  location = td[1].text
  # 상태
  condition = td[2].text
  # 좌표 추출
  # 위도 Latitude
  lat = td[3].find('a').attrs['onclick'].split('\'')[3]
  # 경도 Longitude
  lon = td[3].find('a').attrs['onclick'].split('\'')[5]
  # 7) 정류장 상세 정보 Dataframe에 담기(append)
  data = data.append({'스테이션명': station,
                      '위치':location,
                      '상태정보':condition,
                      '위도':lat,
                      '경도':lon},ignore_index=True)
  
data.to_csv('sejongbike.csv', encoding='utf-8-sig')

df = pd.read_csv('/content/sejongbike.csv')

# 1) 정류장 위치 기반 중심좌표 설정
s_map = folium.Map(location = [df['위도'].mean(), df['경도'].mean()], zoom_start = 14)  # mean은 평균


# 2) 정류장의 상태에 따라서 Marker를 다른 색으로 표시-> 정상-파란색, 네트워크 오류-빨간색
condition = df.상태정보  # df.상태정보 == df['상태정보'], 컬럼내부의 값들의 종류를 보는 방법 unique : df.상태정보.unique()

# 3) 정류장 Marker 추가하기
for index_draw in range(0, len(condition)):  # condition 변수를 선언한 이유, 상태정보가 없는 경우까지 커버하기 위해
  if condition[index_draw] == '정상':
    folium.Marker([df.loc[index_draw, '위도'], df.loc[index_draw, '경도']], 
                  popup = '<pre>'+df.loc[index_draw, '스테이션명']+ '</pre>', icon=folium.Icon(color = 'blue', icon = 'info-sign')).add_to(s_map)
  elif condition[index_draw] == 'Network 에러':
    folium.Marker([df.loc[index_draw, '위도'], df.loc[index_draw, '경도']], 
                  popup = '<pre>'+ df.loc[index_draw, '스테이션명']+ '</pre>', icon=folium.Icon(color = 'red', icon = 'info-sign')).add_to(s_map)
  else:
    folium.Marker([df.loc[index_draw, '위도'], df.loc[index_draw, '경도']], 
                  popup = '<pre>'+ df.loc[index_draw, '스테이션명']+ '</pre>', icon=folium.Icon(color = 'black', icon = 'info-sign')).add_to(s_map)
s_map.save('sejong bike.html')

➕ 경도 위도 구하는 다른 방법들

경도

1 ) lat = td[3].a.attrs['onclick'].split('\'')[3]
2 ) 교수님코드
onclick = td[3].a.attrs['onclick']
lat = onclick.split(',')[1]
lat = lat.replace('\'','').strip()

위도

1 ) lon = td[3].a.attrs['onclick'].split('\'')[5]
2 ) 교수님코드
lon = onclick.split(',')[2]
lon = lon.replace(');','').replace('\'','').strip()

https://colab.research.google.com/drive/1DbjiXZEBagugta0MVgQz5oqM98gbQ-rY?usp=sharing

🚩 소감 🚩

세종 어울링 크롤링을 해볼때 처음에 위도와 경도를 어떻게 받아와야 하나 막막했다. 그래서 열심히 서치했다 ..^^... 타슈 위도경도 어떻게 받았는지 완벽히 이해하지 못한 상태여서 검색어를 대체 뭐라고 쳐야되나 고민했는데 이것저것 검색하다보니까 원하는 정보를 찾았고 성공했다.ㅎ ㅎ ㅎ 내가 찾은 방법이 솔직히 완벽한 정답이라고 생각했는데, 다른 데이터를 크롤링할 때 정확히 지정을 안 해주면 잘 안 될 수도 있다고 해서 lat = td[3].find('a')['onclick'].split('\'')[3] 말고 onclick이라는 속성을 찾을것이라는 의미로 lat = td[3].find('a').attrs['onclick'].split('\'')[3]으로 고쳐주었다. 어렵다 ㅎㅎ..... 그래도 서치해서 찾고 코드를 돌려봤는데 오류 안났을때 너무좋았다 ~~🤡 이래서 코딩 좋아하나보다,, 아직은 코딩을 좋아하진않지만 노력해보ㅏ야지.... 코딩이 날 좋아해줬으면 마지못해 좋아해줄텐데 날 좋아할 생각이 없어보여서 내가 노력해야되는게짜증나ㅜ^ㅜ..

parkeu

배고파용.

이전 포스트

🌊 교통사고 정보 시각화🌊

다음 포스트

마케팅/브랜딩

1개의 댓글

Sojin Oh

2022년 8월 29일

코딩... 널 갖고 말겠어 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 파이썬을 자바먹는 그날까지 화이팅

답글 달기