[TIL]공공데이터 API를 파이썬으로 Scraping 하기 - 짤방일기

bangina·2020년 7월 21일
1

TIL

목록 보기
2/15
post-thumbnail

오늘 파이썬 처음 배운 생초보고요, 허접하지만 API Scraping 코드를 짰어요

그렇다. 오늘 파이썬 코드를 처음 써봤다.(기억은 안 나는데 주피터가 이미 깔려있던 걸 보니 작년에 처음 코딩 배우기 시작할 때 한번 깨작거리긴 했었나보다. 기억 안남)

현재 작업중인 미니프로젝트가 있는데, 사용할 API 데이터 구조가 우리가 필요한 구조와 많~이~ 달라서 일단 API의 데이터를_ 몽땅 뽑아내서 테이블을 예쁘게 다시 만드는 작업_을 하려던 중이었다. (API호출 80번 해서 일일이 xml 데이터 추출해서 하나의 테이블로 붙이는 작업)

음.. 근데 명색이 프로그래머가 되겠다는 사람이 80번이나 저 반복작업을 한다는 게 창피하기도 하고 해서 검색하다보니 파이썬으로 Open API를 긁을 수 있다네? 😇 그래a 웹크롤러니 뭐니 하던데 이정도 긁는건 당연히 되어야지

무튼 그 상태에서 오늘 첫 파이썬 수업을 들었고! 수업 들으면서 무작정 폭풍 검색을 또 했다. 그랬더니~~

👉 오픈 API를 통한 공공데이터 수집

딱 내가 필요한 글이 있었고 코드가 우리가 원하는 내용이랑 살짝 달라서 더 검색해서 삽질을 더하여 파이썬한테 ~~노가다~~ 시키기 성공!

결과물은 #BeautifulSoup #pandas를 활용해 for문을 돌려 원하는 쿼리로 API 요청을 반복작업해주는 간단한 코드. 사실 xml 데이터만 몇십개 append된 못생긴 리스트를 반환하는 코드이지만 그래도 뿌듯하다. 다음번에 또 이런 작업 하게 되면 더 정제된 값 추출할 수 있게 짜봐야지.

profile
✍️ 기록하는 습관으로 성장하는 웹 개발자. 이모지 Lover 💘

관심 있을 만한 포스트

0개의 댓글