[TIL]공공데이터 API를 파이썬으로 Scraping 하기 - 짤방일기

bangina·2020년 7월 21일
1

Today I Learned!

목록 보기
2/2
post-thumbnail

오늘 파이썬 처음 배운 생초보고요, 허접하지만 API Scraping 코드를 짰어요

그렇다. 오늘 파이썬 코드를 처음 써봤다.(기억은 안 나는데 주피터가 이미 깔려있던 걸 보니 작년에 처음 코딩 배우기 시작할 때 한번 깨작거리긴 했었나보다. 기억 안남)

현재 작업중인 미니프로젝트가 있는데, 사용할 API 데이터 구조가 우리가 필요한 구조와 많~이~ 달라서 일단 API의 데이터를 몽땅 뽑아내서 테이블을 예쁘게 다시 만드는 작업을 하려던 중이었다. (API호출 80번 해서 일일이 xml 데이터 추출해서 하나의 테이블로 붙이는 작업)

음.. 근데 명색이 프로그래머가 되겠다는 사람이 80번이나 저 반복작업을 한다는 게 창피하기도 하고 해서 검색하다보니 파이썬으로 Open API를 긁을 수 있다네? 😇 그래a 웹크롤러니 뭐니 하던데 이정도 긁는건 당연히 되어야지

무튼 그 상태에서 오늘 첫 파이썬 수업을 들었고! 수업 들으면서 무작정 폭풍 검색을 또 했다. 그랬더니~~

👉 오픈 API를 통한 공공데이터 수집

딱 내가 필요한 글이 있었고 코드가 우리가 원하는 내용이랑 살짝 달라서 더 검색해서 삽질을 더하여 파이썬한테 노가다 시키기 성공!

결과물은 #BeautifulSoup #pandas를 활용해 for문을 돌려 원하는 쿼리로 API 요청을 반복작업해주는 간단한 코드. 사실 xml 데이터만 몇십개 append된 못생긴 리스트를 반환하는 코드이지만 그래도 뿌듯하다. 다음번에 또 이런 작업 하게 되면 더 정제된 값 추출할 수 있게 짜봐야지.

profile
UX, Graphic에 관심이 많은 주니어 프론트엔드 개발자. 취미는 요가와 영상편집입니다. 이모지 Lover 💘

0개의 댓글