🍃인트로
어느덧 팀 프로젝트를 시작한지도 1달이 다되어 간다. 이번 주에는 관광명소 API 리스트 가져오는 것을 마무리 되길 원했는데 마무리 되진 않았다. 그대신 이번주에는 헤로쿠 DB에 크롤링으로 수집한 데이터를 집어넣고, 댓글 수정, 삭제, 입력, 불러오기 기능과 헤로쿠 배포시 프론트엔드와 백엔드가 서로 잘 붙는지 테스트하였다.
🎁CSV파일을 테이블로 가져오기
파이썬 크롤링을 통해 수집한 관광명소 데이터를 place 테이블에 넣어야된다. 하지만 수집한 csv 파일은 각지역별로 그리고 카테고리(박물관, 미술관) 별로 나뉘어져 각각 csv 파일을 입력할려면 많은 노가다를 동반하기에 하나로 합치기로 결정하였다.
하지만 여기서 주의할 점은 한번에 모든 파일을 합치는 것은 좋은 생각이 아니다. 나의 경험으로 예기를 해보자면, 한방에 합치다가 손상된 csv 파일도 존재하여 손상된 csv 파일을 합칠 경우 파일이 손상되버린다. 따라서 손상된 파일은 제거해야한다. 그렇게 하기 위해서는 카테고리 별로 합치고 문제가 있는 파일이 있을 경우 제거하는 식으로 진행하면 된다.
csv 파일을 합치는 방법
- 카테고리별로 분류된 csv 파일들이 있는 폴더 경로로 이동한다.
- 해당 경로에 메모장 파일을 하나 만들고 아래와 같이 cmd 명령어를 입력한다.
copy *.csv csvFile.csv
- 해당 파일 확장자를 bat으로 변경한다. 맥OS의 경우 다른 방법을 찾아야 할 수 있다.
- 그리고 더블 클릭하면 파일이 하나로 합처진다.
위 방식으로 CSV 파일을 하나로 합친다. 하지만 해당 파일중에 손상된 파일이 존재하기 때문에 7개정도를 드래그한 다음 엔터를 클릭하면 한번에 여러개의 파일을 실행하여 손상되었는지 확인할 수 있다.
다음으로, 파일을 다 합친 다음에는 각각 파일 끝단에 존재하던 컬럼 명을 제거해줘야한다.
위 이미지처럼 중간에 컬럼명이 존재하면 안된다. 여기서 주의 할 점이 존재한다. 엑셀이나 한셀로 파일을 편집하고 해당 파일을 DB에 넣으면 한글이 깨저서 들어가 오류가 난다는 것이다. 이러한 점을 고려할 때 Visual Studio Code 등을 이용하여 txt 파일 형식으로 만든 다음에 제거하는 것이 좋다.
