CSV 파일 가공하기 (06.26)

전국관광안내소표준데이터

csv 파일에 담긴 내용

데이터를 받기 위한 테이블 정의서

tour_info_nm 관광안내소명
tour_location_nm 안내소위치명
sido 시도명
sigungu 시군구명
off_day 휴무일
tel 안내소전화번호
addr_road 소재지도로명주소
addr_no 소재지지번주소
ssafy_id 교육생의 ssafy 아이디
reg_dt 등록일

---

작업 과정

1. 테이블 컬럼 대상이 아닌 데이터는 삭제
2. Mysql Workbench를 이용하여 해당 텍스트 파일 데이터를 테이블로 import (SQL import 명령어도 가능)

1,2 를 Wizard를 사용해서 한번에 진행

csv파일을 필요한 컬럼만 선택해서 import 하는 방법으로

MySQL Workbench Table Data Import Wizard 를 사용할 것이다.

일단 테이블 생성해주시고

CREATE TABLE ssafy_session (
    tour_info_nm VARCHAR(255) COMMENT '관광안내소명',
    tour_location_nm VARCHAR(255) COMMENT '안내소위치명',
    sido VARCHAR(100) COMMENT '시도명',
    sigungu VARCHAR(100) COMMENT '시군구명',
    off_day VARCHAR(255) COMMENT '휴무일',
    tel VARCHAR(50) COMMENT '안내소전화번호',
    addr_road VARCHAR(500) COMMENT '소재지도로명주소',
    addr_no VARCHAR(500) COMMENT '소재지지번주소',
    ssafy_id VARCHAR(50) COMMENT '교육생의 ssafy 아이디',
    reg_dt DATETIME COMMENT '등록일'
);

tables 의 ssafy_session을 우클릭 하고 Table Data Import Wizard 버튼을 눌러서 import 할 수 있다.

테이블에 맞게 잘 들어온 것을 확인!

3. Sql 쿼리를 이용해서 reg_dt 컬럼에 등록일시 일괄 입력

set SQL_SAFE_UPDATES = 0;

UPDATE ssafy_session 
SET reg_dt = NOW() 
WHERE reg_dt IS NULL;

UPDATE SSAFY_SESSION
SET SSAFY_ID = "KANGSUB"
WHERE SSAFY_ID IS NULL;

SET SQL_SAFE_UPDATES = 1;

4. 최종 테이블 데이터를 .csv 로 export

이것도 Table Data Export Wizard 를 이용해서 모든 컬럼을 export 해 주었다.

---

텍스트 데이터가 포함된 문서를 import 하는 과정에서 문서의 캐릭터셋이 DB의 collaction 설정과 다른 경우, 문서에 특수 문자가 포함된 경우 등 데이터 import 과정에는 여러가지 오류가 발생할 수 있다. 이런 경우 원인 파악과 조치를 할 수 있도록 숙지해야한다.