MySQL에 대용량 데이터 저장

1. 로컬 동작

1. 대용량 파일을 압축합니다.

tar -czvf {파일명}.tar.gz {파일명}.csv

2. scp를 사용해 파일을 서버로 전송합니다.

scp -i {암호이름}.pem {파일명}.tar.gz {사용자}@{public ip}:{경로}

2. 서버 동작

3. 전송 받은 파일을 압축 해제합니다.

tar -xzvf {파일명}.tar.gz

4. 관리자권한으로 접속합니다.

sudo -i

5. 어드민으로 mysqld에 접속하고 local-infile 속성을 켭니다.

mysql --local-infile=1 -u {어드민 사용자} -p {DB 이름}

6. 로컬 경로의 데이터를 테이블에 입력합니다.

load data local infile '/home/ubuntu/data/{파일명}.csv' into table {테이블명} fields terminated by ',' enclosed by '"' lines terminated by '\n' ignore 1 rows;