구글링 두번 하기 싫어서 만듬
로그인
구글링 두번 하기 싫어서 만듬
로그인
query_export_to_s3 와 table_import_from_s3
개발새발 dataops
·
2023년 8월 11일
팔로우
0
S3
aws
postgres
query_export_to_s3
table_import_from_s3
DB
목록 보기
1/3
aws aurora rds가 제공하는 편의 기능
업무에서 환경을 나누어서 작업을 하다보면 db간의 데이터 이관 또는 파일로부터의 벌크로드를 해야 하는케이스가 굉장히 많다.
때문에 rdb들은 관련 기능들을 파일로 제공 하고 있으며 동일 목적의 기능으로는 가장 강력한 성능을 주로 보여준다. postgres의 경우는 copy to / copy from 또는 pg_dump / pg_restore 두가지 기능이 가장 많이 사용되고 있다.
aws rds postgres는 이를 래핑해서 아예 내부에서 익스텐션으로 제공하고 있으며 사용법도 간단하다.
query_export_to_s3
table_import_from_s3
delimiter 설정
실제로 업무를 하다보면 텍스트 안에 기존에 사용하단 딜리미터가 들어있는 경우가 많고 파일자체도 내보내다 깨지는 경우가 많이 있다.
이로 인해 명령 사용시 quote를 강제로 지정해주는게 좋으며 문법에서 제공하는 copy 옵션들을 충분히 사용하도록 하자
postgres copy option
https://www.postgresql.org/docs/current/sql-copy.html
딜리미터와 quote 를 강제하는 예시
개발새발 dataops
일은 일대로 했는데 남는게 없어서 만든블로그..
팔로우
다음 포스트
Amazon Aurora Postgres 메이저버전 변경(11.x 지원종료) -1-
2개의 댓글
댓글 작성
happy
2023년 8월 11일
잘 봤습니다. 좋은 글 감사합니다.
1개의 답글
잘 봤습니다. 좋은 글 감사합니다.