[데이터 엔지니어링 데브코스 2기] TIL-9주차-파트03 [프로젝트]데이터 웨어하우스를 이용한 대시보드 구성(2)

1. 진척 사항

• 저장한 csv파일을 S3로 저장하는 파이프라인 구현을 완료함. (이때, boto3 라는 라이브러리를 사용함.)

2. 실패(고려) 사항

• S3를 연동할 때 access key를 노출시키지 않고 안전한 방법으로 입력하여 코드 실행을 자동화하고 싶음. 해당 관련 기술을 더욱 모색해야 함.
• 액셀로 파일을 열었을 때 한글이 깨지길래 utf-16으로 인코딩했으나, S3 -> Snowflake COPY 명령어 수행 시 문제가 발생함. 그래서 utf-8로 인코딩한 파일로 테스트하니 잘 됨. 따라서, 액셀 상에서만 한글이 깨지는 것이지 실제로는 데이터가 잘 저장됨.