자동화 가능한 모든 업무를 자동화 하라.

최근 회사에서 비용 절감을 위해 DB 스냅샷 보관 기간을 하루로 줄인다는 방침이 내려왔다.

기존에는 며칠씩 유지되던 자동 스냅샷이 하루만 보관되다 보니, 그 이후에는 데이터를 복구하기 어려운 상황이 생길 수 있었다.

그래서 스냅샷이 아닌 다른 방법으로 백업을 유지할 필요가 있었고,

MySQL Dump + AWS S3 조합으로 매일 자동으로 데이터 백업하는 스크립트를 작성했다.

📜 작성한 스크립트

#!/bin/bash

# crontab으로 실행할 경우 스크립트는 실행 환경의 경로를 참조하므로 설치 파일들의 경로를 모른다.
# 따라서 mysqldump, aws 등의 실행파일을 동작시키기 위해 다음과 같이 경로를 명시해 주어야 한다.
PATH=/usr/local/bin:/usr/bin:/bin:/opt/homebrew/bin

# 1. 오늘 날짜를 변수로 저장
TODAY=$(date +%Y-%m-%d)

# 2. 백업 폴더 생성
BACKUP_DIR=~/Workspace/backup/$TODAY
mkdir -p "$BACKUP_DIR"

# 3. 테이블 목록
TABLES=("cheer_message" "game_result" "reward_history" "sale_link_history" "share_link_history" "user")

LOG_DIR=/Users/shhan/Workspace/backup/log
mkdir -p "$LOG_DIR"

LOG_FILE="$LOG_DIR/my_bump_$TODAY.log"

echo "Dump start at $TODAY" >> "$LOG_FILE" 2>&1

# 4. DB 정보
HOST="prd-elypecs.cluster-cos1iw8cmzag.ap-northeast-2.rds.amazonaws.com"
PORT=3306
USER="my_table"
PASSWORD="password1234" # 가짜 비밀 번호
DATABASE="hanul_bori_prd"

# 5. 각 테이블 덤프
for TABLE in "${TABLES[@]}"; do
  echo "Dumping table: $TABLE"
  mysqldump \
    -h "$HOST" \
    -P "$PORT" \
    -u "$USER" \
    -p"$PASSWORD" \
    --no-create-info \
    --no-tablespaces \
    "$DATABASE" "$TABLE" \
    > "$BACKUP_DIR/$TABLE.sql" 2>> "$LOG_FILE"

  if [ $? -ne 0 ]; then
    echo "❌ Failed to dump table: $TABLE" >> "$LOG_FILE" 2>&1
  else
    echo "✅ Dumped: $TABLE.sql" >> "$LOG_FILE" 2>&1
  fi
done

# 6. S3 업로드
echo "Uploading to S3..." >> "$LOG_FILE" 2>&1

aws s3 sync "$BACKUP_DIR" "s3://prd-data-backup-hanul-bori/$TODAY" >> "$LOG_FILE" 2>&1

if [ $? -eq 0 ]; then
  echo "✅ S3 upload complete!" >> "$LOG_FILE" 2>&1
else
  echo "❌ S3 upload failed." >> "$LOG_FILE" 2>&1
fi

---

💡 이렇게 구성했다

1. 날짜별 백업 폴더 생성
   • $(date +%Y-%m-%d)를 사용해 YYYY-MM-DD 형식의 폴더를 만들었다.
   • 날짜별로 백업 데이터가 정리되니 관리가 훨씬 편해졌다.
2. 특정 테이블만 선택 백업
   • TABLES=("...") 배열에 원하는 테이블명을 넣어 필요한 데이터만 백업하도록 했다.
   • 불필요한 대용량 테이블은 제외해서 속도를 줄였다.
3. 로그 파일 분리
   • SQL 덤프는 .sql 파일에 저장하고, mysqldump 실행 로그와 에러는 별도의 log 폴더에 저장했다.
4. S3 업로드 자동화
   • aws s3 sync 명령어로 백업 폴더 전체를 해당 날짜 경로에 업로드했다.

---

실행 결과

스크립트를 실행하니 날짜별 폴더 안에 SQL 덤프 파일이 생성됐다.

로컬 생성 결과

backup/
 ├── 2025-08-08/
 │   ├── cheer_message.sql
 │   ├── game_result.sql
 │   ├── reward_history.sql
 │   ├── sale_link_history.sql
 │   ├── share_link_history.sql
 │   └── user.sql
 └── log/
     └── my_dump_2025-08-08.log

s3 버킷 생성 결과

이와 같이 폴더가 생성되었고 다음과 같이 파일이 정상적으로 업로드 된것을 확인할 수 있었다.

crontab 등록

이제 잘 작성한 스크립트를 crontab -e 명령어 실행 후 원하는 시간에 맞춰 등록한다.
업무시간에 PC를 켜둘 것이므로 오후 3시에 한번 그리고 저녁에는 주로 공부를 하니까 9시에 한번 등록해 두었다.
오전시간을 피한 이유는 당일에 쌓인 로그를 당일에 백업하기 위함이다.

0 17 * * * /Users/shhan/Workspace/backup/sql/hanul_bori_dump.sh
53 21 * * * /Users/shhan/Workspace/backup/sql/hanul_bori_dump.sh

🤔 crontab 동작 실패

crontab 동작이 실패한 이유는 PATH 때문이었다. 스크립트가 실행될때 crontab에 의해 실행이 되면 환경이 usr/local/bin 정도 최소한의 경로만 기본값으로 실행되기 때문에 스크립트 안에 있는 mysqldump와 aws명령어를 실행할 수 없기 때문에 발생한 에러였다.

Dumping table: cheer_message
❌ Failed to dump table: cheer_message
Dumping table: game_result
❌ Failed to dump table: game_result
Dumping table: reward_history
❌ Failed to dump table: reward_history
Dumping table: sale_link_history
❌ Failed to dump table: sale_link_history
Dumping table: share_link_history
❌ Failed to dump table: share_link_history
Dumping table: user
❌ Failed to dump table: user
Uploading to S3...
❌ S3 upload failed.

✍️ 스크립트 수정

#!/bin/bash

# 스크립트에 PATH 추가
PATH=/usr/local/bin:/usr/bin:/bin:/opt/homebrew/bin

배운점

매일 수동으로 작업할 뻔한 업무를 자동화 하는 습관은 매우 중요하다. 수동으로 작업을 하는게 비록 작은 작업일지라도 쌓이게 되면 이 또한 비용으로 작용하며 불필요한 시간을 낭비하게 되는 것이다.

개발과 기술을 활용한다는 것은 이렇게 파워풀한 일이며 가능한 모든 업무를 자동으로 처리하여 삶의 질을 향상시킬 수 있도록 창의성을 가지고 활용해 보아야 함을 느꼈다.