그동안 구축한 서비스 아키텍쳐와 모니터링 시스템을 테스트하는 주간이었다. 그동안 게을러서 완성을 하지 못한만큼 테스트도 까다로웠다.
배달시스템의 대부분의 기능들이 api 엔드포인트는 물론이고 로직도 정상적으로 작동하지 않고 있었고, 또, 데이터베이스 시딩도 그냥 각자가 알아서 하겠지라는 "내 일이 아니다"라는 생각에 계속 미뤄왔었다. 결국 미뤄왔던만큼 테스트 시나리오를 다양하게 구성하기도 어려웠고, 또 이번주에 와서 다급하게 일부 엔드포인트들을 보강하고 데이터베이스 시딩하고 테이블간 관계성을 잡는데 시간을 다시 또 써야만 했다.
장애대응 테스트는 다음의 순서로 진행할 생각이었다.
- ECS ALB에서 오토스케일링을 우리가 정한 threshold에서 시켜주는지 스파이크 테스트 수행
- RDS가 ECS 컨테이너 2개까지 정상 작동하는지 확인
- 이 과정에서 클라우드워치에 수집된 에러로그/알람 확인
- 테스트 시나리오를 짜고 로드 테스트 수행
하지만 서버에 부하를 줄만한 기능들이 없었고, 억지로 cpu 부하를 유발하는 코드를 작성했을 때는 오히려 지나치게 부하가 강해서 ALB에서 오토스케일링을 제때 하기전에 서버가 죽는 일이 생기기도 했다.
또, 클라우드워치에 로그를 보낼 때 너무 많으 로그를 처음에 보냈고 클라우드워치의 기본 제한을 초과해서 ThrottleException에 걸리는 등 테스트를 위해 임시로 로거도 예외만 기록하게 하는 등 수정이 필요했다.
결과적으로 이번주에 장애대응 테스트는 정상적으로 하지는 못했고, 다음주 마무리 전에 다시 보완하여 진행을 해야할 것 같다.
다음주는 팀원들 각자의 사정으로 나포함 두명 밖에 사실상 작업을 못하기 때문에 목표를 조금 단순화해서 진행할 예정이다.
- AWS에서의 동작을 확인하기보다 로컬에서 컨테이너 리소스 제한을 두고 진행
- 응답시간을 체크해서 정한 기준치를 언제 넘기는지 확인
- write 쿼리와 트랜잭션이 많은 요청에 대해 데이터베이스를 클러스터화시키기 전후의 응답시간 비교
- 시간이 남을 경우 서킷브레이커를 구현
