A 서비스에서 B 서비스로 특정 요청을 보내는데, B 서비스에는 IP white-list가 있다. A 서비스의 요청이 특정 ec2 혹은 로드밸런서를 통한다면, B 서비스의 Ip white-list에 A 서비스의 IP 주소를 추가하면 간단히 해결된다. 하지만 A 서비스가 특정 요청을 AWS Lambda를 통해 실행한다면? 가장 우선적으로 고민해볼 사항...
개요 리포팅 자동화 업무를 진행하게 되었다. 업무의 전체적인 개요는, 어떤 창에(누군가 만들어놓은) 엑셀 파일을 업로드하면 특정 구글 스프레드시트에 반영이 되고, 해당 스프레드시트를 타겟으로 하는 피봇 테이블을 캡쳐해서 슬랙 창으로 자동으로 업로드 되도록 하는 것이다. 엑셀파일을 업로드하고, 업로드된 파일의 내용을 객체로 빼내는 것까지는 팀장님이 작업을 해...
최근 회사 서버가 자주 맛탱이가 갔다. 이슈를 파악해서 해결도 했지만, 팀장님께서 CPU 사용률 모니터링 하면서 70% 이상의 사용률이 감지가 되면 슬랙이나 문자로 오도록 하는 기능을 구현해보라 하셨다. AWS SNS 우선 AWS SNS라는, AWS에서 제공하는 푸시 알림 서비스를 활용하기로 했다. 이메일, SMS, HTTP, 람다 등을 알림 수단으로 ...
요청 크기가 너무 많아서 에러가 발생할 때가 있다. 나의 경우는 구글 스프레드 시트에 있는 정보를 Apps Script를 활용하여 JSON으로 변환 후 request body에 담아 우리 서버로 HTTP 요청을 보내어 디비에 저장해야 할 일이 있었다. 이 때, 해당
개요 구글 스프레드 시트에 있는 내용을 Apps Script를 활용해서 JSON으로 변환 후, 우리 서버로 요청을 보내 해당 내용들을 데이터베이스에 저장해야하는 작업을 진행한 적 있다. 해당 과정을 통해 겪은 이슈 중 하나는 스프레드 시트의 모든 내용을 JSON으로 변환해, request body에 담아 HTTP 요청을 하다 보니, 사이즈가 너무 커서 서...
작성 예정 발단 서버 비용 중, 데이터 처리량 관련 비용이 올해 초부터 급격히 늘었다고 공유를 받아, 이에 대한 처리가 필요했다. 원인 우리 서비스는 이미지를 S3에 보관하고, 클라이언트에서 이미지를 조회하고자 할 때, API에서 s3 signed url 을 직접 전달해, s3에 직접 전달하게 했다. > 클라이언트 -> API 서버 이미지 조회 요청 ...
문제 발생 운영 중인 서버가 장애를 일으켰다. 로그를 우선 따와서 파악해보았다. 아래와 같은 로그를 볼 수 있었다. 이 로그는 데이터베이스와의 커넥션 풀이 가득 차서, 새로운 커넥션을 fetching 하는데 timeout 이 발생했다는 것이다. 그리고 현재 데이터베이스 커넥션 풀의 설정은 timout: 10초, connection limit: 5개라고 ...