[SI] 프로젝트 11주차

이번주는 내가 맡은 테이블에 대한

1. 테이블 정의서 수정
2. 데이터 검증
3. 단위테스트 작성
4. 배치를 이용한 데이터 적재

이 4가지중 우선순위를 정해 일을 진행하였다.

첫 번째

테이블 정의서 수정

이 업무는 실데이터를 받고 나니 우리가 예상했던 데이터의 길이와 다르게 들어온 것들이 너무 많아서
컬럼당 MAX 길이의 데이터를 찾아 수정을 하는 작업이다.

두 번째

데이터 검증

이 업무는 앞서 10주차에서 진행했던 방식과 동일하게

실데이터 받기 -> airflow 배치 job 실행 -> DB 적재 확인

이 순서로 내가 받은 실데이터들이 우리가 약속한 요구사항정의서 대로 들어왔는지
확인하고 만약 틀렸다면 airflow UI 에서 보여주는 에러를 확인하여
각 계열사 담당자들과 연락하여 수정하는 방식으로 진행했다.

세 번째

단위테스트

단위테스트는 개발한 내용을 가지고 작성을 진행하였고,
데이터 검증이 우선이라는 팀장님의 말씀에 단위테스트는 기본적인 몇가지만 진행하여
보고하였다.

네 번째

배치를 이용한 데이터 적재

두 번째 일감에서 데이터 검증할때 무조건 배치를 돌려 DB에 데이터가 적재가 되는지
확인을 같이 해야하기 때문에 어려울 것은 없었다.

이번주는 엄청 큰 업무는 없었고,
그동안 작업했던 기본테이블에 대한 데이터 검증 및 지속적인 코드수정
그리고 제일 중요한 문서 최신화 작업이였다.

실데이터가 하루하루 들어올때 마다 우리가 예상해서 적었던 테이블 정의서는 많은 수정을 해야했다.

이번에 느낀점은 처음에 하는 요구사항정의서 및 테이블 정의서를 그저 귀찮은 문서라 생각하지 않고
신중하게 이슈를 상상하고 고민하여 미리 대처방안을 만들었다면..
지금처럼 이슈 대처를 하는데에 시간을 좀 줄일 수 있지 않았을까 하는 생각이 든다.