18일차 : 데이터 전환 수행

Dev_HG·2020년 7월 21일
0

1. 데이터 전환 수행 계획

1. 데이터 전환 수행 계획 개념

  • 데이터 전환을 위한 상세 설계, 전환 및 검증 프로그램 개발과 통합 전환을 수행할 수 있도록 계획 한다.
  • 전환 단계에서는 업무 간 병렬 처리, 전환 시나리오에 따른 일관된 통제 및 관리, 주기적으로 데이터 전환 테스트를 반복하는 등 통합된 체계적 접근이 필요하다.

2. 데이터 전환 수행 범위

  • 데이터 전환의 성공과 실패는 범위가 기준이 된다.
  • 전환 대상의 작업 내용, 사용 도구 등 세부사항까지 파악하여 명시한다.

추출

  • 전환 대상 데이터의 추출 작업
  • 현행 데이터베이스 데이터를 SAM 파일 형태로 추출
  • 전환 도구

정비

  • 추출된 데이터의 정비
  • 개발, 테스트 단계 중 발견된 정비요건은 사전에 정비
  • 사전에 정비할 수 없는 경우에는 정비 요건을 추출
  • 전환 조건

전환

  • AS-IS 데이터 추출 SAM 파일을 TO-RE SAM(Target SAM) 파일로 변환
  • AS-IS DB와 TO-BE DB간 매핑 정의에 의해 데이터의 변환 작업을 진행
  • AS-IS 코드와 TO-BE 코드 간 매핑 정의에 의해 전환 작업을 수행
  • 전환 도구

적재

  • TO-BE SAM(Target SAM) 파일을 TO-BE DB에 적재
  • TO-BE DB와 같은 구조로 변환된 데이터를 TO-BE DB에 적재
  • SQL-LOADER

검증

  • 추출, 변환, 적재 단계별로 데이터 검증
  • 추출, 변환, 적재 단계별로 검증 프로그램이 검증 자료를 생성
  • 단계별로 생성된 자료를 통합하여 결과를 판정
  • 별도로 전환 도구에서 수행한 프로그램별 로그 기록을 확인
  • 값 검증(건수, 합계, 코드 등)을 위해 샘플링 수행
  • 검증 프로그램 및 Eye Check

3. 데이터 전환 수행 일정

  • 데이터 전환 일정은 팀별 업무를 분장하여 팀별 역할과 납기를 기록
  • 전환 회차 수의 결정은 통합 전환 계획 및 테스트 계획에 의해 결정

4. 데이터 전환 절차

  • 현행(AS-IS) 시스템에서 목표(TO-BE) 시스템으로 전환을 위한 단계를 구분한다.
  • 각 단계별 작업 내용과 사용되는 도구를 별도로 기록한다.
  • 원천 데이터베이스의 데이터는 백업하여 스테이징(Staging) 데이터베이스로 복구한 후 정비 및 변환 작업을 수행한다.
  • 데이터 전환이 완료된 후 검증 단계에서는 스테이징 데이터베이스가 아닌 원천 데이터베이스와 비교하여 데이터 오류를 확인해야 한다.

5. 데이터 전환 계획서 작성

  • 데이터 전환을 위해 여러 단계를 거치는 전환계획서를 작성하고 데이터 전환 시 발생할 수 있는 리스크를 미연에 방지한다.

1. 단위 시스템 별 데이터 이행 및 검증 계획

  • 단위 시스템 별 작성된 이행 흐름(Flow)에 의거한 수행
  • 주기별 수행 결과에 따른 단위 시스템별 이행흐름 보완
  • 단위 테이블 별 검증 요건에 따른 검증 실시
  • 검증 요건 상세화 및 검증 실행

2. 전체 시스템 데이터 전환 시나리오 작성 및 검증 계획

  • 데이터 전환에 따른 총 이행소요 시간 측정 및 최적화(Turning)
  • 단위 업무 간 중복 참조되는 전환 데이터 통합
  • 데이터 전환 대상 누락분 확인 및 동결(Freezing)시점 이후 데이터 처리 방안 확정
  • 데이터 흐름에 따른 정합성 검증

3. 최종 데이터 전환 시뮬레이션 검증 계획

  • 데이터 전환 후 시스템 온라인 거래 트랜잭션(Transaction)모니터링
  • 데이터 전환 시간 측정 및 순서 확정
  • 모의 계획 시나리오 기반 데이터 이행
  • 미반영 데이터 분에 대한 확정 및 테스트

6. 데이터 전환 수행 단계

1. 요구사항 분석 단계(전환 단계 및 요건 정의)

  • 데이터 전환 프로젝트의 계획을 수립하고 현행 정보시스템(AS-IS) 및 원천 데이터의 구조를 분석해야 한다.
  • 현행 정보시스템의 분석이 끝나면 목표 시스템(TO-BE)에 대한 분석을 진행한다.

1. 프로젝트 계획

  • 프로젝트의 목표와 범위를 명확화
  • 추진 체계와 절차 및 투입 인력을 명시
  • 데이터 품질관리 계획 및 보안 관리 내용 기록

2. 프로젝트 환경구축

  • 프로젝트 수행 위한 PC 및 네트워크 환경 등 개발환경 구축

3. 현행 시스템 분석

  • 장비 및 솔루션 현황 , 네트워크 구성도 파악
  • 원천 데이터 경로 및 크기 분석

4. 목표 시스템 분석

  • 데이터가 적재 되는 목표 시스템에 대한 분석
  • 데이터베이스 구조르르 정확히 분석하고 이해

5. 데이터 전환 요건 정의

  • 데이터 전환 시 고객과 이해 관계자의 요건을 명확히 정의

2. 설계 단계(전환 설계)

  • 데이터 전환 계획 및 요건정의 단계에서 정의된 내용을 근거로 데이터 전환을 위한 데이터 매핑 및 검증 규칙을 설계한다.

1. 로지컬 매핑(Logical Mapping)

  • 목적 데이터베이스 기준으로 원천 데이터의 ETL 로직 및 비즈니스 흐름 반영

2. 코드 매핑(Code Mapping)

  • 목적 데이터베이스를 데이터 표준에 맞게 정의

3. 검증 규칙(Rule)정의

  • 데이터 변환에 의한 전환이 이루어진 경우 검증 규칙을 명확히 정의

4. 전환 설계서 작성

  • 데이터 전환 설계 단계에서 정의된 대로 전환 프로그램을 구현

3. 구현 단계(전환 개발)

  • 데이터 전환 설계 단계에서 정의된 대로 전환 프로그램을 구현한다.

1. 전환 개발 환경 구축

  • 개발 표준과 개발방법론에 맞게 데이터 전환 개발 환경을 구축

2. 전환 프로그램 개발

  • 데이터 변환 설계서에 따라 데이터 전환 프로그램을 구현

3. 검증 프로그램 개발

  • 데이터 검증 설계서의 데이터 검증 논리로 실현 가능한 검증 프로그램을 구현

4. 테스트 단계(전환 테스트 및 검증)

  • 데이터 전환 개발이 완료되면 전환 테스트를 진행하고 계획된 대로 전환이 되었는지를 검증한다.

1. 전환 검증 설계

  • 원천 데이터의 추출 및 변환 후 목적 데이터베이스에 전환하기 위한 검증 방법과 단계를 설계

2. 추출 검증

  • 원천 데이터베이스, 파일, 문서로부터 전환하기 위한 데이터를 정확히 추출했는지 검증

3. 변환 결과 검증

  • 원천 데이터를 목적 데이터베이스에 전환위해 변환 작업에 대한 검증 수행

4. 최종 전환 설계

  • 검증 과정에서 발견된 수정 사항을 반영하여 최종 전환 설계를 완성

5. 전환 인프라 구축

  • 실제 데이터 전환을 위한 인프라 구성

6. n차 전환 검증

  • 반복적인 데이터 전환 테스트로 데이터 정합성 확보

5. 데이터 전환 단계

  • 데이터 전환 검증이 완료되면 실제 원천시스템의 데이터를 목적시스템에 전환한다.

1. 최종 전환

  • 원천 데이터를 목적 데이터베이스에 전환 수행

2. 안정화 지원

  • 전환된 데이터는 신규 시스템 내 운영이상 확인
  • 문제 발생 시 즉각적으로 원인 파악 및 대응

3. 후속 단계 데이터 전환

  • 안정화 지원 시 발생된 문제점 파악 통해 후속 단계 데이터 전환 진행

4. 전환 완료보고서 작성

  • 전환 완료보고서를 작성하고 의사 결정자에게 보고 진행 및 확인

2. 체크리스트

1. 체크리스트(Checklist)개념

  • 전환 프로그램의 에러, 시간제약, 비즈니스 로직 변경, 긴급 상황 및 위험요인 대응을 위한 측정 가능한 목록

2. 체크리스트 작성

  • 수행 작업의 상세항목, 작업내역, 예정 시작/종료 시간, 작업자를 기재

3. 데이터 검증

1. 데이터 전환 프로그램 검증

  • 전환 프로그램을 이용한 전환 작업 시 적재 과정의 정상 수행 여불르 점검

1. 조직 및 역할 정의

  • 데이터 전환을 위한 검증 수행 조직을 확인
  • 전환 결과에 대한 개별 역할을 수행

2. 유실 데이터 방지

  • 유실방지를 위한 대상 식별 및 체크리스트 작성
  • 코드 내 오류처리(Error Handler)구문 작성

2. 전환 계획서/ 체크리스트 기반 검증

  • 데이터 전환 계획서의 내용과 체크리스트의 작업 내용을 확인한다.
  • 데이터 검증을 위한 수행 조직을 확인하고, 팀별 검증 역할을 확인한다.
  • 전환 단계별 결과를 확인하고 성과, 시작 시간과 종료 시간 등을 기록

3. 데이터 검증 종류

  • 로그 검증 : 전환 시 수행되는 추출, 적재 로그를 작성하여 검증
  • 애플리케이션 검증 : 응용 애플리케이션을 통한 프로그램 기반 검증
  • 데이터 검증 : 사전 정의된 업무 규칙을 통하여 데이터 정합성 검증 수행

4. 전환 단계별 결과 검증

1. 추출 검증

  • 목적 : 원천데이터 정합성 확인
  • 방법 : 전환대상 데이터(테이블 건수, 금액) 등에 대한 검증 보고서 작성
  • 방법2 : 작성된 검증 보고서의 정합성은 원본 데이터로 확인

2. 전송 검증

  • 목적 : 전송 데이터 유실 확인
  • 방법 : 원천(AS-IS) 검증 자료와 비교
  • 방법2 : 샘플 레코드로 항목별 정당성 검증
  • 방법3 : 원천 데이터 검증 보고서 작성

3. 전환 검증

  • 목적 : Staging DB 구성 후 데이터 검증
  • 방법 : 원천 데이터 검증보고서와 Staging DB 간 항복별 검증

4. 적재 검증

  • 목적 : 전환데이터 정합성 검증
  • 방법 : 목적(TO-BE) 데이터 검증 수행
  • 방법2 : 데이터 오류 및 누락, 손실 확인

5. 통합 검증

  • 목적 : 매핑 정의서 오류 검증
  • 방법 : 오류 데이터 분석 통해 전환 규칙 오류를 수정 및 반영
  • 방법2 : 목적 데이터 검증 보고서 작성
  • 방법3 : 데이터 추출 결과서 비교 검증
profile
꾸준함

0개의 댓글