CSTS_FL-10 테스트 모니터링 및 제어 (4문제)

violet·2024년 8월 12일

CSTS FL

CSTS_FL

목록 보기

10/11

31. 테스트 모니터링 및 제어

테스트 종료 기준이 충족되면
테스트 종료 활동을 수행하고
테스트 종료 보고서를 작성

테스트 모니터링 및 제어
- 동적 테스트 프로세스의 수행 상황을
  테스트 메트릭을 이용하여 파악
테스트 종료
- 테스트 수행 중 생성된 산출물 관리

31-1. 테스트 모니터링 및 제어 개요

테스트 계획서에 준하여
동적 테스트 프로세스가 수행되도록
각 테스트 활동을 모니터링하고
테스트 활동 수행을 제어

테스트 모니터링 및 제어 활동

테스트 모니터링 및 제어 활동 산출물
- 테스트 현황 보고서

31-2. 테스트 모니터링

테스트 프로세스를 수행하는 전 과정에서
테스트 활동이 계획에 일치하여 수행하는지 모니터링

테스트 계획과 진척도 차이가 있는지 파악
- 차이가 있다면 원인도 분석
위험 관리 작업 수행
- 모니터링을 통해서 새로운 위험 요소를 식별하고
  식별된 위험에 대한 위험도 산정과 평가를 수행하며
  이를 테스트 활동의 제어에 반영
테스트 계획에서 결정된 메트릭을 이용하여
정량적인 모니터링
결함 보고서와 결함 추적 보고서가
중요한 역할 수행

31-3. 테스트 활동 제어

메트릭을 이용한 모니터링을 바탕으로
동적 테스트 프로세스의 활동을 적절히 제어

테스트 완료 기준을 바탕으로
테스트 완료 여부를 결정하는 단계가 아님

테스트 활동 제어 유형
- 동적 테스트 활동의 시작
  - 테스트 계획서에는 동적 테스트 프로세스 또는 동적 테스트 활동에 대한 시작 조건 정의
- 동적 테스트 활동의 종료
  - 종료 조건이 만족되면 테스트 종료
- 테스트 계획과의 차이
  - 만약 진행 상황이 테스트 계획서에 명시된 일정과 상이하다면
    해결하기 위한 작업 수행
- 위험 관리
  - 새로운 위험이 식별되거나
    기존 위험에 변동이 발생하면 테스트 활동을 제어

테스트 활동 제어 방법
- 테스트 컨텍스트 관점의 테스트 활동 제어
  - 테스트 대상, 테스트 범위, 가정 및 제약사항 변경
- 테스트 전략 관점의 테스트 활동 제어
  - 새로운 개별 테스트 추가, 테스트 설계 기법 조정,
    테스트 환경 조정, 재테스팅 및 회귀 테스팅 기준 조정
- 테스트 수행 계획 관점의 테스트 활동 제어
  - 일정 조정, 인력 조정, 의사소통

31-4. 테스트 현황 보고

보고 대상 기간
- 테스트 활동의 기간
계획 대비 진척도
- 테스트 계획서에 정의된 계획을 기준으로 한 진척도
- 계획 대비 지체되는 작업이 있으면 원인을 분석하고
  테스트 프로젝트에 미칠 수 있는 영향을 기술
테스트 메트릭
- 보고 대상 기간 동안의 테스트 활동에 대한 메트릭 측정값
신규 및 변경 위험
- 새롭게 식별된 위험에 대한 분석 결과
- 기존 위험의 변경
  - 위험의 해소, 발생 가능성 변경
이후 테스트 계획
- 다음 보고 시점까지 수행할 테스트에 대한 계획
- 수행을 지체시킨 요인에 대한 조치
  새롭게 발견된 위험에 대한 회피, 완화, 전가, 수용
  조치 계획을 포함합니다.

31-5. 테스트 모니터링 및 제어 산출물

테스트 현황 보고서

32 테스트종료

32-1. 테스트 종료 개요

테스트 프로젝트에서 생성된 결과물을
이후 테스트 프로젝트에서도 재사용될 수 있도록 테스트 자산으로 관리

테스트 환경 요소들을 약속된 상태로 정리
수행된 테스팅 결과를 테스트 종료 보고서에 기록

테스트 종료 활동 산출물
- 테스트 종료 보고서

32-2. 테스트 자산 관리

수행된 테스트 산출물 중 재사용될 수 있는 테스트 자산

테스트 계획서, 테스트 설계 명세서, 테스트 케이스 명세서, 테스트 절차 명세서
- 나중에 비슷한 유형의 프로젝트에서 재사용될 가능성
재사용 가능성이 있는 것으로 식별된 테스트 자산은
추후 재사용을 위하여
형상 관리 시스템 같은 공유 시스템에 저장

32-3. 테스트 환경 정리

테스트 환경 요소는
테스트 계획을 수립할 때 식별되고
테스트 설계 및 구현 활동에서 구체화

테스트 환경 요소는 테스트 환경 구축 및 관리 활동에서 준비
테스트가 종료되면 테스트 실행 시 사용되었던 테스트 환경을 원래의 상태로 복구
- 환경 요소를 테스트에 사용하기 이전 상태로 복구

32-4. 테스트 종료 보고

그동안 수행하였던 테스트 결과를
테스트 종료 보고서에 기록

테스트 종료 보고서
- 테스트 요약
  - 테스트 보고서 전체 내용의 요약
    테스트 대상, 테스트 환경, 관련된 테스트 문서,
    테스트의 전반적인 결과 기술
  - 작성 대상이 되는 대상 나열
  - 테스트 계획서, 테스트 설계 명세서, 테스트 케이스 명세서, 테스트 절차 명세서,
    테스트 실행 로그와 결함 보고서 명시
  - 테스트 실행 환경 기술
  - 전반적인 테스트 결과 기술
- 계획 대비 차이
  - 초기에 테스트 계획과 차이
    - 차이가 있다면 변동 사항과 변동이 필요했던 이유를 기술
  - 테스트 보고서 변동의 원인과 이로 인해 발생한 변동 사항 요약 기술
    - 테스트 관리자는 이 변동 사항 부분을 통해 계획과 어떤차이가 있었고
      이유가 무엇인지를 쉽게 파악 가능
- 테스트 방해 요인
  - 테스트 활동 수행을 방해했던 요인과 해결방법 기술
- 테스트 메트릭
  - 수행한 테스트 활동 요약
  - 테스트 활동에 대한 메트릭을 정리
  - 테스트 계획에서 명시된 테스트 메트릭에 대한 측정치 기술
  - 테스트 활동
    - 테스트 계획 – 테스트 설계 및 구현 – 테스트 환경 구축 및 관리 – 테스트 실행 – 결함 보고 – 테스트 모니터링 및 제어 – 테스트 종료
- 결함 목록
  - 테스트 활동으로 검출한 각 결함에 대한 최종 상태 요약
  - 종료된 결함은 Closed로 표기, 이 외의 결함은 review, assigned, resolved, deferred
- 잔존 위험
  - 테스트 활동을 통해 완전하게 해소되지 않았거나,
    새롭게 식별된 위험을 나열
- 테스트 완료 평가
  - 테스트 종료 보고서는 테스트 완료 여부에 대한 평가 결과 기록
  - 테스트 종료된 시점의 위험 상태도 고려 O
- 테스트 산출물
  - 테스트 활동을 수행하여 작성된 테스트 산출물 나열
  - 명확한 이름과 최종 버전, 저장 위치 명시
- 재사용 가능한 테스트 자산
  - 테스트 산출물을 포함하여 추후 재사용 가능한 테스트 자산 나열
  - 추후 공유되고 사용하도록 구체적으로 기술
- 교훈
  - 추후에 조직의 테스트 프로세스를 개선하는데 활용
- 개별 테스트 종료 보고서와 프로젝트 테스트 종료 보고서
  - 수행된 개별 테스트마다 테스트 종료 보고서를 작성
    - 개별 테스트에 대한 테스트 종료 보고서를 바탕으로
      프로젝트 수준의 테스트 종료 보고서를 작성
  - 프로젝트 및 개별 테스트 수준의 종료 보고
    - 테스트 종료 보고서는 테스트 결과에 대한 종합적인 평가
    - 각 레벨 테스트 종료 보고서는 다음 레벨 테스트 실행을 시작할 준비가 되었는지 판단하는데 이용
      - 컴포넌트 테스트 계획서의 기준에 따라 충분히 테스트 되었는지 기록
        
        통합 테스트를 실행할 준비가 되었는지 판단할 때 이용
      - 통합 테스트 보고서는 시스템 테스트를 실행할 준비가 되었는지 판단할 때 이용
      - 인수 테스트 보고서는 시스템이 출시될 준비가 되었는지 판단할 때 이용
        
        인수 테스트 보고서에 기재된 테스트 완료 평가, 잔존 위험 등이 시스템 출시 여부에 영향

32-5. 테스트 평가 및 개선

수행된 테스트 활동이
얼마나 많은 결함을 얼마나 효율적으로 검출했는가를 기준으로 수행
테스트 효율성 = 테스트 효과성 / 테스트 비용

테스트 활동 평가
- 테스트 효과성 평가
  - 테스트를 통하여 얼마나 많은 결함을 검출하였는지 평가하는 메트릭
- 테스트 효율성 평가란
  - 테스트 효과를 달성하는 데 소요된 비용까지 반영된 메트릭

테스트 효과성 평가 메트릭
- 테스트 케이스 기반 메트릭
  - 테스트 케이스 실패율
    - 사용된 전체 테스트 케이스 중에서
      테스트 대상이 기대와 다른 결과물을 보인 실패한 테스트 케이스의 비율
    - 사용된 테스트 설계 기법이 해당 테스트 대상의 피처를
      얼마나 효과적으로 테스트하고 있는지 의미
  - 테스트 케이스 효율성
    - (생성된 전체 테스트 케이스 수 / 검출된 전체 결함의 수)
    - 실패한 각 테스트 케이스가 서로 같은 결함일 가능성 존재
- 결함 기반 메트릭
  - 검출 결함 수와 검출 결함 밀도
    - 효과적인 테스트를 진행했다면 더 많은 수의 결함을 검출가능
    - 검출된 결함의 수는 테스트 효과성을 평가하기 위한 척도로서 부적합
      - 많은 결함이 있는 시스템에서 더 많은 수의 결함을 찾을 수 없기 때문
    - 검출 결함 밀도는 검출된 결함의 수를 시스템의 규모로 나눈 값으로
      시스템 규모 측면에서는 객관화된 기준
    - 유사한 시스템에 대한 테스트 데이터를 장기간 축적하였다면
      축적된 과거 데이터와의 비교를 통해 상대적으로 테스트 활동의 효과성을 평가
    - 결함의 발생에 영향을 미치는 요인들이 동일한 시스템을 개발하고
      테스트하면서 검출 결함 수와 검출 결함 밀도에 대한 데이터를 축적했다면,
      지금 수행한 테스트에서 구한 검출 결함 수와 결함 밀도를 비교함으로써
      현재 테스트 활동이 얼마나 효과적인지 상대적으로 평가 가능
  - 결함 검출 비율과 결함 구속 효율성
    - 검출된 결함의 수는 실패한 테스트를 분석하여 도출
    - 결함 검출 비율은 테스트에 대한 전반적인 평가뿐만 아니라
      테스트 레벨별, 테스트 대상 별로 계산 가능

테스트 활동 개선
- 테스트 계획 활동 개선
  - 테스트 대상과 범위 그리고 테스트 종료 기준을 결정함으로써
    테스트 활동이 어떤 것을 대상으로, 무엇에 초점을 두고,
    언제 종료될지 결정
  - 테스트 효과성과 효율성을 높이기 위해 위험 분석을 바탕으로
    테스트 대상, 피처 그리고 테스트 전략 결정
  - 효과적인 테스트가 수행되지 않았다면
    위험 분석 방법 개선
    - 위험 분석 방법이 개선되면 테스트 대상, 피처가 영향을 받음
- 테스트 설계/구현 및 테스트 환경 구축/관리 활동 개선
  - 테스트 전략을 조정하여 테스트 강도를 변화 가능
    - 강한 수준의 테스트 기법과 테스트 완료 기준을 사용하여
      더욱 강도 높은 테스트를 실행가능
  - 테스트 세부 작업에 대한 자동화의 가능성을 검토하여
    테스트의 효율성을 높이도록 시도
    - 기존에 사용되는 테스트 도구의 자동화 기능을 충분히 활용하여
      테스트 활동의 효율성을 높일 수 있음
  - 테스트 완료 기준을 조정하여
    테스트 목적의 달성 수준에 영향을 줄 수 있음
- 테스트 실행 및 결함 보고 활동 개선
  - 테스트 프로세스를 구성하는 활동 중
    테스트 실행에 가장 많은 시간이 소요
  - 다수의 테스트 절차를 적용하여 그 결과를 관찰하고
    예상 결과와 비교하는 데는 많은 시간이 소요
  - 적용한 자동화 지원 도구가 실제로 어떻게 사용되는지 분석하여
    도구의 효율성 평가
  - 테스트 도구를 적극적이고 효과적으로 활용하여 잘 진행되는지 분석
  - 테스트 프로세스를 정의할 때 명시적이고 구체적으로
    선택된 테스트 도구를 활용하여
    테스트 자동화에서 기대하는 효율성을 달성
  - 결함 분석 시 구체화, 일반화, 고립화가 충분하지 않은 경우에
    개발자는 해당 결함을 정확하게 재연하여 효율적으로 수정하는 데 어려움이 있을 수 있으므로
    이때는 결함 분석 및 추정 방법을 조정함으로써 발견된 결함의 수정 비용을 줄임
- 테스트 활동 평가에 따른 개선
  1. 낮은 테스트 케이스 실패율
    - 결함을 검출하지 못하고 통과되는 테스트 케이스가 많음
    - 결함이 적은 것으로 간주될 수 있는 모듈은 리그레션 테스트를 수행할 때 제외하여
      컴포넌트 테스트에 소요되는 비용을 감소
  2. 낮은 테스트 케이스 효율성
    - 하나의 결함을 발견하는데 많은 수의 테스트 케이스가 사용
    - 테스트 케이스 간의 독립성을 높여서
      여러 테스트 케이스가 동일한 결함을 검출하는 것을 예방
    - 낮은 테스트 케이스 효율성도 낮은 테스트 케이스 실패율과 마찬가지로
      기본적으로 해당 모듈에 결함이 적기 때문
    - 낮은 테스트 케이스 효율성의 원인이
      낮은 테스트 케이스 실패율일 수 있음.
  3. 낮은 검출 결함의 수와 검출 결함 밀도
    - 근본적으로 테스트 대상에 적은 수의 결함이 있었기 때문에
      검출된 결함의 수가 적을 수 있음
    - 유사한 시스템에 대해서 축적된 데이터가 있다면
      서로 비교하여 현재 테스트 활동에 대한 평가가 가능
    - 유사한 시스템에 대한 기존의 테스트에서 검출된 결함의 수 또는 결함 밀도가
      작은 수의 결함을 검출하거나
      검출된 결함의 밀도가 낮다면
      현재 수행된 테스트 활동이 효과적 X
    - 테스트 대상과 범위가 부적절하여 시스템에 존재하는 결함을
      검출하지 못하는 테스트 케이스들이 사용되었을 가능성 존재
  4. 낮은 결함 검출 비율과 결함 구속 효율성
    - 우선 낮은 결함 검출 능력을 보이는 단계의 테스트 범위를 확대
    - 구현/컴포넌트 테스트에서 낮은 결함 구속 효율성이 목격되는 경우
      컴포넌트 테스트에 더 많은 노력을 투입
    - 인스펙션을 효과적으로 수행하지 못했던 원인을 분석하여 개선 가능
    - 체크리스트가 불충분한지 확인
    - 테스트 강도를 강화하여 더 많은 결함 검출 가능

테스트 프로세스 평가 모델
- 프로세스 참조 모델
- 프로세스 역량 레벨
  - 프로세스 수행
    - 프로세스의 목적을 달성하는 정도
  - 수행 관리
    - 프로세스의 수행이 관리되는 정도
  - 작업 산출물 관리
    - 프로세스를 통해 생산되는 작업 산출물이 적절하게 관리되는 정도
  - 프로세스 정의
    - 정의된 프로세스의 전개를 지원하기 위해 표준 프로세스가 관리되는 정도
  - 프로세스 전개
    - 프로세스 성과를 달성하기 위해 표준 프로세스 정의
    - 프로세스로서 전개 정도
  - 정량적 분석
    - 정보에 대한 니즈가 정의되고, 프로세스 요소 간의 관계가 식별되고 데이터가 수집되는 정도
  - 정량적 통제
    - 예측 가능한 프로세스의 수행을 관리하기 위해 객관적 데이터가 사용되는 정도
  - 프로세스 혁신
    - 프로세스 정의 및 전개의 대한 혁신적인 접근 방식을 조사하여
      프로세스의 변경을 식별하는 정도
  - 프로세스 혁신 이행
    - 프로세스의 정의, 관리 및 수행에 대한 변경이 프로세스의 혁신 목적을 달성하는 정도
프로세스 평가 지표
- 각 프로세스의 달성 정도를 평가하기 위한 평가 지표
  - 수행 지표
    - 레벨 1의 역량 수준을 평가할 때 사용
    - 개별적인 프로세스의 목적을 달성 하였는지에 대한 평가 지표
    - Base practice, Work product
  - 역량 지표
    - 역량 레벨 1~5에서 사용되는 지표
    - 역량 지표는 PA 2.1 수행관리가 완료되는 경우에는 “a) 프로세스의 수행 목표가 식별된다.”에서부터
      “h) 관련된 당사자 간의 인터페이스가 효과적인 의사소통과 책임의 명확한 할당을 보장하기 위해 관리된다.” 까지의
      성과를 달성할 수 있음
    - Generic practice, Generic resource, Generic work product