[정보처리기사] 10. 애플리케이션 테스트 관리

10. 애플리케이션 테스트 관리

화이트박스 테스트(구조 기반 테스트)

• 구문(문장) 커버리지(Statement Coverage)
  • 프로그램 내의 모든 명령문을 적어도 한 번 수행
• 결정/선택 커버리지(Decision Coverage) = 분기 커버리지(Branch Coverage)
  • 결정 포인트 내의 전체 조건식이 적어도 한 번은 참과 거짓의 결과를 수행
• 조건 커버리지(Condition Coverage)
  • 결정 포인트 내의 각 개별 조건식이 적어도 한 번은 참과 거짓의 결과가 되도록 수행
• 조건/결정 커버리지(Condition/Decision Coverage)
  • 전체 조건식뿐만 아니라 개별 조건식이 적어도 한 번은 참과 거짓의 결과가 되도록 수행
  • 전체 조건식 + 개별 조건식
• 변경 조건/결정 커버리지(Modified Condition/Decision Coverage) : 개별 조건식이 다른 개별 조건식에 영향을 받지 않고 전체 조건식에 독립적으로 영향을 주도록 함
• 다중 조건 커버리지(Multiple Coverage)
  • 결정 조건 내 모든 개별 조건식의 모든 가능한 조합을 100% 보장
• 기본 경로 커버리지(Base Path Coverage)
  • 수행 가능한 모든 경로를 테스트
• 제어 흐름 테스트(Control flow)
  • 프로그램 제어 구조를 그래프 형태로 나타내어 내부 로직 테스트
• 데이터 흐름 테스트(Date flow)
  • 제어 흐름 그래프에 데이터 사용현황 추가

블랙박스 테스트(명세 기반 테스트)

• 동등분할 테스트(Equivalence Partitioning)
  • 입력 데이터의 영역을 유사한 도메인별로 유효값/무효값을 그룹핑하여 대푯값 테스트 케이스를 도출하여 테스트
• 경곗값 분석 테스트(Boundary Value Analysis)
  • 최솟값 바로 위, 최대치 바로 아래 등 입력값의 극한 한계를 테스트하는 기법
• 결정 테이블 테스트(Decision Table)
  • 요구사항의 논리와 발생조건을 테이블 형태로 나열하여, 조건과 행위를 모두 조합하여 테스트
• 상태 전이 테스트(State transition)
  • 이벤트에 의해 어느 한 상태에서 다른 상태로 전이되는 경우의 수를 수행하는 테스트
• 유스케이스 테스트(Use Case)
  • 프로세스 흐름을 기반으로 테스트케이스를 명세화하여 수행하는 테스트
• 분류 트리 테스트(Classification Tree)
  • SW의 일부 또는 전체를 트리구조로 분석 및 표현하여 테스트 케이스 설계해 테스트
• 페어와이즈 테스트(Pairwise)
  • 테스트 데이터 값들 간에 최소한 한 번씩을 조합하는 방식
• 원인-결과 그래프 테스트(Cause-Effect Graphing)
  • 그래프를 활용해 입력 데이터 간의 관계 및 출력에 미치는 영향을 분석
• 비교 테스트(Comparison)
  • 여러 버전의 프로그램에 같은 입력값을 넣어 비교해 테스트

테스트 시각에 따른 분류

• 검증(Verification)
  • 소프트웨어 개발 과정을 테스트
    -> 개발자 혹은 시험자의 시각으로 소프트웨어가 명세화된 기능을 올바로 수행하는지를 알아보는 과정
• 확인(Validation)
  • 소프트웨어 결과를 테스트
    -> 사용자 시각으로 올바른 소프트웨어가 개발되었는지 입증하는 과정

테스트 목적에 따른 분류

• 회복 테스트(Recovery Testing)
  • 시스템에 고의로 실패를 유도하고, 시스템의 정상적 복귀 여부를 테스트 기법
• 안전 테스트(Security Testing)
  • 소스 내 보안적인 결함을 미리 점검하는 테스트 기법
• 성능 테스트(Performance Testing)
  • 응답 시간, 반응 속도, 처리량 등을 측정하는 테스트 기법
• 구조 테스트(Structure Testing)
  • 시스템의 내부 논리 경로, 소스 코드의 복잡도를 테스트 기법
• 회귀 테스트(Regression Testing)
  • 오류제거와 수정에 의해 새로 유입된 오류가 없는 지 확인하는 일종의 반복 테스트 기법
• 병행 테스트(Parallel Testing)
  • 변경된 시스템과 기존 시스템에 동일한 데이터 입력 후 결과 비교하는 테스트 기법

성능 테스트 상세 유형

• 부하 테스트(Load Testing)
  • 시스템에 부하를 계속 증가시키면서 시스템의 임계점을 찾음
• 강도 테스트(Stress Testing)
  • 임계점 이상의 부하를 가해 비정상적인 상황에서의 처리를 테스트
• 스파이크 테스트(Spike Testing)
  • 짧은 시간에 사용자가 몰릴 때 시스템의 반응 측정 테스트
• 내구성 테스트(Endurance Testing)
  • 오랜 시간 동안 시스템에 높은 부하를 가해 테스트

정적 테스트의 리뷰 유형

• 동료 검토(Peer Review)
  • 2~3명이 진행하는 리뷰의 형태로 요구사항 명세서 작성자가 요구사항 명세서를 설명하고, 이해 관계자들이 설명을 들으면서 결함을 발견하는 형태로 진행하는 검토 기법
• 인스펙션(Inspection)
  • 소프트웨어 요구, 설계, 원시 코드 등의 저작자 외의 다른 전문가 또는 팀이 검사하여 문제를 식별하고 문제에 대한 올바른 해결을 찾아내는 형식적인 검토 기법
• 워크 스루(Walk Throughts)
  • 검토 자료를 회의 전에 배포해서 사전 검토한 후 짧은 시간 동안 회의를 진행하는 형태로 리뷰를 통해 문제 식별, 개선 활동, 학습 기회를 제공하는 비형식적인 검토 기법

테스트 오라클 - 참샘휴일

테스트의 결과가 참인지 거짓인지를 판단하기 위해서 사전에 정의된 참값을 입력하여 비교하는 기법

• 참(True) 오라클
  • 모든 입력값에 대해 기대하는 결과를 생성함으로써 발생된 오류를 모두 검출
• 샘플링(Sampling) 오라클
  • 특정한 몇 개의 입력값에 대해서만 기대하는 결과를 제공
• 휴리스틱(Heuristic) 오라클
  • 샘플링 오라클을 개선하고 나머지 값들에 대해서는 휴리스틱(추정)으로 처리
• 일관성 검사(Consistent) 오라클
  • 애플리케이션 변경이 있을 때, 수행 전과 후의 결괏값이 동일한지 확인

테스트 레벨 종류 - 단통시인

• 단위(Unit) 테스트
  • 사용자 요구사항에 대한 단위 모듈, 서브루틴 등을 테스트
• 통합(Integration) 테스트
  • 모듈 간 인터페이스, 통합된 컴포넌트 간의 상호 작용을 검증하는 테스트
• 시스템(System) 테스트
  • 단위 시스템 기능이 시스템에서 정상 수행 되는지를 검증하는 테스트
• 인수(Acceptance) 테스트
  • 계약상의 요구사항이 만족되었는지 확인하기 위한 테스트
  • 알파 테스트
    • 사용자가 개발자 환경에서 수행하는 테스트
  • 베타 테스트
    • 실제 환경에서 일정 사용자에게 소프트웨어를 사용하게하고 피드백을 받는 테스트

소스 코드 품질분석 도구 유형

• 정적 분석 도구
  • 만들어진 소스 코드를 실행하지 않고, 코드 자체만으로 코딩 표준 준수 여부, 코딩 스타일 적정 여부, 잔존 결함 발견 여부를 확인하느 코드 분석 도구
• 동적 분석 도구
  • 애플리케이션을 실행하여 코드에 존재하는 메모리 누수 현황을 발견하고, 발생한 스레드의 결한 등을 분석하기 윈한 도구

테스트 하네스

애플리케이션 컴포넌트 및 모듈을 테스트하는 환경의 일부분으로, 테스트를 지원하기 위한 코드와 데이터를 말하며, 단위 또는 모듈 테스트에 사용하기 위해 코드 개발자가 작성한다.

• 테스트 드라이버
  • 상향식 테스트에 필요
• 테스트 스텁
  • 하향식 테스트에 필요
• 테스트 슈트
  • 테스트 케이스 집합
• 테스트 케이스
  • 입력값, 실행 조건, 기대 결과 등의 집합
• 테스트 스크립트
  • 자동화된 테스트 실행 절차에 대한 명세
• 목 오브젝트
  • 사용자의 행위를 조건부로 사전 입력해 두면, 그 상황에 예정된 행위 수행

애플리케이션 성능 측정 지표

• 처리량(Throughput)
  • 주어진 시간에 처리할 수 있는 트랜잭션의 수
• 응답 시간(Response Time)
  • 메뉴 클릭 시 해당 메뉴가 나타나기까지 걸리는 시간
• 경과 시간(Turnaround Time)
  • 사용자가 요구를 입력한 시점부터 트랜잭션을 처리 후 그 결과의 출력이 완료할 때까지 걸리는 시간
• 자원 사용률(Resource Usage)
  • CPU 사용량, 메모리 사용량, 네트워크 사용량

베드 코드

다른 개발자가 로직을 이해하기 어렵게 작성된 코드

• 외계인 코드
  • 아주 오래되거나 참고문서 또는 개발자가 없어 유지보수 작업이 어려운 코드
• 스파게티 코드
  • 스파게티처럼 코드가 복잡하게 얽혀있는 코드
• 알 수 없는 변수명, 로직 중복

클린 코드

잘 작성되어 가독성 높고, 단순하며, 의존성을 줄이고, 중복을 최소화해 잘 정리된 코드

• 코드 작성원리
  • 가독성, 단순성, 의존성 최소, 중복성 제거, 추상화
• 느슨한 결합
  • 인터페이스 클래스를 이용하여, 클래스 간의 결합도(의존성) 최소화

리팩토링

• 기능을 변경하지 않고 복잡한 소스 코드를 수정, 보완하여 가용성 및 가독성을 높이는 기법
  • 목적
    • 유지보수성 향상
    • 유연한 시스템
    • 생산성 향상
    • 품질향상