[정처기 실기] 10. 애플리케이션 테스트 관리

1. 소프트웨어 테스트 개념

사용자의 요구사항 기능, 성능이 만족하는지 확인하고, 소프트웨어의 결함을 찾아내는 활동이다.

- 소프트웨어 테스트의 원리 (결완초집 살정오)

• 결함 존재 증명 : 결함이 존재한다.
• 완벽 테스팅은 불가능 : 완벽한 테스팅은 불필요한 시간과 자원의 낭비이다.
• 초기 집중 : 개발초기 설계가 중요하다.
• 결함 집중 : 소프트웨어 오류80%는 전체 모듈 20%내에서 발견(파레토 법칙)
• 살충제 패러독스 : 동일한 테스트케이스의 반복적 테스트는 새로운 버그를 찾지 못한다.
• 정황 의존성 : 정황과 비즈니스 도메인에 따라 테스트를 다르게 수행
• 오류-부재의 궤변 요구사항을 충족시켜주지 못한다면, 결함이 없다고 해도 품질이 높다고 볼 수 없다.

- 프로그램 실행 여부에 따른 분류

정적 테스트 : 테스트 대상을 실행하지 않고 구조를 분석 -> 논리성 검증 (리뷰, 정적 분석)
동적 테스트 : 소프트웨어 실행 -> 결함을 검출 (화이트박스 테스트, 블랙박스 테스트, 경험기반 테스트)

2. 소프트웨어 테스트 유형

- 정적 테스트 : 리뷰, 정적 분석

- 동적 테스트 : 블랙박스 테스트, 화이트박스 테스트

- 화이트박스 테스트(White-Box Test)

응용 프로그램의 내부 구조와 동작을 검사하는 소프트웨어 테스트이다.
문제가 발생할 가능성이 있는 모듈 내부를 테스트하는 방법이다.

1) 화이트박스 테스트 유형

구결조 조변다 기제데루

• 구문 커버리지 : 모든 명령문을 적어도 한 번 수행하는 커버리지
• 결정 커버리지 : 전체 조건식이 한번은 참(T)와 거짓(F)을 수행
• 조건 커버리지 : 개별 조건식이 적어도 한 번은 참과 거짓의 결과
• 조건/결정 커버리지 : 전체 + 개별 조건식 참 한번 거짓 한번 결과가 되도록 수행
• 변경 조건/결정 커버리지 : 개별 조건식 -> 전체 조건식에 독립적으로 영향을 주도록 한다.
• 다중 조건 커버리지 : 모든 개별 조건식의 가능한 조합을 100% 보장하는 커버리지
• 기본 경로 커버리지 : 수행 가능한 모든 경로 테스트
• 제어 흐름 테스트 : 프로그램 제어 구조를 그래프 형태로 나타내어 내부 로직을 테스트
• 데이터 흐름 테스트 : 데이터 사용현황을 추가한 그래프
• 루프 테스트 : 반복 구조에 초점을 맞춰 테스트

- 맥케이브의 순환복잡도

V(G) = E-N+2 (간선-노드+2)

- 블랙박스 테스트(Black-Box Test)

프로그램 외부 사용자의 요구사항 명세를 보면서 수행하는 테스트이다.

1) 블랙박스 테스트 유형

동경결상 유분페원비오

• 동등분할 테스트 : 유효값/무효값을 그룹핑하여 대푯값 테스트 케이스를 도출하여 테스트하는 기법
• 경곗값 분석 테스트 : 등가 분할 후 경곗값을 포함하여 테스트 케이스를 설계하여 테스트하는 기법
• 결정 테이블 테스트 : 요구사항의 논리와 발생조건을 테이블 형태로 나열하여, 조건과 행위를 모두 조합하여 테스트하는 기법
• 상태 전이 테스트 : 테스트 대상, 시스템이나 객체의 상태를 구분하고, 이벤트에 의해 어느 한 상태에서 다른 상태로 전이되는 경우의 수를 수행하는 테스트 기법
• 유스케이스 테스트 : 시스템이 실제 사용되는 유스케이스 모델링 되어 있을 때 프로세스 흐름을 기반으로 테스트 케이스를 명세화하여 수행하는 테스트 기법
• 분류 트리 테스트 : SW의 일부 또는 전체를 트리 구조로 분석 및 표현하여 테스트 케이스를 설계하여 테스트하는 기법
• 페어와이즈 테스트 : 테스트 데이터값들 간에 최소한 한 번씩을 조합하는 방식 이며, 상대적으로 적은 양의 테스트 세트를 구성하기 위한 테스트 기법
• 원인-결과 그래프 테스트 : 그래프를 통해 데이터 간의 관계 및 출력에 미치는 영향을 분석하여 효용성이 높은 테스트 케이스를 선정하여 테스트하는 기법
• 비교 테스트 : 여러 버전의 프로그램에 같은 입력값을 넣어서 동일한 결과 데이터가 나오는지 비교해 보는 테스트 기법
• 오류 추정 테스트 : 개발자가 범할 수 있는 실수를 추정하고 이에 따른 결함이 검출되도록 테스트 케이스를 설계하여 테스트하는 기법

- 테스트 목적에 따른 분류 (회안성 구회병)

• 회복 테스트 : 시스템에 실패를 유도하고, 정상적 복귀 여부를 테스트하는 기법
• 안전 테스트 : 불법적인 소프트웨어가 접근하여 시스템을 파괴하지 못하도록 소스 코드 내의 보안적인 결함을 미리 점검한다.
• 성능 테스트 : 사용자 요구에 시스템이 반응하는 속도 등을 측정
• 구조 테스트 : 시스템의 내부 논리 경로, 소스 코드의 복잡도를 평가하는 테스트 기법
• 회귀 테스트 : 오류를 제거하거나 수정한 시스템에서 오류 제거와 수정에 의해 새로 유입된 오류가 없는지 확인하는 테스트 기법
• 병행 테스트 : 변경된 시스템과 기존 시스템에 동일한 데이터를 입력 후 결과를 비교하는 테스트 기법

- 테스트 종류에 따른 분류

• 명세 기반 테스트 (블랙박스 테스트)
• 구조 기반 테스트 (화이트박스 테스트)
• 경험 기반 테스트 (블랙박스 테스트)

3. 테스트 오라클

테스트의 결과가 참인지 거짓인지를 판단하기 위해 사전에 정의된 참값을 입력하여 비교하는 기법

- 테스트 오라클 종류

• 참 오라클 : 모든 입력값에 대해 기대하는 결과를 생성함으로써 발생된 오류를 모두 검출할 수 있는 오라클
• 샘플링 오라클 : 특정한 몇 개의 입력값에 대해서만 기대하는 결과를 제공해 주는 오라클
• 휴리스틱 오라클 : 샘플링 오라클을 개선한 오라클로, 특정 입력값에 대해 올바른 결과를 제공하고, 나머지 값들에 대해 휴리스틱으로 처리하는 오라클
• 일관성 검사 오라클 : 애플리케이션 변경이 있을 때, 수행 전과 후의 결괏값이 동일한지 확인

테스트 레벨

함께 편성되고 관리되는 테스트 활동의 그룹이다.

테스트 레벨 종류 (단통시인)

애플리케이션 테스트는 소프트웨어의 개발 단계에 따라 분류할 수 있고, 이렇게 분류된 것을 테스트 레벨이라 한다.

• 단위 테스트 : 사용자 요구사항에 대한 단위 모듈, 서브루틴 등을 테스트하는 단계
• 통합 테스트 : 소프트웨어 각 모듈 간의 인터페이스 관련 오류 및 결함을 찾아내기 위한 체계적인 테스트 기법이다.
• 시스템 테스트 : 통합된 단위 시스템의 기능이 시스템에서 정상적으로 수행되는지 검증
• 인수 테스트 : 계약상의 요구사항이 만족되었는지 확인하기 위한 테스트 단계 (알파 테스트, 베타 테스트)

테스트 시나리오

테스트 수행을 위한 여러 테스트 케이스의 집합으로서, 테스트 케이스의 동작 순서를 기술한 문서이며 테스트를 위한 절차를 명세한 문서이다.

4. 애플리케이션 성능 개선

1) 애플리케이션 성능 분석

- 애플리케이션 성능 측정 지표

• 처리량 : 애플리케이션이 주어진 시간에 처리할 수 있는 트랜잭션 수
• 응답 시간 : 애플리케이션의 응답 출력이 개시될 때까지의 시간
• 경과 시간 : 사용자가 요구를 입력한 시점부터 트랜잭션을 처리 후 그 결과의 출력이 완료할 때까지 걸리는 시간
• 자원 사용률 : 애플리케이션이 트랜잭션을 처리하는 동안 사용하는 CPU 사용량, 메모리 사용량, 네트워크 사용량

2) 애플리케이션 성능 개선

• 배드 코드
  로직을 이해하기 어렵게 작성된 코드
  ex. 외계인 코드 (참고문서 또는 개발자가 없어 유지보수 힘든 코드), 스파게티 코드, 알수 없는 변수명, 로직 중복

리팩토링 : 복잡한 소스 코드를 수정, 보완하여 가용성 및 가독성을 높이는 기법이다.