애플리케이션 테스트 설계

애플리케이션 테스트 케이스 작성

소프트웨어 테스트의 이해

• 소프트웨어 테스트 필요성

1. 오류 발견 관점
2. 오류 예방 관점
3. 품질 향상 관점

• 소프트웨어 테스트 원리

1. 테스팅은 결함이 존재함을 밝히는 것
2. 완벽한 테스팅은 불가능
3. 초기에 테스팅 시작
4. 결함 집중: 전체 결함의 상당 부분이 특정 모듈에 밀집
5. 살충제 패러독스: 동일한 테스트 케이스로는 새로운 결함 발견 못함
6. 정황에 의존: 동일한 프로그램도 다른 환경에서 다른 결과를 보일 수
7. 오류-부재의 궤변: 테스트를 통해 오류가 발견되지 않아도 오류가 존재하지 않는것은 아님

• 소프트웨어 테스트 산출물

1. 테스트 계획서: 테스트 수행을 계획한 문서
2. 테스트 베이시스: 테스트 설계를 위한 기준이 되는 문서
3. 테스트 케이스: 테스트를 위한 설계 산출물, 사용자의 요구사항을 준수하는지 확인하기 위해 설계된 입력값 등 테스트 항목의 명세서
4. 테스트 슈트: 테스트를 위한 실행환경에 따라 구분해 놓은 테스트 케이스의 집합
5. 테스트 시나리오: 애플리케이션의 테스트가 되어야 할 기능, 특징, 테스트가 필요한 상황을 작성한 문서
6. 테스트 스크립트: 테스트 케이스의 실행 순서를 작성한 문서
7. 테스트 결과서: 테스트 결과를 정리한 문서로 테스트 프로세스를 리뷰하고 테스트 결과를 평가하는 문서

• 소프트웨어 테스트 유형

1. 정적 테스트: 리뷰, 정적 분석
2. 동적 테스트: 화이트박스 테스트, 블랙박스 테스트, 경험기반 테스트

화이트 박스 테스트

원시 코드의 논리적인 모든 경로를 테스트하여 테스트케이스를 설계하는 방법

• 특징

1. 설계된 절차에 초점을 둔 구조적 테스트
2. 테스트 과정의 초기에 적용
3. 모듈 작동을 직접 관찰
4. 원시 코드의 모든 문장을 한 번 이상 실행
5. 제어 구조에 따라 선택, 반복 등의 분기들을 수행함으로써 논리적 경로 제어

• 종류

1. 기초 경로 검사
2. 제어 구조 검사
   • 조건 검사: 논리적 조건을 테스트
   • 루프 검사: 반복 구조에 초점을 맞춘 테스트
   • 데이터 흐름 검사: 변수의 정의와 변수 사용 위치에 초점을 맞춘 테스트

     기조루데

블랙박스 테스트

특정 기능을 알기 위해서, 각 기능이 완전히 작동되는 것을 입증하는 테스트 (기능 테스트)

• 특징

1. 사용자의 요구사항 명세를 보면서 테스트하는 것으로 주로 구현된 기능을 테스트
2. 소프트웨어 인터페이스에서 실시되는 테스트
3. 하단의 오류등을 발견하기 위해 사용되며, 테스트 과정의 후반부에 적용

-종류
1. 동치 분할 검사
입력 자료에 초점을 맞춰 테스트 케이스를 만들고 검사하는 방법으로 동등 분할 기법이라고도 한다.
2. 경계값 분석
입력 조건의 경계값을 테스트 케이스로 선정하여 검사하는 기법
3. 원인-효과 그래프 검사
입력 데이터 간의 관계와 출력에 영향을 미치는 상황을 체계적으로 분석한 다음 효용성이 높은 테스트 케이스를 선정하여 검사
4. 오류 예측 검사
과거의 경험이나 확인자의 감각으로 테스트하는 기법, 다른 블랙 박스 테스트 기법으로는 찾아낼 수 없는 오류를 찾아내는 보충적 검사기법, 데이터 확인 검사라고 한다.
5. 비교 검사
여러 버전의 프로그램에 동일한 테스트 자료를 제공하여 동일한 결과가 출력되는지 테스트하는 기법

동경원오비

테스트 시각에 따른 분류

검증: 소프트웨어 개발 과정을 테스트, 개발자 시각으로 소프트웨어가 명세화된 기능을 올바르게 수행하는지 알아보는 과정
확인: 소프트웨어 결과를 테스트, 사용자 시각으로 올바른 소프트웨어가 개발되었는지 입증하는 과정

테스트 목적에 따른 분류

• 테스트 목적에 따른 분류

1. 회복 테스트: 고의로 실패하고 시스템의 정상적 복귀 여부를 테스트
2. 안전 테스트: 불법적인 소프트웨어가 접근하면 시스템을 파괴하지 못하도록 소스 코드 내의 보안적인 결함을 미리 점검하는 테스트 기법
3. 성능 테스트: 사용자의 이벤트에 시스템이 응답하는 시간, 특정 시간 내에 처리하는 업무량 등을 측정하는 테스트 기법
4. 구조 테스트: 시스템의 내부 논리 경로, 소스 코드의 복잡성을 평가하는 테스트 기법
5. 회귀 테스트: 오류를 제거하거나 수정한 시스템에서 새로이 유입된 오류가 없는지 확인하는 일종의 반복 테스트 기법
6. 병행 테스트: 변경된 시스템과 기존 시스템에 동일한 데이터를 입력 후 결과를 비교하는 테스트 기법

• 성능 테스트의 상세 유형

1. 부하 테스트: 시스템에 부하를 계속 증가시키면서 시스템의 임계점을 찾는 테스트
2. 스트레스 테스트: 시스템 처리 능력 이상의 부하, 즉 임계점 이상의 부하를 가하여 비정상적인 상황에서의 처리를 테스트
3. 스파이크 테스트: 짧은 시간에 사용자가 몰릴 때 시스템의 반응 측정 테스트
4. 내구성 테스트: 오랜 시간 동안 시스템에 높은 부하를 가하여 시스템 반응 테스트

• 테스트 종류에 따른 분류

1. 명세 기반 테스트(블랙박스 테스트): 프로그램의 요구사항 명세서를 기반으로 테스트 케이스를 선정하여 테스트하는 기법
2. 구조 기반 테스트(화이트박스 테스트): 소프트웨어 내부 논리 흐름에 따라 테스트 케이스를 작성하고 확인하는 기법
3. 경험 기반 테스트(블랙박스 테스트): 유사 소프트웨어나 유사 기술 평가에서 테스터의 경험을 토대로, 직관과 기술 능력을 기반으로 수행하는 테스트 기법

정적 테스트

• 리뷰
  리뷰는 소프트웨어의 다양한 산출물에 존재하는 결함을 검출하거나 프로젝트의 진행 상황을 점검하기 위한 활동으로 전문가가 수행한다.
• 리뷰의 유형

1. 관리 리뷰: 프로젝트 상황에 대한 전반적인 검토를 바탕으로 통제 및 의사 결정을 지원
2. 기술 리뷰: 정의된 계획 및 명세를 준수하고 있는지 검토를 수행
3. 인스펙션(동료 검토): 소프트웨어 요구, 설계, 원시 코드등의 저작자 외의 다른 전문가가 검사하여 문제를 식별하는 형식적인 검토 기법
4. 워크 스루: 검토 자료를 회의 전에 배포하여 사전 검토한 후 짧은 시간 동안 회의를 진행하는 형태로 가장 비형식적인 검토 기법
5. 감사: 소프트웨어 제품 및 프로세스가 규제, 표준, 가이드라인, 계획, 절차를 준수하고 있는지 독립적으로 평가하는 기법

동적 테스트

• 기본 경로 커버리지
  맥케이브의 순환 복잡ㅈ도를 기반으로 커버리지를 계산
• 순환 복잡도 측정 방법
  V(G)=E-N+2
  E: 간선, N: 노드

테스트 오라클

1. 참 오라클: 모든 입력값에 대하여 기대하는 결과를 생성하여 발생된 오류를 모두 검출
2. 샘플링 오라클: 특정한 몇 개의 입력값에 대해서만 기대하는 결과를 제공
3. 휴리스틱 오라클: 샘플링 오라클을 개선한 오라클로, 특정 입력값에 대해 올바른 결과를 제공하고, 나머지 값에 대해서는 휴리스틱(추정)으로 처리
4. 일관성 오라클: 애플리케이션 변경이 있을 때, 수행 전과 후의 결과값이 동일한지 확인

애플리케이션 테스트 시나리오 작성

테스트 레벨 종류

1. 단위 테스트: 사용자 요구사항에 대한 단위 모듈, 서브루틴 등을 테스트
2. 통합 테스트: 단위 테스트를 통과한 모듈 사이의 인터페이스, 통합된 컴포넌트 간의 상호작용을 검증하는 테스트 단계
3. 시스템 테스트: 통합된 단위 시스템의 기능이 시스템에서 정상적으로 수행되는지를 검증하는 테스트 단계
4. 인수 테스트: 계약상의 요구사항이 만족되었는지 확인하기 위한 테스트 단계

   단통시인

인수 테스트 종류

1. 사용자 인수 테스트: 비즈니스 사용자가 시스템 사용의 적절성 여부 등을 확인하는 테스트
2. 운영상의 인수 테스트: 시스템 관리자가 시스템 인수 시 수행하는 테스트 활동으로 백업/복원 시스템, 재해 복구, 사용자 관리, 정기 점검 등을 확인하는 테스트
3. 계약 인수 테스트: 계약상의 조건을 준수하는 지 여부를 확인하는 테스트
4. 규정 인수 테스트: 정부 지침, 법규 등이 규정에 맞는지 확인하는 테스트
5. 알파 테스트: 선택된 사용자가 개발자 환경에서 통제된 상태로 개발자와 함께 수행하는 테스트
6. 베타 테스트: 실제 환경에서 일정 수의 사용자에게 대상 소프트웨어를 사용하게 하고 피드백을 받는 테스트