Test automation Basics

1. Smoke test
   Gated Build에서 Shelveset이 checkin과정으로 진행되는데 문제가 없는지에 대한 test

2. BAT
   Build 산출물이 적절한지 test - test report 필요

3. Unit test
   모듈에 대한 static test를 수행하며 code coverage 산출. C#의 경우 MS test framework를 사용할 수 있고, gated build에 이용될 수 있음

4. System test(End to End)
   STS에 대응되는 test로 test automation 측면에서 Actor의 시작은 control panel 혹은 touch에서 event를 생성하여 진행

5. Ordered test
   MS test framework 에서 제공하는 기능, 여러개의 test method를 조합하여 규모가 더 큰 test를 만들 수 있고 이 조합을 Ordered test로 정의. 개발자는 본인이 작성한 코드 및 모듈에 대해 충분한 test case (dll단위)를 작성하고 각 dll은 module을 가지며, 이를 조합한 ordered test를 만들 수 있음. Ordered test 의 조합은 필요에 따라 BAT, XX Feature Integration test, System test의 범위를 표현할 수 있게 된다. 즉 Test Dll등이 충분하다면, Ordered Test 포맷으로 BAT / SSTS / STS 조합을 만들어 사용할 수 있습니다.
   실행 예 :
   vstest.console.exe "path\to\your\BAT_202311.orderedtest"

TFS Test Case와의 연동
VS 2017 (Extention을 사용하면 VS2015)부터 본인이 작성한 Test Module (DLL)을 TFS에 등록되어 있는 Test Case와 연동 할 수 있습니다. (CTS/SSTS/STS)
관련 내용의 MS Page Link : Associate automated tests with test cases - Azure Test Plans | Microsoft Learn
직접 테스트 해본 바로는 VS 2017부터 잘 작동 됩니다.
이렇게 연결이 되면, 어떤 Ordered Test를 돌렸는지에 따라, Test Coverage를 자동으로 시스템이 산출 할 수 있게 됩니다.

6. MS test framework
   C#으로 이뤄지는 모듈. Visual Studio 에 내장된 test explorer

7. vstest.console.exe : 이 실행 파일은 기본적으로 Test Explorer의 기능과 동일합니다.
   실행 예 : vstest.console.exe "path\to\your\yourTest.dll"
   이 프로세스를 이용하면 Build Server에서 특정 이벤트에 Trigger하여 관련 테스트를 진행 할 수 있습니다.