이번 글은 모바일 프로덕트에서, Test대상 기종을 선정할 때의 기준에 대해 간략하게 기재해봅니다.
참고한 글은 아래의 글이며, 번역 후 조금은 간략하게 기재해봅니다.
いまさら聞けない、テスト対象機種の選定方法
대상 선정 포인트
테스트 대상 기종(프로덕트, 서비스가 문제없이 구현되는지 검증하기 위함)의 선정 포인트는 여러가지고 있습니다. 그 중에서도 application과 website의 테스트를 실시 할 때의 포인트는, 아래의 항목으로 나누어볼 수 있을 것입니다.
- 요소 선정
- 우선순위
- impact와 scope
- 기종선정
요소 선정
OS Version
어째서 OS버전에서 선정 및 망라할 필요가 있을까요? OS의 메이저 버전, API 레벨에 따른 OS 기능이 여러가지 있으며 표시 및 동작이 다른 경우에 프로덕트 리스크가 있으므로, 대상 OS version의 선정이 필요합니다.
구체적인 예로는, major version up을 하자마자 application이 동작하지 않는다거나, 특정한 기능을 사용할 수 없게되는 경우가 있습니다.
그 외에도 website의 표시가 안된다던지, 특정 버전에서만 Javascript나 web application이 동작하지 않는다던지가 있습니다.
보통 OS에는 아래와 같은 version 표기법이 있을 것입니다.
XX.YY.ZZ
XX ： Major version
YY ： Minor version
ZZ ： Maintenance version (보통은 리팩토링한 버전 혹은 hotfix한 버전등이 포함됩니다.)
또한 발매 시의 버전, 그 후의 업데이트 가능한 각 버전 등도 고려해야할 것입니다.
Android의 경우 제조사마다 커스터마이즈한 OS version도 존재할 수 있습니다.
제조사
어째서 제조사를 선정 및 망라할 필요가 있을까요?
Android의 경우 제조사 별로 여러 사소한 차이점이 있으며, 크게 Hardware / Software로 나눌 수 있습니다.
HW는 추후 설명하기로 하고, SW는 제조사별로 제공하는 기본기능이 다르며 Web application 구동 시에 기반이되는 브라우저(Webview) 또한 다를 수 있습니다.
화면 해상도
Android / iOS 양쪽에서 발생할 수 있는 문제로, 작은 화면에서의 문자, 버튼, 배너등의 아이템이 잘려서 표시된다던지, 레이아웃 전체가 뭉개진다던지의 경우가 있습니다. 큰 화면이라면 스마트폰에서 PC버전의 페이지를 본다던지, 문자나 버튼이 너무나 작아서 조작하기 힘들다던지의 문제가 있습니다.
내부 메모리 용량
내부 메모리 용량의 크기에 따라서는 특정한 기종에서는 application이 동작하지 않는다던지, 사용하고 있는 메모리가 고갈한다던지의 경우도 있을 수 있습니다. 최근의 스마트폰들은 성능이 많이 좋아졌으므로 크게 신경쓰이지 않을 수 있겠으나 반대로 서비스하고자하는 application의 요구성능 또한 고려해야합니다.
CPU
CPU에 의해서 유저의 체감이 많이 달라집니다. 스마트폰에 따라서는 성능이 너무 안좋아서 UX라는 개념이 성립하지 않을 수도 있습니다.
통신사
3G, 4G, 5G 및 속도제한 상태의 경우에서도 테스트해볼 필요가 있습니다. 또한 통신사의 회선상태 뿐만 아니라 WI-FI를 이용한 경우에도 검증이 필요합니다.
그 외 특수한 경우
- 카메라가 없는 단말기
- 키보드가 달려있는 단말기
- 화면이 2개 이상인 단말기
- High-resolution 단말기.
- Dual SIM 대응 단말기
우선순위 고려
Technical Product risk의 관점
프로덕트, 서비스의 실현 및 서비스 계속을 위해서, 절대로 빼면 안되는 기능들이 있을 수 있습니다. 이 기능들이 제대로 동작하는지가 필요합니다.
예를 들어 Javascript를 많이 쓰는 web application이지만, OS version과 Webview의 상태에 따라 대응하지 않는 경우도 있을 수 있습니다.
Business risk의 관점
이용자의 환경 및 use-case를 고려해야합니다. B2B Product에서, 사내 Wi-Fi경우에 한해서만 사용하는 경우라면, 통신사의 통신망은 대상외로 할 수 있을 것입니다. 또한 특정 통신사의 통신망에서만 해당하는 경우라면, 해당 통신사를 반드시 검증해야할 것 입니다.
Impact와 Scope
Impact
우선순위를 추려냈다면, 아래처럼 각종 점유율 및 KPI를 기반으로하여 대상을 선정해나갑니다.
- 단말기의 점유율
- Unique User count
- Page per view count
- Daily Active User count
- Monthly Active User count
- KPI
- Average Revenue Per User
Scope
기술 및 비즈니스 리스크로부터 impact를 산정하여 어떠한 정도의 범위에서 품질을 보증할 것인지, 범위를 정하는 것입니다.
예를 들어, 과거에 어떤 사례나 기술적인 요소로부터, 단말기 자체의 고려는 하지 않아도 되고, OS Version도 major version만으로 확인해도 된다고 한다면,꽤나 테스트 대상 단말기의 갯수를 줄일 수도 있을 것입니다.
물론 이러한 판단은 관계자들과의 충분한 논의 후, 결정되어야 합니다.
위와 같은 내용들을 고려하여, 최종적으로 테스트 대상의 단말기들을 추려냅니다.
