스타트업을 위한 '실험'과 '가설' 개념 설명

실험에 대한 오해들

실험은 '그냥 한 번', '가볍게' 해 보는 것?

1) 비용

• 업무는 항상 예상보다 오래 걸리고, 그 시간 동안 다른 업무는 진행할 수 없다. (기회비용)
• 실험이 기회비용을 상쇄하고도 남을 만큼 우선순위가 높은지 먼저 판단해야 한다.
• 엔지니어나 개발자가 필요한 실험이면 더 큰 비용이 나간다. (코드개발, 유지보수, 제품의 복잡성 증가 및 UX 악화...)

2) 계획

• 실험을 제대로 설계해야 한다.

• 지표를 반드시 추적해야 한다.

• 실험계획서 템플릿

• 가설과 가정을 구분해야 한다. 실험에 쓰일 가설은 반증 가능성을 확보해야 한다.

• 가정은 반증가능성까지 갖출 필요는 없지만, 그래도 최대한 구체화한다. (가정 : A는 B일 것이다.)

• 실험 후 후속 조치를 이행해야 한다. (실험 리뷰 및 레슨 런 정리)

• 실험을 통해 정보를 얻는 것은 명확한 가설이 존재할 때 가능하다. 가설과 실험 설계의 질이 보장되지 않으면 실험을 통해 무언가를 배울 수 없다.

실험이란 무엇인가?

실험은 가설이나 이론이 실제로 들어맞는지를 확인하기 위해 다양한 조건 아래에서 여러가지 측정을 실시하는 일이다. 지식을 얻기 위한 방법의 하나이다. 실험은 관찰과 함께 과학의 기본적인 방법의 하나이다.

• 실험은 새로운 지식을 얻기 위한 활동이다.
• 다시 말해, 실험을 통해 무언가를 새로 배우지 못했다면, 잘못된 실험을 한 것이다.
• 실험의 요소 (가설, 조건, 측정, 검증)

실험의 예시

• 제품의 사용자 온보딩 플로우를 변경하는 A/B 테스트 : 사용자 중 90%에게는 기존 온보딩 플로우를 보여주고, 10%에게는 새로운 온보딩 플로우를 보여주어 어느 쪽에서 더 많은 사용자가 활성화되는지 살펴보기
• 가격을 변경하는 A/B 테스트 : 트래픽의 50%에게는 기존 가격을 보여주고, 나머지 50%에게는 인상된 가격을 보여줘서, 가격 인상 시 구매 전환율이 어떻게 변화하는지 측정하기
• 아직 개발하지 않은 제품의 수요를 파악하기 위해 랜딩페이지를 만들어서 하는 스모크 테스트 (Fake Door) : 수작업으로 서비스를 제공하여 시장 수요를 파악해보는 것도 방법. (Mechanical Turk)

가설 : 실험의 중심

가설이란, 어떤 문제나 사안에 대해서 우리가 가진 추측을 가리킵니다. 가설이 사실이 아니라 추측인 이유는 아직 사실 여부를 판단할 근거가 충분하지 않기 때문입니다. 가설을 사실로 받아들이기 위해서는, 가설을 입증하는 충분한 근거가 모여야 합니다.

• 고객 가설 : 우리의 고객은 ~이다. (타겟)
• 문제 가설 : 고객은 ~라는 문제를 가지고 있다. (문제)
• 시장 규모 가설 : 이러한 문제를 가진 고객의 규모는 ~만큼 있다. (수요)
• 솔루션 가설 : 이러한 문제를 해결하는 좋은 방법은 ~이다. (해결책)

가설과 가정 구분하기

• 가설 : 실험을 통해 반증 가능한 구체적이고 명시적인 진술
• 가정 : 반증 가능한 형태로 진술되지 않은 암묵적인 믿음이나 추측
• '랜딩페이지를 개선하면 전환율이 증가할 것이다' : 개선의 정의, 증가의 기준이 명확하지 않음. (가정)
• 실험은 원래 가정을 실험 가설로 변환하여 원래 가정을 검증하는 행위.

가정을 검증하기 위해 가설로 변환하기

• 검증되지 않은 가정을 믿으면 많은 시간과 자원을 낭비할 위험이 있음.
• 특히 위험성이 큰 가정을 검증해야 함.

'유튜브 채널을 만들어서 운영하면 리텐션 지표가 개선될 것이다.'

• 이 명제는 가정이다.
• 이 명제에는 다음과 같이 암묵적인 하위 가정들이 존재한다.

1. 공급자들이 우리가 제공하고자 하는 정보를 필요로 할 것이다.
2. 공급자들의 눈높이에 맞는 영상을 우리 팀이 만들어낼 수 있을 것이다.
3. 공급자들은 정보에 대한 필요를 다른 곳이 아닌, 우리 플랫폼에서 운영하는 채널에서 충족하고자 할 것이다.
4. 공급자 유저들 중 상당수가 이 유튜브 채널에서 영상을 시청할 것이다.

• 위의 하위 가정들이 모두 충족되어야 원래 가정이 참이 된다.
• 가정을 검증하기 위해 반드시 유튜브 채널을 운영해볼 필요는 없다. 인터뷰, 설문조사, 스모크 테스트 등으로 더 낮은 비용으로 검증해볼 수 있다.

인터뷰로 가정 검증하기

• 가정 : 공급자들은 우리가 제공하고자 하는 정보를 필요로 할 것이다. (하위 가정 1번)
• 가설 : 공급자를 20명 만나서 인터뷰를 했을 때, 10명 이상은 정보 부족에서 실질적인 문제를 느낀다고 이야기할 것이다. (절대적인 기준은 없다.)
• 실험 : 플랫폼을 이용하고 있는 공급자 20명을 무작위로 선정해서 1:1로 인터뷰한다.
• 검증 : Stack Rank 방식, 유도 질문 X, 정보 부족과 관련된 답변이 3위 이상이면 가설이 충족된다고 간주.

실험군과 대조군이 꼭 필요할까?

• 실험군과 대조군은 통제된 실험 (Controlled Experiment)에서 필요한 요소이다.
• 설문조사, Mechanical Turk, 스모크 테스트 등은 변인 통제가 불가능하다.
• 스타트업은 A/B 테스트와 같은 변인 통제된 실험을 진행하기 어려운 환경이다.
• 실험은 '완벽한 실험'을 하기 위한 것이 아니라, 의사결정에 필요한 정보를 얻기 위한 활동이다.
• 100% 확실한 정보를 얻는 방법은 없다. 있다고 하더라도, 정보 획득까지 오래 걸린다면 의사결정에 활용할 수 없다.