질문 1
안녕하세요 강사님.
A/B테스트 강의를 보며 직접 실습을 해보려고 하고 있습니다.(지난번 답변 감사드립니다)
파이어베이스로 동시간에 A/B테스트를 여러개 진행이 가능한지 궁금합니다.(아래 그림)
[질문1] 개념도가 궁금해요.
-
파이어베이스로 위 처럼 동시간에 A, B, C ... N개의 다양한 실험 진행이 가능한지 궁금합니다.
-
가끔 블로그나 뉴스를 보면 OO회사는 한달에 50개의 a/b 테스트를 진행한다는 말이, 저런 개념인지 궁금합니다.
[질문2] 설계 오류가 있는지 궁금해요.
-
만약 위처럼 가능하다면 설계에 오류나 문제가 없는지 궁금합니다.
-
예를 들어 동시간에 여러개의 실험을 진행하다보면 독립변수가 N개 되고, 정확한 측정이 어려울수도 있을거 같아서요.
-
하지만 A집단, B집단이 서로 겹치는게(영향) 없다면 동시간에 N개의 실험이 진행 가능할 거 같기도합니다.
-
만약 문제가 없다면 A집단은 a/b 테스트, B집단은 다변량 테스트 이렇게 진행하는 경우도 있는지 궁금합니다.
[질문3] a/b vs 다변량 개념을 잘 이해하고 있는지 궁금합니다.
-
A/B 테스트는 "Pick 'one' variable to test"(예: 실험집단에 문구 1개만 변경)
-
다변량 테스트는 "Pick 'N' variable to test.(예: 실험집단에 문구, 폰트, 컬러, 쉐잎, 등 변경)
그럼 바쁘시겠지만 답변 부탁드립니다.
감사합니다!!!
답변 1
유저 수가 충분히 많아서 진행중인 N개의 실험에 독립적으로 할당할 수 있는 경우에는 여러 개의 테스트를 동시에 진행하더라도 큰 문제가 없습니다. Firebase에서 remote_config_key를 'test1', 'test2'... 이런 식으로 구분하면 됩니다. (다만 여러 가지 테스트를 동시에 하는 경우, 통제변수 관리하는 부분을 주의해야 합니다.)
실험 1의 독립변수가 검색결과 페이지에서 썸네일 이미지 유무, 실험 2의 독립변수가 상품 페이지에서 구매하기 버튼의 색상이라면 아래와 같은 식입니다. 위 질문 내용 중에서 단변량 테스트와 다변량 테스트를 병행하는 것도 문의해 주셨는데, 실험집단이 독립적이라면 병행해도 상관이 없습니다.
-
실험 1 조건 A: 검색결과 페이지 썸네일 있음 (통제변수 중 하나로 구매하기 버튼의 색상이 포함되어야 함)
-
실험 1 조건 B: 검색결과 페이지 썸네일 없음 (통제변수 중 하나로 구매하기 버튼의 색상이 포함되어야 함)
-
실험 2 조건 A: 구매하기 버튼 색상 빨강 (통제변수 중 하나로 검색결과 페이지의 썸네일이 포함되어야 함)
-
실험 2 조건 B: 구매하기 버튼 색상 파랑 (통제변수 중 하나로 검색결과 페이지의 썸네일이 포함되어야 함)
한 유저가 N개의 실험을 동시에 진행하는 경우 훨씬 더 복잡해집니다. (가능하면 이렇게 하지 않으시길 권합니다) 하나의 실험이 다른 실험에 영향을 줄 수 있기 때문입니다. 이 경우에는 일정한 시간차를 두고 순차적으로 진행하거나, 실험 규모를 축소할 필요가 있습니다.
한달에 수십~수백 개의 테스트를 한다고 알려진 회사들은... 유저 모수가 엄청나게 많아서 1% 미만의 유저만 데리고도 유의미한 양의 데이터를 수집할 수 있거나, 혹은 서비스 이외의 다른 채널(가령 외부 채널에 노출하는 광고나, 유저에게 발송하는 이메일 등...)을 이용한 테스트를 병행해서 측정하는 숫자가 아닐까 생각합니다 ^^;; 저도 아직 한달에 수십개씩 막 돌려보진 못했네요 ㅠ
단변량 테스트와 다변량 테스트의 구분은 '독립변수가 하나인가?' 만 보면 됩니다. 단, 이 경우 독립변수가 하나라면 수준이 여러개가 되어도 단변량으로 분류합니다.
만약 어떤 실험의 독립변수가 구매하기 버튼 색상이라면,
- 빨강 vs. 파랑 (A/B 테스트) -> 단변량입니다
- 빨강 vs. 파랑 vs. 검정 (A/B/C테스트) -> 마찬가지로 단변량입니다.
다변량 분석이 되려면 독립변수 자체가 N개여야 하고, 그 모든 독립변수 조합에 대한 테스트를 진행해야 합니다.
어떤 실험의 독립변수가 구매하기 버튼 색상, 구매하기 버튼 모양... 이렇게 2개라고 가정하면
(조건1) 구매하기 버튼 빨강 + 사각형
(조건2) 구매하기 버튼 빨강 + 타원
(조건3) 구매하기 버튼 파랑 + 사각형
(조건4) 구매하기 버튼 파랑 + 타원
이런 구조로 테스트를 한다면 다변량 분석에 해당됩니다.
질문 2
NPS 질문드립니다.
현재 NPS 참여율이 너무 낮아서 문의드립니다. 참여율을 높일 수 있는 팁이 있을까요?
추가적으로 모든 유저에게 같은 NPS를 보내야 하는지도 여쭤보고 싶습니다. 활발히 제품을 사용하고 있는 유저와 구독 취소를 하는 유저에게서 얻을 수 있는 인사이트가 다르다고 생각하여 질문드립니다.
좋은 강의 감사합니다. 다음 강의가 기대되네요.
답변 2
NPS는 '인사이트를 얻기 위해' 하는 설문이 아니기 때문에, 두번째 질문은 전제가 약간 잘못되었다고 생각합니다.
사용자들로부터 인사이트를 얻고 싶다면 유저 인터뷰나 설문조사, 기타 다양한 형태의 사용자 리서치를 통해 서비스와 관련된 아이디어나 인사이트를 얻을 수 있을텐데요.
NPS는 애초에 단 하나의 질문으로 product market fit을 확인하는 거라서, 사실 구체적으로 얻을 수 있는 인사이트가 생기는 건 아니거든요.
참여율을 높이는 방법은, 일반적으로 설문조사 응답률을 높이기 위한 장치들 외에 특별한 방법은 없는 것 같습니다 ㅠㅜ (보상을 제공하거나 하는 것들이 응답을 왜곡시킬 수 있어서...)
- 만약 메일 등으로 커뮤니케이션 하는 경우 제목을 잘 쓴다거나, 잘 반응할만한 시간대에 발송한다거나, 수신 주소를 잘 관리해서 도달률을 최대한 높인다거나...
하는 게 있을거구요. 서비스 내의 특정 동선에서 참여를 하도록 유도한다면 노출되는 화면이나 참여하는 동선의 UX 등을 고려하셔야 하겠네요.
질문 3
통계적으로 유의미하다는 뜻이 무슨 뜻인가요? (통계학 관련 지식 공부)
답변 3
'통계적으로 유의미하다'는 말은... 음 원래 이해하기가 어렵습니다 ㅎㅎ 실제로 통계 전공자분들도 이 개념에 대해서 완벽하게 설명하지 못하는 경우가 많더라구요. 사실 이 개념을 이해하기 위해서는 귀무가설이 무엇인지, 중심극한정리가 무엇인지... 등등 사전에 알아야 하는 배경지식이 많거든요 ㅠㅜ 짧은 시간 내에 이해하기 어려운 개념이라서, 너무 조급해하지 않으셔도 될 것 같아요.
통계에 대한 기본 개념을 잡는 가장 좋은 방법은, 대학교 통계학 개론 강의/책을 기반으로 공부하는 거라고 생각합니다. 최근에는 유튜브에도 관련 개념들을 설명한 좋은 강의들이 많아지고 있는데 아래 링크를 참고해보시면 도움이 될 것 같습니다.
https://www.youtube.com/watch?v=5Xke4ao1g9E
https://www.youtube.com/watch?v=k1-GLghpt_o
여기서 모두 설명드리기에는 내용이 너무 길어서, 제가 간단히 개념만 설명드리면...
A도시의 고등학생과 B도시의 고등학생의 키를 비교한다고 가정해 보겠습니다. 만약 우리가 A도시에 있는 고등학생 전체 키를 다 조사하고, B도시에 있는 고등학생 전체 키를 다 조사해서 평균을 비교한 결과 A 도시의 고등학생 키가 더 크다는 걸 확인했다면, 이건 통계적 검정이 아니라 그냥 전수조사 결과가 됩니다. (이 경우에는 유의수준 이런 거 다 필요없이 그냥 A 도시 고등학생의 키가 더 크다... 로 끝.) 하지만 현실에서는 A도시와 B도시 고등학생의 키를 전수조사하는 게 사실상 불가능한 경우가 많죠. (가능하다고 하더라도 너무나 비효율적...) 그래서 보통은 A도시 고등학생 일부와 B도시 고등학생 일부만 추출해서 표본조사를 하게 됩니다. 그런데 표본조사를 했더니 A도시 고등학생의 키가 크게 나타났다면, 이걸 전수조사 결과인 것처럼 확대해서 해석해도 될까요? (우연히 A도시에서는 키 큰 학생들이 더 많이 표본에 들어갔을 수도 있잖아요?) 이런 경우 표본을 바탕으로 전체 모집단의 결과를 어떻게 추정하느냐... 하는 것이 통계적 가설검정입니다.
일단 위와 같은 케이스에서의 표본조사는 'A도시의 고등학생과 B도시의 고등학생 간 키 차이가 없다' 라는 가설에서 출발합니다. (이걸 귀무가설 또는 영가설이라고 합니다) 왜 이런 이상한 가설을 세우냐면... '키 차이가 있다'는 가설을 통계학적으로 검정할 수 있는 방법이 없기 때문입니다. 그래서 거꾸로 '키 차이가 없다' 라는 가설을 세워서 이를 검증한 다음, 이 가설이 지지되지 않으면 '반대로 키 차이가 있구나' 라는 판단을 하게 되는 것이죠.
키 차이가 없다는 걸 어떻게 검증할까요? A도시의 고등학생 1000명을 임의로 추출해서 키를 쟀더니 170cm, B도시의 고등학생 1000명을 임의로 추출해서 키를 쟀더니 168cm가 나왔다고 가정합시다. 이건 차이가 있는 걸까요, 없는 걸까요? 여기서의 170과 168이라는 키는 전수조사가 아니라 표본조사이기 때문에, 우리는 실제 A도시와 B도시 고등학생들의 키를 알 수는 없습니다. 여기서 통계학이 확인하는 것은 "만약 A도시와 B도시의 고등학생들의 키가 같다고 가정했을 때, 2cm 정도의 차이(그리고 얼마인지 모를 표준편차)가 나올 나올 확률이 어느 정도인가?" 라는 부분입니다. (이게 p값을 의미합니다.) 복잡한 계산 과정은 생략하고... 만약 A도시와 B도시의 고등학생들의 키가 같다면, 170과 168이라는 결과가 나오는 건 그닥 극단적이지 않아 보이죠? 이 경우 p값이 0.80 정도라고 가정하겠습니다. (=두 도시 고등학생들의 키가 같다고 가정하면, 이 정도의 결과가 나올 확률은 80% 정도는 된다...)
표본조사 결과 A도시 고등학생들의 키는 170, B도시 고등학생들의 키는 160이 나왔다면 어떨까요? 실제로는 A도시와 B도시의 고등학생 간 키 차이가 없는데, 정말 우연하게도 A도시에서는 키 큰 학생들만 표본에 포함되고 B 도시에서는 키 작은 학생들만 표본에 포함되어서 이 결과가 나왔을 수도 있습니다. 아니면 A 도시 학생들이 실제로 키가 더 클 수도 있구요. 만약 A도시와 B도시의 고등학생들의 키가 같은데, 하필 표본 추출과정에서 한쪽은 키가 크고 한쪽은 키가 작은 학생들만 선별되어서 저런 결과가 나올 확률은 얼마나 될까요? 마찬가지로 이게 p값이라고 보면 됩니다. 만약 여기서 p값이 0.01 이 나온다면, (A도시와 B도시의 고등학생 키가 같은데) 우연히 표본이 저렇게 추출되면서 10cm의 결과 차이가 나오게 될 확률이 1%라는 의미입니다. 이정도 되면 키가 같은데 우연히 저렇게 나왔다는 것보다는, 애초에 키 차이가 있었다고 보는 게 더 합리적이지 않을까요? (그래서 보통 5%를 임계점으로 잡고, 유의확률 95%를 기준으로 영가설을 채택할지 말지를 판단합니다)
... 써놓고 보니 과연 이게 쉽게 설명한 건가 싶긴 하지만, 말씀드린 것처럼 애초에 어려운 개념이라 ㅠㅜ 이 부분은 통계학 개론 교재를 보면서 찬찬히 복습하시길 권합니다. 물론 p값이 절대적인 결과 판단의 기준이 되는 건 위험할 수도 있고, 실제 학계에서는 p값 무용론에 대한 주장도 강하게 제기되고 있으니... p값 이외의 다양한 요소들을 종합적으로 고려해서 판단할 필요가 있다는 점도 꼭 기억해 주세요.
질문4
PMF 개선 방법 질문
안녕하세요. 강의 잘 듣고 있는 유저입니다.
PMF 강연 중 PMF를 개선하기 위해 해야 하는 것으로
1) 사용자 인터뷰 2) 사용자 데이터 분석
을 말씀해주셨는데 그 이후 액션 플랜으로
리텐션/컨버전 개선하기 위한 실험을 해야 한다는 뜻일까요?
아니면, 위 지표 개선 실험이 아닌 다른 무엇을
액션 플랜으로 해야 하는지 알고 싶어서 바로 질문 드립니다!
답변 4
저는 PMF를 맞추는 단계에서는 리텐션이나 컨버전을 개선하기 위한 실험을 해서는 안된다고 생각합니다. 만들고자 하는 서비스나 사업 모델에 대한 본질적인 검증이 되지 않은 상태에서, 지엽적인 수치 개선을 가지고 잘못된 판단을 할 수 있기 때문입니다. (eg. 서비스가 아무리 구려도, 앱 푸시를 막 날리면 일시적인 리텐션은 무조건 높아집니다 ^^;; )
PMF를 만족하면 결과적으로 리텐션과 컨버전이 높게 나오지만, 반대로 리텐션이나 컨버전을 높인다고 해서 PMF가 만족되는 건 아닙니다. 따라서 이 단계에서는 위에 말씀하신 1) 사용자 인터뷰 2) 사용자 데이터 분석 그 자체가 action plan이 되어야 하구요. 그 결과를 가지고 아래 질문들에 대해서 대답해 보고, 서비스의 구조, 비즈니스 모델, 전체적인 Use Flow 등을 점검하는 과정이 이어져야 합니다.
1) 우리가 이 서비스를 통해 해결하고 싶은 문제가 무엇인지
2) 그 문제가 실제로 있긴 한지 (사용자들이 그걸 문제라고 생각하는지)
3) 우리의 솔루션이 그 문제를 효과적으로 해결해주는지
질문 5
답변 감사드립니다!
그런데 풀리지 않는 의문이 있어 추가로 질문드립니다.
PMF 달성을 확인할 수 있는 척도는
- Retention 2. Conversion 3. NPS
위 3가지라고 하셨습니다.
그리고 PMF를 개선하기 위해서는
- 사용자 인터뷰 2. 사용자 데이터 분석
가 액션플랜이 되어야 한다고 하셨습니다.
그런데 인터뷰와 데이터 분석은 그 자체로
제공하는 서비스를 바꾸는 것은 아닙니다.
이를 통해
사용자가 어떤 문제를 해결하기 위해
MVP의 어떤 기능을 어떤 과정을 통해 사용하고 있는지
추가적으로 어떤 기능을 무슨 목적으로 사용하길 원하는지를 알 수 있다고 생각합니다.
그러한 데이터로 말씀하신
-
서비스가 해결하는 문제
-
시장에 문제가 존재하는지 유뮤
-
서비스 솔루션이 올바르게 작동하는지
에 어떤 답을 내릴 수 있을 겁니다.
그러나 그 답을 통해서 '제공하는 프로덕트의 변화 없이' 어떻게 PMF에 도달했는지를 알 수 있는 지표인
1) 리텐션 2) 컨버전 3) NPS를 바꿀 수 있는 것인지 혼란스럽니다.
요약하자면
PMF를 개선하기 위한 액션플랜을 통해
PMF를 알기 위한 척도 3가지가 변화할 수 없다면
어떻게 PMF에 도달했는지 알 수 있을까요?
PMF를 확인하는 방법은 정량적인데 이를 위해 정성적인 답을 얻을 수 있는 액션플랜을 한다는 점이 조금 혼란스러운 것 같습니다.
아니면 PMF라 하는 것은 어떤 정량적인 결론이 아니고, 정량적인 지표를 통해 정성적인 답을 찾아내는 과정인 것일까요?
답변 5
아. 제 설명이 좀 모호했던 것 같네요 ㅠㅜ
프로덕트는 반드시 변해야 합니다. 다만 그 변화의 시작점이 retention이나 conversion을 개선하기 위한 아이디어에서 출발하면 안되고, 사용자 인터뷰와 데이터 분석에서 시작되어야 한다는 점이 제가 의도한 내용입니다. 예를 들면, 아래와 같습니다.
(나쁜 방향)
retention을 높이기 위한 기능 아이디에이션 -> 프로덕트 개선 -> 변화된 retention 측정 -> PMF 평가
"PMF를 판단하는데 retention이 중요한데, 우리 서비스는 7일 retention이 30%네. 신규 가입자에게 가입 후 7일동안 매일 한번씩 푸시를 보내면 retention이 50% 까지는 오르지 않을까?" -> 매일 Push 발송 -> "어 이제 우리 서비스 7일 retention이 50%까지 올라왔네. 이제 PMF는 만족한 것 같아"
(좋은 방향)
인터뷰와 데이터분석을 통해 우리가 문제를 해결하는 방식에서 부족함이 없었는지 확인 -> 프로덕트 개선 -> 리텐션, 컨버전, NPS 확인 -> PMF 평가
"PMF를 판단하는데 retention이 중요한데, 우리 서비스는 7일 retention이 30%네. 인터뷰를 해봤더니 우리가 생각한 문제는 사람들이 크게 중요하다고 생각 안하는 것 같아. 오히려 인터뷰에서 나온 OOO 문제를 더 잘 해결해주는 쪽으로 프로덕트를 바꿔보면 어떨까?" -> 그 방향으로 프로덕트 수정 -> "우리 서비스 7일 retention이 50%까지 올라왔네. 이제 PMF는 만족한 것 같아"
이 단계에서 리텐션과 컨버전을 높이기 위한 실험을 해서는 안된다는 의미는, 자칫하면 리텐션과 컨버전을 높이는 것 자체가 '목적'이 될 수 있기 때문입니다. 이 단계에서의 목적은 PMF를 찾는 것이고, 리텐션과 컨버전은 이를 확인하기 위한 수단으로 활용되어야 합니다.
질문 6
- PMF을 맞추는 단계인지, 아닌지를 판단하는 정량, 정성적인 기준치가 있을까요?
답변 6
안녕하세요. Min Uhm님
PMF를 맞추는 단계는 따로 있습니다. (아이디어를 기반으로 첫 MVP를 만들어서 시장의 평가를 받는 시점)
이 시기에는 아래와 같은 질문에 답을 찾아야 합니다.
1) 우리가 생각한 문제가 진짜 있나?
2) 우리의 서비스가 그 문제를 잘 해결하고 있나?
수치화 된 KPI를 측정하는 것은 PMF를 맞춘 이후에야 의미가 있다고 생각합니다. 위에 있는 2개 문제에 확실하게 Yes 라는 답을 하지 못한다면, Conversion이나 Retention 수치가 아무리 잘 나와도 그 서비스는 지속가능하지 않다고 봅니다. (Conversion이나 Retention은 '어떤 방법을 쓰면' 본질과 무관하게 지표를 좋게 마사지할 수 있습니다)
우리 서비스가 PMF를 만족시키는지 확인하는 가장 명확한 방법은, 사용자를 직접 만나서 User Voice를 듣는 것입니다. 특히 1000명의 잠재적 지지자보다, 100명의 확실한 Fan을 모을 수 있다면 PMF를 잘 찾았다는 긍정적인 신호라고 생각합니다.
질문 7
PMF를 맞췄다, PMF를 발견했다고 판단하는 기준이 궁금합니다.
기본적으로 그기준이 Retention이 되고, Retention N-Day의 수치가 몇%이상일 때 맞다고 판단하는 것으로 알고 있었는데요,
양승화님께서 생각하시는 PMF를 맞췄다고 판단하는 기준이 정성적으로는 없는지 궁금합니다!
답변 7
PMF에 대해서 절대적인 수치 기준이 있다고 이야기하기엔 어렵습니다. 가령, 데이팅 앱이라면 1개월 리텐션이 50%만 되어도 PMF를 만족시킨다고 판단할 수 있지만, 메신저 앱이라면 1개월 리텐션이 70%라고 해도 PMF가 아닐 수 있거든요. (이 숫자 자체도 예시입니다...)
농담처럼 하는 말이긴 하지만, '우리 서비스가 PMF를 찾은 걸까요?' 라고 질문한다면, 아직 PMF를 찾지 못했다는 말이 있습니다. 비슷하게, "PMF를 찾았다면 모를 수가 없다" 라는 말도 있지요 ㅎㅎ PMF를 찾았는지 여부는 고객 충성도와 관련된 지표, 그리고 그 지표의 기간별 트렌드, 사용자 후기나 SNS에 올라오는 태그, 리뷰 등으로 확인할 수 있는 정성적인 데이터 등 다양한 데이터를 참고해서 판단하는 게 답일 것 같네요.
질문 8
Retention 에서 잠시 언급하셨던 부분인데
고객에게 푸시를 많이 보내면 피로도가 높아지고, uninstall 이 증가한다고 말씀하셨는데
혹시 푸시 등의 피로도를 측정하거나 어떤 기준으로 관리를 하는지 궁금합니다.
답변 8
안녕하세요, 강현욱님.
기본적으로는 일정 기간동안 동일한 사람이 받을 수 있는 메시지의 총량을 관리합니다. 가령 '한 사람이 7일 이내에는 광고성 메시지를 최대한 3개만 받을 수 있도록 한다' 와 같은 그라운드 룰을 정하는 것이죠. Braze와 같은 마케팅 자동화 툴에서는 이러한 Frequency Capping 기능을 제공하고 있습니다. 사실 이보다 더 좋은 것은 애초에 최대한 '개인화된' 메시지를 발송하는 것입니다. 똑같은 할인 이벤트 푸시라고 하더라도, 전혀 맥락없이 광고 푸시를 받은 사람과 할인 이벤트를 하는 상품을 장바구니에 담아두고 살지 말지 고민중인 사람이 푸시를 받았을 때 느끼는 감정은 전혀 다를 테니까요.
앱 삭제와 관련한 데이터 모니터링은 아래 링크를 참고하시기 바랍니다. 불만을 가진 유저가 가장 쉽게(?) 할 수 있는 행동은 (회원탈퇴가 아니라) 앱 삭제라는 측면에서, 앱 삭제 이벤트는 잘 관리될 필요가 있습니다. (회원탈퇴는 상대적으로 많은 노력이 필요한 번거로운 이벤트에 가까워서, 의외로 많이 발생하지 않습니다...)
https://appsamurai.com/8-tools-to-track-android-and-ios-app-uninstalls/
질문 9
PMF 단계 일때 고객 설문 및 인터뷰 내용!
안녕하세요.
한 달 살기 문화를 만들고 있는 미스터멘션이라고 합니다.
PMF 단계일때 고객을 직접 만나서 인터뷰를 해야하고 저희도 인터뷰를 진행하고 있는데
우리 서비스를 만족하시나요? (실제 질문) 라고 물어보면 대부분 네... 라고 대답을 듣습니다.
근데 뭐랄까요? 고객들이 대답을 하실때 그냥 의미 없이 네...라고 하시는거 같아서
이게 진짜 만족을 하셔서 네라고 하시는건지 아니면 질문이 잘못된건지 잘 모르겠습니다
고객 인터뷰나 설문을 진행하고 "과연 우리 서비스가 PMF이 검증됬는가" 를 알고 싶을때
질문을 어떻게 하시는지 궁금합니다!!
답변 9
안녕하세요, 주형님.
강의 후반부에 인터뷰에 대한 내용이 조금 더 자세하게 나오는데요.
사용자 인터뷰 과정에서, 질문을 하는 기본적인 원칙은 아래와 같습니다.
-
미래가 아닌, 과거와 현재
-
가정이 아닌, 경험
-
결과가 아닌, 과정
-
기억이 아닌, 습관
-
일반화된 진술이 아닌, 개인의 경험이 드러나는 질문과 답변
-
편향된 믿음을 확인하는 과정이 아닌, 순수한 호기심으로 접근
사용자 인터뷰는 그 자체가 거대한 주제라서, 여기서 모든 걸 설명드리긴 어려운데요.
아래의 도서들을 참고하셔서 인터뷰 프로세스나 질문지에 대해서 고민해보시면 좋을 것 같습니다.
