[HCI] Quantitative Data Collection and Analysis

Quantitative Data

• Log Data
• Survey Data

Quantitative Survey

• "Pen and paper response" a pre-determined set of questions
• Likert-scale responses
  • 5단계 리커트 척도를 사용한 예
    아이스크림은 아침 식사로 적합하다.
    - 전혀 그렇지 않다.
    - 그렇지 않다.
    - 보통이다.
    - 그렇다.
    - 매우 그렇다.
• 익명성을 제공하고 정직한 반응을 북돋는다.
• 질문은 standardize해야 하고 valid and relliable 해야한다.
• Requires self-reporting & subject to bias recall
• 각 질문에 대해 통계를 계산한다.
  mean, median, standard deviation, N-per-answer
• 단점
  • 반응을 깊이 탐구할 수 없다.
  • 이 문제는 좋은 결정을 만들어낼 수 없다.

About Surveys

• Why people fill out surveys?
  • Social Exchange Theory
  • Elements of reward, cost and trust
• 무엇을 물어보고 측정하고 싶은가?
  • 무엇이 궁금한가?
  • variables가 무엇인가?
  • 어떻게 측정할 것인가?
  • Latent Variables
    • 규칙이 있다.(psychology, economics, computer science, social sciences)
    • 예제 : personality(The Big Five Inventory(BFI)), quality of life, smartphone addiction, usability test
      
• 정확성/Survey 에러
  • Sampling Error
  • Converage Error
  • Measurement Error
  • Non-response Error
• Writing Questions
  • 모든 사람이 같은 방향으로 해석해야 한다.
  • 응답자는 정확하게 반응해야 한다.
  • 응답자는 대답을 할 수 있어야 한다.
  • 따라서
    • 쉬운 단어 사용
    • Keep it short
    • 구체적으로
    • Do not talk down
    • Avoid bias, hypothetical questions
    • 완전한 문장 사용
• 설문지 디자인
• Survey Implementation

Question Criteria

• Does the question require an answer?
• To what extent does the respondent have a ready made and accurate answer?
• Can respondent accurate recall and report past behavior?

Question Types

• Closed-ended
• Responses over a contimuum
• Branching
  이 문제에 답했으면 몇번으로 가시오.
• Rank-order
• Open-ended

Measurement Scales

• Categorical : assigns or classifies
• Continuous
• Likert : assess agreement
• Can be 5-, 7-, 9- point scale

Question Principles

• Use simple words and phrase
• 모호한 수량사 피한다.
  ex) 때때로, 드물게, 정기적으로...
• Avoid bias by using both positive and negative sides in the question stem.
• Avoid double-barreled questions
• Avoid asking respondent to say tes in order to mean no.
• Use equal numbers of positive and negative categories for scalar questions AND distinguish undecided from neutral by placing at the end of the scale.
• Soften impact of potentially objectionable questions.
• Don't combine numbers and words

Analysis

1. Descriptive statistics
   • 65% of the respondents were female
   • 35% of the respondents were male
2. Frequency analysis
   • Various statistical methods(Chi-square, t-test, ANOVA)는 변수들 간의 중요한 관계를 평가한다.

AB Test

• 두 버전을 서로 비교하여 어떤 버전이 효과적인지 판단하는 방법
• split testing or bucket testing이라고도 함.
• 장점
  
• 단점
  

Web Analytics

• measurement, collection, analysis, and reporting of quantitative web data to understand and optimize usage.
• 사용하기 편하다.(UX)
• ex) Google Analytics