[HCI] Experiment Design

Experiment Design

• 실제로 어떤 condition을 줘서 이 condition이 효과가 있는지를 보는 것이다.
• 만든 시스템이 의미가 있는 시스템인지 확인

Types of HCI Studies

Types of research	Focus	General Claims	Typical Methods
Desciptive	describe a situation or a set of events	X is happening	Observations, field studies, focus groups, interviews
Relational	identify relation(correlations) between multiple factors	X is related to Y	Observations, field studies, surveys
Experimental	identify casues of a situation or a set of events	X is responsible for Y	Controlled experiments

Typical Dependent Variables in HCI

• Efficiency
• Accuracy
• Subjective satisfaction
• Ease of learning and retention rate
• Physical or cognitive demand

Factors

• independent variables
• An experiment with a control group and a treatment group is a single-factor experiment

Levels

• values that a factor can assume
• ex
  • factor food has two levels : 브로콜리, 브로콜리 x
  • factor posture has three levels : sitting, standing, walking

Between-Subjects Design

• Each participant experiences only one level of a factor
  • 2개의 그룹이 있다면 하나만 참여하게 한다. -> 더 많은 참여자를 요구
  • 실험에 영향을 끼칠 수 있는 외부 요인을 막아 가능한 혼란을 피한다. -> 한 사람은 무조건 하나만 경험하게 한다.
  • 통계적으로 더 쉽게 분석

Within-Subjects Design

• Each participant experiences all level of a factor
  • 통계적으로 더 강력
  • 한명이 여러 level을 참여하기 때문에 learning effect로 다른 level에 영향을 끼쳐 혼란을 야기할 수 있다.

Carryover Effects

• 어느 한 상황에서 일어난 효과가 다음 상황에서도 이월되는 것
• 흔히 within-subjects designs에서 생긴다.
• Neutralize carryover effects with counterbalancing
  • within-subjects를 하려면 counterbalancing을 해야 한다.
    ex) two condition : p1(iOS, Android), p2(Android, iOS), p3(iOS, Android), p4(Android, iOS)

Confounds

• An unaccounted for factors that could explain your results
• Serious confounds ruin experiments
• Avoid confounds
  • remove or exclude
  • spread equally
  • manipulate as a factor
  • record as a covariate

Randomization

• the random assignment of treatments to the experimental units or participants
  -> 실험자에게 페이지 1, 2, 3을 순차적으로 보여주는 것이 아니라 랜덤하게 보여준다.

Question

HCI researchers wanted to determine if the size of a device's screen affects how quickly people are able to read news articles. They created an experiment in which they asked 40 participants to read a news article on either a smartwatch, smartphone, tablet, or desktop. They measured how long it took each participant to read the article.

• Factor(s)/Independent variable(s)?
  • Within or between subjects? : between subjects
  • Level(s)? : 4
• Dependent variable(s)? : how long
• Possible issues/confounds to think about? : 같은 뉴스의 article을 읽어야 한다. 참여자들을 그룹에 assign할 때 랜덤하게 해야하고, 뉴스 article을 3~4개 골랐을 때 보여주는 순서도 랜덤하게 보여줘야 한다.

Limitations of Experimental Research

• well-defined, testable, hypotheses을 요구한다.
• 독립 변수에게 영향을 줄 수 도 있는 stric control of factor을 요구한다.
• Lab-based experiment는 users' typical interaction behavior의 좋은 representation이 될 수 없다.