Experiment Design
- 실제로 어떤 condition을 줘서 이 condition이 효과가 있는지를 보는 것이다.
- 만든 시스템이 의미가 있는 시스템인지 확인
Types of HCI Studies
Types of research | Focus | General Claims | Typical Methods |
---|
Desciptive | describe a situation or a set of events | X is happening | Observations, field studies, focus groups, interviews |
Relational | identify relation(correlations) between multiple factors | X is related to Y | Observations, field studies, surveys |
Experimental | identify casues of a situation or a set of events | X is responsible for Y | Controlled experiments |
Typical Dependent Variables in HCI
- Efficiency
- Accuracy
- Subjective satisfaction
- Ease of learning and retention rate
- Physical or cognitive demand
Factors
- independent variables
- An experiment with a control group and a treatment group is a single-factor experiment
Levels
- values that a factor can assume
- ex
- factor food has two levels : 브로콜리, 브로콜리 x
- factor posture has three levels : sitting, standing, walking
Between-Subjects Design
- Each participant experiences only one level of a factor
- 2개의 그룹이 있다면 하나만 참여하게 한다. -> 더 많은 참여자를 요구
- 실험에 영향을 끼칠 수 있는 외부 요인을 막아 가능한 혼란을 피한다. -> 한 사람은 무조건 하나만 경험하게 한다.
- 통계적으로 더 쉽게 분석
Within-Subjects Design
- Each participant experiences all level of a factor
- 통계적으로 더 강력
- 한명이 여러 level을 참여하기 때문에 learning effect로 다른 level에 영향을 끼쳐 혼란을 야기할 수 있다.
Carryover Effects
- 어느 한 상황에서 일어난 효과가 다음 상황에서도 이월되는 것
- 흔히 within-subjects designs에서 생긴다.
- Neutralize carryover effects with counterbalancing
- within-subjects를 하려면 counterbalancing을 해야 한다.
ex) two condition : p1(iOS, Android), p2(Android, iOS), p3(iOS, Android), p4(Android, iOS)
Confounds
- An unaccounted for factors that could explain your results
- Serious confounds ruin experiments
- Avoid confounds
- remove or exclude
- spread equally
- manipulate as a factor
- record as a covariate
Randomization
- the random assignment of treatments to the experimental units or participants
-> 실험자에게 페이지 1, 2, 3을 순차적으로 보여주는 것이 아니라 랜덤하게 보여준다.
Question
HCI researchers wanted to determine if the size of a device's screen affects how quickly people are able to read news articles. They created an experiment in which they asked 40 participants to read a news article on either a smartwatch, smartphone, tablet, or desktop. They measured how long it took each participant to read the article.
- Factor(s)/Independent variable(s)?
- Within or between subjects? : between subjects
- Level(s)? : 4
- Dependent variable(s)? : how long
- Possible issues/confounds to think about? : 같은 뉴스의 article을 읽어야 한다. 참여자들을 그룹에 assign할 때 랜덤하게 해야하고, 뉴스 article을 3~4개 골랐을 때 보여주는 순서도 랜덤하게 보여줘야 한다.
Limitations of Experimental Research
- well-defined, testable, hypotheses을 요구한다.
- 독립 변수에게 영향을 줄 수 도 있는 stric control of factor을 요구한다.
- Lab-based experiment는 users' typical interaction behavior의 좋은 representation이 될 수 없다.