[Paper Review] Constrained Highlighting in a Document Reader can Improve Reading Comprehension

📍 Constrained Highlighting in a Document Reader can Improve Reading Comprehension (CHI '24)

Paper : https://dl.acm.org/doi/10.1145/3613904.3642314

---

✏️ Summary

• 문서에서 특정 정보를 기억하기 위해 하이라이트를 사용하는 것은, 매우 흔한 능동적 읽기 전략이다.
• 지나온 학습 이론들은 독자들이 '무엇을 하이라이트' 하는지에 따라 하이라이트의 효과가 달라질 수 있음을 입증해왔다.
• 본 연구는 하이라이트하는 단어의 수를 제한하는 인터페이스를 구축함으로써,
  이러한 과정이 독자의 문서 이해도를 향상시키는지를 알아보고자 한다.
• 이에 따라 대규모 between-subjects 실험을 통해 하이라이트하는 단어의 수를 제한하는 환경이,
  아예 하이라이트을 하지 않거나 그 어떠한 제한도 없는 환경에 비해 더 높은 문서 이해도로 이어진다는 사실을 입증한다.

---

💡 Introduction

• 하이라이트나 밑줄은 정보를 기억하기 위한 능동적 읽기 전략이다.

  • 선행 연구에 따르면, 이는 중요 정보를 시각적으로 고립시켜 기억에 남게 하는 시각적 고립 효과와,
    무엇을 마킹할지 고민하는 과정에서 발생하는 인지적 분석 유도라는 두 가지 주요 효과를 가진다.

• 다만, 많은 독자들은 내용을 과도하게 마킹하는 경향이 있으며, 이는 시각적 분별력을 떨어뜨리고 실제로는 이해하지 못했음에도 이해했다고 믿는 일종의 환상 (false sense of comprehension) 을 심어줄 수 있다.

• 과거 Leutner et al.은 효과적인 하이라이트 방법을 가르치는 훈련을 진행하여,
  텍스트 마킹 전략이 학습 가능하다는 사실을 밝혀낸 바 있다.

  • 다만, 해당 훈련은 90분 이상의 긴 시간과 50장에 육박하는 슬라이드를 요구한다.
  • 그에 따라 본 연구는 인터페이스상에서 하이라이트 가능한 단어 수를 인위적으로 제한하는 과정을 통해 독자가 스스로 중요도를 판단하도록 유도하고자 한다.

• 본 연구는 총 127명을 대상으로 한 between-subjects 실험을 통해 총 세가지 환경에 따른 결과를 관찰한다.

  • 그 어떤 하이라이트도 허용하지 않는 환경
  • 가능한 하이라이트 수를 최대 150 단어로 제한하는 환경
  • 그 어떤 제약도 가하지 않는 환경

• 그에 따라 본 연구는 텍스트 마킹 환경에서 사용자 인터페이스를 통한 제약을 탐구하며,
  전통적인 자기 조절 훈련 없이도 제한된 강조 표시가 독해 점수를 향상시킬 수 있음을 입증한다.

---

💡 Background and Related Work

• 처리 수준 이론 (Levels of Processing theory)에 따르면 정보는 깊게 분석할수록 더 오래 기억되며,
  von Restorff effect는 시각적으로 눈에 띄는 항목의 기억력이 향상됨을 설명한다.

• Yue et al.은 학생들에게 읽을 수 있는 구절을 주고 일주일 후에 시행되는 시험을 위해 단순히 구절을 읽거나
  구절을 읽고 강조하는 방식으로 공부를 하도록 지시했다.
  → 그 결과, 강조 표시를 덜 사용한 학생들이 시험에서 더 높은 성적을 보였다.

  • 이를 통해 저자는 텍스트 마킹을 선택하는 과정에서 강조할 내용을 결정하는 데 더 많은 정신적 노력이 요구되며, 그러한 노력이 더 높은 성적으로 이어진 것이라 추측하였다.

• Nist와 Hogrebe는 학생들에게 이미 밑줄 친 다양한 유형의 정보가 포함된 텍스트 지문을 제공하여 텍스트 마킹이 유익한지 여부를 조사했다.
  → 그 결과, 한 가지 유형의 정보가 밑줄 쳐진 지문이 주어진 학생들이 타 학생들에 비해 해당 내용에 대한 질문에 더 정확히 답하는 것으로 나타났다.

• 다만, 독해 능력이 낮은 독자들은 불필요한 정보까지 과하게 하이라이트하여 오히려 성적이 떨어지는 경향을 보이기도 한다.

  • Bell과 Limber는 심리학 입문 수업에서 학생들이 사용하는 교과서를 조사하여 읽기 능력이 텍스트 표시 효율성에 미치는 영향을 탐구했다.
    → 읽기 능력이 낮은 학생들은 텍스트를 지나치게 강조하는 경향을 보였고, 관련 없는 정보를 더 많이 강조함에 따라 읽기 능력이 높은 학생들에 비해 기말고사 점수가 낮게 나타났다.
  • 몇몇 독자들은 텍스트 마킹을 집중을 위한 전략으로 오용하기도 한다.

• 디자인 제약은 사용자 행동을 변화시킬 수 있다.

  • Biskjaer 등은 텍스트 편집기 내에서 시간 제약의 효과를 탐구하여 창의적인 글쓰기를 장려했으며,
    그 결과 시간 제약 하에서 글을 쓸 때 사람들이 더 많은 양을 작성한다는 것을 발견했다.
  • Han 등의 Textlets는 작업 시의 일관성을 높이기 위해 텍스트 편집기 내에서 텍스트 선택을 대화형 객체로 변환하여 조작하고 저장할 수 있는 형태로 제공한다.

---

💡 Experiment

• 하이라이트 제한이 독해 성적에 미치는 영향을 정량적으로 측정하기 위한 대규모 실험을 진행했다.

• 참가자 : Prolific을 통해 모집한 127명의 데이터를 분석하며, 집단 간 설계 (between-subjects)를 사용하여
  세 가지 조건 (하이라이트 없음, 150 단어 제한, 제한 없음)을 비교했다.

  • 미국과 캐나다 거주자 중 높은 신뢰도를 가진 사용자만 포함했다.
  • 부정 응답과 규칙 위반 참가자를 제거하여 최종 127명을 분석했다.
  • 참가자는 기본 보상과 성과 기반 보너스를 받았다.

• 참가자들은 easyCBM에서 제공한, 약 1,500단어 분량의 8학년 수준 단편 소설을 읽었다.
  

• Node.js와 React 기반 웹 리더에는 하이라이트 모드, 진행률 표시줄, 그리고 제한 도달 시 나타나는 경고 메시지 기능이 포함된다.
  복사 및 검색 기능은 부정행위 방지를 위해 제한했다.

• 파일럿 테스트 결과 독자들이 평균 296단어를 하이라이트 한다는 것을 파악하고,
  그 절반 수준이자 전체 문서의 약 10%인 150단어를 제한 수치로 설정하였다.

• 간단한 실험 절차는 다음과 같다 :

  • 참가자는 설문 후 문서를 읽고 하이라이트를 수행한다.
  • 읽기 단계에는 시간 제한이 없다.
  • 24시간 후 테스트 인터페이스에 접속하여 시험을 본다.
  • 이후 인터페이스 및 경험 관련 설문을 작성한다.

---

💡 Results

• 제한 조건 (Constrained)에서의 참가자의 평균 점수는 14.3점으로,
  없음 환경 (10.5점)이나 무제한 환경 (12.1점)에 비해 유의미하게 높았다.

• 특히 점수의 편차(IQR)가 좁아져 성적이 더 일관되게 나타났다.
  

• 더불어, 제한 조건 사용자는 무제한 조건보다 훨씬 적은 단어를 선택했으며 (118.5단어 vs 263.7단어),
  하이라이트당 평균 단어 수도 훨씬 짧았다 (4.8단어 vs 13.7단어).

• 제한 조건에서는 조사나 접속사 같은 '채움 단어 (filler words)'를 제외하고 핵심 명사와 주요 구문 위주로 마킹하는 양상이 관찰되었다.
  • 핵심 개념 중심의 강조가 증가했으며, 하이라이트가 탐색용 북마크 역할을 수행하기도 한다.

• 제한 조건에서 삭제 횟수는 많았으나 제한을 초과하는 경우는 드물었다.
  참가자들은 문서 초기부터 하이라이트를 전략적으로 사용하였으며, 문서 초반부에 집중하는 경향이 나타났다.

• 참가자들은 문서 초반 텍스트에 하이라이트를 집중함으로써 보통 읽기 및 강조 세션의 중간에서 단어가 부족해졌고, 이로 인해 문서 후반부에 텍스트에 대한 더 많은 유효하지 않은 강조 표시 시도가 발생하기도 했다.

• 제한 기능으로 인해 하이라이트 전략을 고민해야 했음에도 불구하고,
  읽기 시간이나 주관적인 정신적 노력 지표는 다른 조건들과 큰 차이가 없었다.

---

💡 Discussion

• 본 실험을 위해 150단어 제약은 효과적이었으나, 문서의 성격(학술지, 뉴스 등)에 따라 제한 수치를
  동적으로 계산하는 기술이 필요하다는 의견이 제시되기도 했다.

• 메모(Comment) 기능과 하이라이트 제한을 결합하거나, 각각 별도의 제한을 두는 방안 등을 추가로 고려해볼 수 있다.
  • 필압 (pen pressure)을 이용해 중요도를 표시하고, 제한 도달 시 덜 중요한 하이라이트가 자동으로 사라지는 기술 등을 고려해볼 수 있다.
• 다만 본 연구는 사용한 문서가 단편 소설 장르에 국한되었으며, 참가자의 평소 독해 능력을 별도로 측정하지 않았다는 점과 장기적인 학습 효과가 검증되지 않았다는 점에서 한계를 지닌다.

---

💡 Conclusion

• 본 연구는 “Less is more” 원칙을 실증적으로 입증한다.
  • 즉, 하이라이트 단어 수를 제한하는 것이 독자로 하여금 더 의도적으로 정보를 처리하게 하며, 그 결과 전반적인 독해력을 높일 수 있다는 것이다.
    → 이는 비용 대비 개입 효과가 매우 큰 방법론임이 입증되었다.
• 본 연구에서 구현한 인터페이스는 시스템 디자인만으로 자기 조절을 유도할 수 있으며,
  복잡한 소프트웨어 개발이나 긴 사용자 교육 없이도 기존 문서 판독기에 즉시 적용할 수 있는 전략이다.

---

💭 My thoughts

• 개인적으로는 읽기 과정에 의도적인 제약을 가하는 것이 오히려 학습 흐름을 방해하거나, 자연스러운 읽기 과정에 부담을 더할 수도 있겠다는 생각을 했습니다. 물론 참가자들의 피드백을 받는 과정에서 단어 수 제한이 약간의 인지적 부담을 더했다는 평가는 있으나, 읽기 과정의 전반적인 효율성을 높이는 데 기여했다는 사실이 매우 흥미로웠습니다. 동시에 본 연구는 독자의 주관이 아닌 정량적인 '독해력'을 측정하는 실험을 설계한 것이기 때문에, 결과적인 이해도 점수에서는 제한된 환경이 우세했을 것이라 추측하였습니다. 그에 따라 텍스트 마킹 환경에서 독자의 전략에 제약을 가하는 것이 인지적인 부하나 심리적인 만족도 측면에서 어떤 차이를 야기할지 등도 살펴보면 좋겠다는 생각이 들었습니다.

• 더불어, 참가자들이 제한된 환경 하에서 핵심 명사와 주요 구문을 위주로 마킹하는 경향을 보이며, 이러한 마킹이 일종의 북마크 역할을 했다는 사실이 흥미로웠습니다. 이렇듯 주요 개념들을 고민하고 기억해내는 과정이 결과에 차이를 야기했다면, 그것이 특정 개념을 더 오래, 깊이 기억하는 데에도 도움을 주지 않을까 하는 생각이 들었습니다. 그에 따라 저자들도 한계점으로 명시하였듯, 장기적인 학습 효과가 검증되지 않았다는 사실이 다소 아쉽게 느껴졌습니다. (다만 이건 학습 효과를 실험하는 연구들에서는 흔히 언급되는 한계점인 것 같습니다 ..)

• 이외에도, 대규모의 참가자를 대상으로 한 실험을 진행할 때 관련하여 고려 / 통제해야 하는 변인들을 살펴보고, 세가지 조건에서 나타나는 결과에의 차이를 타임라인, 위치, 단어 수, 내용 등 여러 관점에서 분석하는 과정을 살펴볼 수 있어 좋았습니다. 유사한 양상의 연구를 설계하고 있는 입장에서 많은 도움을 받을 수 있었습니다 :)