[Paper Review] VisLab: Enabling Visualization Designers to Gather Empirically Informed Design Feedback

📍 VisLab: Enabling Visualization Designers to Gather Empirically Informed Design Feedback (CHI '23)

Paper : https://dl.acm.org/doi/10.1145/3544548.3581132
Github : https://github.com/datawithinreach/vislab

---

💡 Introduction

• 데이터 시각화는 이제 다양한 분야에서 복잡한 정보를 이해하고 전달하기 위한 핵심 수단이 되었다.
  → 이에 따라 시각화 디자이너들은 지각적 정확성, 미적 완성도, 가독성, 기억성, 참여도 등 여러 기준 사이에서 지속적인 디자인 선택 과정을 경험한다.

• 실제 디자인 현장에서는 이러한 충돌을 해결하기 위해 주로 동료와의 토론, 기존 사례 참고, 혹은 개인의 직관에 의존하지만, 이는 체계적이거나 검증 가능한 근거를 제공하기 어렵다.
  

• 반면 시각화 연구 커뮤니티에서는 오랫동안 정량적 실험을 통해 시각화 설계 원칙과 지식을 축적해왔으나, 이러한 실험들은 통계적, 기술적 전문성을 요구하고 연구 맥락에 최적화되어 있어 실무 디자이너가 직접 활용하기에는 진입 장벽이 높다.

• 저자들은 이 간극을 문제로 인식하며, 정량적 실험을 연구자 전용 방법론이 아니라 디자인 실무를 보완하는 피드백 수단으로 재구성할 필요성을 제기한다.

• 이를 위해 본 논문은 시각화 디자이너가 복잡한 실험 설계나 통계 분석 없이도 경험적으로 근거 있는 디자인 피드백을 직접 수집할 수 있도록 돕는 온라인 시스템 VisLab을 제안한다.

✏️ 본 연구의 핵심 가치와 의의는 다음과 같다 :

• 실무자들이 실제 디자인 환경에서 충돌하는 디자인 선택들과 경험적으로 제공되는 피드백의 가치를 어떻게 받아들이는지에 대한 실증적인 서베이를 진행한다.
• 평가와 피드백을 위한 주제와 일반적인 연구 과정 및 방법에 대한 현존하는 경험적 연구들을 분석한다.
• 새로운 시스템 VisLab을 제안하여, 실무자들이 직접 실험을 돌리고 경험적인 피드백을 제공받도록 하며, 다른 이들과 결과를 공유하여 기존 실험을 확장할 수 있도록 지원한다.

---

💡 Related Work

2.1 Gathering Design Feedback

• 디자인 과정에서 피드백은 필수적인 요소로, 이는 전통적으로는 동료 비평, 디자인 크리틱, 스튜디오 기반 토론을 통해 이루어져 왔다.
  시각화 연구에서도 visualization criticism이나 redesign-as-criticism과 같은 개념을 통해 이러한 관행의 중요성이 논의되어 왔다.
• 최근에는 크라우드소싱을 활용해 더 많은 사람들로부터 디자인 피드백을 수집하려는 시도들이 등장했으며, microtasking, rubric, 예시 제공 등의 방법으로 피드백 품질을 개선하고자 했다.
• 그러나 이러한 시스템들이 제공하는 피드백은 대부분 서술적인 텍스트 의견에 머물러,
  상충되는 의견을 종합하거나 명확한 판단의 근거로 사용하기 어렵다.
• 반면 다수의 응답을 수치화하여 비교·집계할 수 있는 정량적 피드백은 해석 가능성과 객관성을 제공하지만,
  이는 주로 연구 실험의 형태로만 존재해 왔다.

VisLab은 기존의 정성적 피드백을 대체하기보다는 정량적 피드백을 보완적으로 도입함으로써 디자인 판단을 보다 명확하게 지원하고자 한다.

2.2 Scaffolding Empirical Study Procedures

• 온라인 실험과 크라우드소싱의 확산으로 대규모 사용자 연구가 가능해졌지만,
  여전히 실험 설계, 품질 관리, 통계 분석은 전문가의 영역으로 남아 있다.
• Qualtrics, Gorilla, LabVanced와 같은 상용 도구들은 실험 구축을 지원하지만,
  주된 대상은 연구자이며 결과 해석은 사용자에게 주로 맡긴다.
• 저자들은 많은 시각화 실험들이 실제로는 유사한 절차와 구조를 반복하고 있다는 점에 주목하며,
  이러한 공통 구조를 템플릿화하면 실무자도 실험을 실행할 수 있다고 본다.

VisLab은 실험 절차 전체를 하나의 scaffolded workflow로 제공하는 것을 목표로 한다.

2.3 Community-driven Knowledge Sharing

• Scratch, Observable, Glitch와 같은 플랫폼은 결과물뿐 아니라 과정과 구조의 공유,
  그리고 이를 기반으로 한 remix 문화를 통해 집단 지식을 확장해왔다.
• 정량적 실험 결과는 정성적 의견보다 명시적이고 구조화되어 있어 공유와 재사용에 적합하다.

VisLab은 실험 결과뿐 아니라 실험 자체를 공유, 확장할 수 있도록 설계함으로써, 커뮤니티 기반의 시각화 설계 지식 축적을 지원한다.

---

💡 Understanding Design Practice

3.1 Participants

• 저자들은 Data Visualization Society의 Slack 커뮤니티에서 18명의 실무자를 모집했으며,
  참가자들은 디자이너, 개발자, 분석가, 매니저, 저널리스트 등 다양한 역할과 경력을 가지고 있었다.
• 대부분의 참가자는 시각화를 주로 타인에게 정보를 전달하기 위한 목적으로 사용하고 있었으며,
  다양한 이해관계자와 일반 대중을 독자로 삼고 있었다.

3.2 Results

• 모든 참가자는 디자인 선택 과정에서 갈등을 겪은 경험이 있다고 응답했으며,
  특히 미학과 기능, 차트 유형 선택, 색상, 레이아웃 결정에서 빈번한 충돌을 보고했다.
• 디자인 결정을 돕는 방법으로는 동료 피드백과 기존 사례 참고가 가장 일반적이었고,
  절반가량은 여전히 개인의 직관에 의존하고 있었다.
  실제로 사용자 실험이나 정량적 평가를 수행한 경험은 극히 일부에 불과했다.
• 그러나 정량적 실험의 유용성에 대해서는 매우 긍정적인 인식을 보였으며, 쉽게 실행할 수 있다면 이러한 방법을 사용하겠다는 의향도 높게 나타났다.

3.3 Takeaways & Limitations

• 실무자들은 이미 경험적 연구 결과에 익숙하며, 문제는 관심이 아니라 접근성과 실행 가능성임이 드러났다.
• 다만 설문에 포함된 실험 예시는 지각 (perception)에 한정되어 있어,
  향후 감성, 미학, 참여도 등으로의 확장이 필요함을 한계로 지적한다.

---

💡 Understanding Empirical Research

4.1 Data Collection & Analysis

• 저자들은 CHI와 IEEE VIS에서 발표된 2009–2019년 사이의 논문을 분석하여 총 140개의 시각화 실험을 추출했다.
• 분석은 평가 대상, 실험 절차, 과제 유형, 측정 지표를 중심으로 한 오픈 코딩 방식으로 이루어졌다.

4.2 Results

• 분석 결과, 다수의 실험이 온라인 환경에서 수행되었으며, 최근으로 갈수록 그 비중이 증가하고 있었다.
• 실험의 대부분은 지각 정확성과 시간 측정을 중심으로 했고, 기억, 주의, 참여와 같은 인지적 요소도 일부 다루고 있었다.
• 중요한 점은 많은 실험들이 pre-survey, screening, practice, main task, post-survey 라는 유사한 절차를 따르고 있었고, 결과 또한 에러 바나 표와 같은 단순한 시각화로 보고된다는 점이다.

  ✏️ 이때 screening이란, 실험 결과의 신뢰도를 높이기 위해 적절한 참가자를 선별하거나 부적절한 데이터를 걸러내는 품질 관리 단계를 의미한다.

4.3 Lessons Learned

• 이러한 반복적 구조는 실험을 템플릿화할 수 있는 가능성을 보여주며, 복잡한 통계 분석 없이도 의미 있는 디자인 피드백을 도출할 수 있음을 시사한다.
• 또한 기존 연구가 표준 차트에 집중되어 있다는 점은, 실무에서 사용되는 다양한 커스텀 시각화에 대한 지식 공백을 드러낸다.

💡 Design Goals

• VisLab은
  (1) 정량적 디자인 피드백을 지원하고,
  (2) 실험 실행 과정을 단순화하며,
  (3) 실험 결과와 구조의 공유 및 확장을 촉진한다는
  세 가지 목표를 중심으로 설계되었다.

---

💡 VisLab

6.1 Deciding Which Experiment Template to Use

• VisLab은 세 가지 핵심 템플릿을 제공한다: Graphical Perception(GP), Attention Tracking(AT), Memorability(MB)
  
• 지각 정확성은 참여자가 서로 다른 바의 길이나 파이 차트의 각도 등을 지각하는 실험 (Cleveland & McGill)을 바탕으로 평가한다.
• 주의 분포는 여러 블러 처리된 이미지를 보고, 작고 동그란 특정 부분만을 클릭하여 기존 해상도로 보도록 하여 시선을 추적하는 실험을 바탕으로 평가한다.
• 기억 가능성은 참여자가 짧은 순간 본 이미지는 추후에도 기억하는지 실험하는 게임을 통해 평가한다.
• 위 세개의 핵심 템플릿은 표준적인 시각화 독해 경험을 포괄함과 동시에, 온라인 실험이 가능한 형태로 정의하였다.

6.2 Creating an Experiment using the Selected Template

• 사용자는 단계적으로 구성된 인터페이스를 통해 실험을 생성하며, 기본 질문과 절차가 자동으로 제공된다.

  • introduction, tutorial, task, demographic survey, and post-survey의 절차에 맞추어 시각화를 제공하면 된다.
  • 기본 질문의 예시는 다음과 같다.

    지각 정확성 : "How well can you read a chart?"
    주의 분포 : "Where do you pay attention when reading a chart?"
    기억 가능성 : "How well can you recognize a chart?"

  • 이외에도 사용자가 정의한 다른 환경 및 단계 설정, 질문지 수정 등이 가능하다.
    
    

• 실험은 링크 형태로 배포되며, 참여자는 개인화된 결과를 통해 자신의 성과를 전체 응답과 비교할 수 있다.
  

• 지각 정확성을 위해서 사용자는 시각화를 썸네일 컨테이너에 drag-and-drop할 수 있으며,
  이미지와 상호작용을 위한 Vega-lite specification 등 다양한 포맷을 수용한다.
  

• 위와 같이 Vega-lite 차트를 통해 두가지 상호작용 패턴 (brushing & wheel-scrolling) 을 사용해 과업을 수행하도록 지시할 수도 있다.

• 지각 정확성 템플릿은 총 세가지의 질문 유형인 multiple- choice, multiple answers, and short-answer (number)을 지원하여, 이는 identify, compare, and derive 등의 과업을 지원한다.
  

• 기억 가능성 (아래)의 경우, 동일하게 drag-and-drop 형식으로 시각화를 업로드하고,
  이미지를 제시하고 멈추는 시각을 조정할 수 있다.

  • 사용자는 타겟이 아닌 filler 이미지도 정의하여 제공할 수 있다.

• 주의 분포 (위)의 경우, 버블이나 블러 처리가 되는 영역, 크기 등을 조정할 수 있다.

  • 파라미터를 조정함으로써 어떤 상호작용이 가능한지를 사전에 확인할 수 있으며,
    각 파라미터에 대한 세부 설명도 주어진다.

6.3 Deploying the Experiment to the Public

• VisLab에서 실험 구성이 완료되면, 디자이너는 본격적으로 실험을 외부 참여자에게 배포할 수 있다.
  • 이 단계의 핵심 목표는 실험 배포와 참여자 모집 과정을 최대한 간단하고 부담 없이 만드는 것으로,
    실무 디자이너가 사용자 연구를 수행할 때 가장 큰 장벽 중 하나를 낮추는 데 초점을 둔다.
    
    
• 디자이너는 실험을 공개하기 전에 파일럿 응답을 직접 제출해 실험 흐름과 질문이 의도대로 작동하는지 점검할 수 있으며, 이 파일럿 데이터는 최종 결과에서 제외할 수 있다.
  → 이를 통해 연구자 수준의 사전 검증 절차를 간소화된 형태로 제공한다.
  
  
• 실험을 배포하면 VisLab은 자동으로 공유 가능한 온라인 링크를 생성하며, 이 링크를 통해 누구나 실험에 참여할 수 있
  • 디자이너는 이 링크를 동료, 잠재 독자, 온라인 커뮤니티에 직접 공유하거나,
    Prolific이나 Amazon Mechanical Turk와 같은 유료 크라우드소싱 플랫폼에 게시할 수 있다.
    
    
• 참여 장벽을 낮추기 위해 VisLab은 참여자에게 별도의 회원 가입을 요구하지 않으며, 대신 IP 주소 기반 중복 참여 방지 메커니즘을 사용한다.
  • 이는 실험 접근성을 높이면서도 최소한의 데이터 품질 관리를 유지하기 위한 절충적 선택이다.
    
    
• 부정 응답이나 불성실한 참여를 방지하기 위해, VisLab은 템플릿별로 다양한 품질 관리 장치를 제공한다.
  • 예를 들어 지각 정확성 템플릿에서는 명백한 정답이 있는 주의 확인 질문 (attention check)을 추가할 수 있으며,
  • 기억 가능성 템플릿에서는 원 논문과 유사하게 filler 이미지 중 일부를 감시용으로 사용해 응답자의 성실도를 평가한다.
  • 주의 분포 템플릿의 경우에는 최소 클릭 수나 최소 서술 길이를 요구함으로써, 참여자가 실제로 시각화를 탐색했는지를 간접적으로 검증한다.
    
• 참여를 유도하기 위한 중요한 전략으로, VisLab은 실험 종료 후 각 참여자에게 개인화된 결과 피드백을 제공한다.
  참여자는 자신의 성과 (정확도, 시간, 순위 등)를 전체 참가자의 분포 속에서 확인할 수 있으며,
  이는 참여를 유도하는 학습적 인센티브로 작동한다.

✏️ 이러한 배포 메커니즘은, 실험 실행을 연구 프로젝트가 아닌 일상적인 디자인 활동의 일부로 만들기 위한 핵심 구성 요소로 기능하며, 디자이너가 실험 과정에서 느끼는 심리적,실무적 부담을 크게 줄이는 역할을 한다.

6.4 Obtaining Design Feedback in the Result Dashboard

• 실험이 종료되면, 디자이너는 결과 대시보드를 통해 실험의 진행 상태와 최종 결과를 종합적으로 확인할 수 있다.

• 해당 대시보드는 단순한 데이터 나열이 아니라, 디자인 판단으로 바로 연결될 수 있는 형태의 정량적 피드백을 제공하는 것을 목표로 설계되었다.

• 대시보드는 먼저 실험에 참여한 전체 참가자 수, 제외된 응답 수, 실험 수행 기간 등의 메타 정보를 제공함으로써,
  결과의 신뢰성과 수집 맥락을 빠르게 파악할 수 있도록 한다.

• 결과 요약 영역에서는 각 시각화 대안에 대해 정확도, 과제 수행 시간, 순위와 같은 핵심 지표가 시각적으로 비교된다.

  ✏️ 이때 복잡한 통계 수치 대신 에러 바, 평균 표시, 간단한 분포 요약이 사용되며,
  이는 통계 전문 지식이 없는 실무자도 결과의 경향을 직관적으로 이해할 수 있도록 한다.

• 사용자는 결과를 질문 단위, 시각화 단위, 혹은 인구통계학적 요인별로 세분화하여 탐색할 수 있다.
  예를 들어, 특정 질문에서만 두 시각화 간 차이가 크게 나타나는지, 혹은 특정 연령대나 성별에서만 성능 차이가 발생하는지를 확인할 수 있다.
  → 이러한 분석은 디자인 개선의 구체적인 방향을 도출하는 데 중요한 근거가 된다.

• VisLab은 결과 해석 과정에서 사용자가 혼란을 느끼지 않도록, 차트 위에 마우스를 올리면 plain language로 된 설명을 제공한다.
  예를 들어 “참가자의 절반은 7.8초 이내에 문제를 해결했다”와 같은 설명은, 통계적 의미를 직관적 문장으로 변환함으로써 결과를 해석하는 부담을 줄인다.

• 템플릿별로 제공되는 피드백의 성격도 명확히 구분된다.

  • 지각 정확성 템플릿에서는 동일한 질문에 대해 어떤 시각화가 더 정확하고 빠르게 정보를 전달했는지를 보여준다.
  • 주의 분포 템플릿에서는 클릭 히트맵을 통해 사용자의 주의가 실제로 어디에 머물렀는지를 시각적으로 드러낸다.
  • 기억 가능성 템플릿에서는 기억 점수를 통해 어떤 시각화가 더 잘 기억되는지를 정량적으로 비교할 수 있다.

6.5 Exploring and Remixing Existing Experiments

• VisLab은 실험을 일회성 평가 도구로 끝내지 않고, 공유되고 재사용되는 지식 자산으로 확장하는 것을 중요한 목표로 삼는다.
  → 이를 위해 사용자는 실험 종료 후 결과만 공유할지, 아니면 실험 설정과 시각화 구성까지 포함해 공유할지를 선택할 수 있다.

• 실험이 공유되면 다른 사용자들은 해당 실험을 태그 기반 탐색 인터페이스를 통해 발견할 수 있다.

  • 태그는 차트 유형, 데이터 유형, 과제 유형과 같은 시각화 실무자에게 익숙한 기준으로 구성되어 있다.
    예를 들어 bar chart + comparison task와 같은 조합으로 관련 실험을 쉽게 찾을 수 있다.

• 공유된 실험은 단순히 열람하는 데 그치지 않고, remix 기능을 통해 새로운 실험의 출발점으로 활용될 수 있다.

• 다른 사용자는 기존 실험을 복제한 뒤 데이터, 시각화 변형, 질문을 수정하여 재현 혹은 확장된 실험을 생성할 수 있다.

• 이러한 리믹스 과정은 실험 결과의 검증뿐 아니라, "같은 시각화라도 질문이나 데이터가 달라지면 결과가 어떻게 변하는가" 를 탐구할 수 있게 하여, 개별 디자이너의 경험을 넘어 커뮤니티 차원의 실험적 지식 축적을 가능하게 한다.

• VisLab은 실험 간의 리믹스 관계를 기록하여, 하나의 실험이 어떻게 파생되고 확장되었는지를 계보 형태로 보여준다.

  • 이는 특정 디자인 아이디어나 평가 방식이 커뮤니티 내에서 어떻게 진화했는지를 추적할 수 있는 또 다른 관점을 제공한다.

• 저자들은 이러한 공유 및 리믹스 구조가 장기적으로는 시각화 디자인을 위한 집단적 레퍼런스 저장소로 기능할 수 있을 것이라고 기대한다.

---

💡 Evaluation

• VisLab의 타당성과 실용성을 검증하기 위해 두 단계의 평가를 수행했다.

  • 첫 번째는 실험 템플릿의 실험적 타당성 검증이며,
  • 두 번째는 실제 실무자를 대상으로 한 사용성 및 유용성 평가이다.

• 실험적 타당성 검증 과정에서는 기존의 대표적인 시각화 실험 (그래픽 지각, 주의 추적, 기억성 실험)을 VisLab 환경에서 재구현하여, 원 연구와 유사한 결과가 도출되는지를 확인했다.
  → 그 결과, 정확도, 수행 시간, 기억 점수, 주의 패턴 등에서 원 연구와 전반적으로 일관된 경향이 나타났으며,
  이는 VisLab의 템플릿이 시각화 실험의 핵심적인 요소를 잘 유지하고 있음을 보여준다.

• 이어진 사용성 평가는 두 단계로 진행되었다.

  • 1단계에서는 참가자들이 제공된 시각화를 이용해 실험을 복제, 재현하도록 하여 시스템의 학습 용이성과 조작 가능성을 평가했다.
  • 2단계에서는 실제 데이터를 기반으로 참가자들이 직접 시각화 대안을 설계하고 실험을 실행한 뒤, 결과 공유와 리믹스 기능까지 경험하도록 했다.

• 참가자들은 VisLab이 실험 설계의 진입 장벽을 크게 낮춘다고 평가했으며, 특히 단계별 인터페이스와 템플릿 구조가 무엇을 해야 하는지 고민할 필요 없이 실험을 진행할 수 있게 해준다고 언급했다.

• 또한 결과 대시보드가 통계 분석 부담을 줄이고, 디자인 결론을 빠르게 도출하는 데 도움이 된다고 평가했다.

• 정량적 피드백의 형식 자체에 대해서도 긍정적인 반응이 나타났다.

  • 참가자들은 익명 다수의 수치 기반 결과가 동료 피드백보다 더 객관적으로 받아들여질 수 있다고 인식했다.
  • 이는 VisLab이 기존 디자인 피드백 문화와 상호보완적으로 작동할 가능성을 시사한다.

---

💡 Discussion & Conclusion

• 본 논문은 VisLab이 시각화 디자이너가 정량적 피드백을 활용하는 방식을 근본적으로 바꿀 수 있는 가능성을 보여준다고 논의한다.

• 논문은 또한 VisLab이 기존 디자인 프로세스의 어느 단계에서 활용될 수 있는지를 논의한다.

  • 아이디어 초기 단계에서의 빠른 비교, 프로토타이핑 단계에서의 검증, 혹은 중요한 발표 전 최종 선택 단계 등 다양한 시점에서 사용 가능함을 강조한다.

• 한편 저자들은 현재 VisLab이 제공하는 템플릿이 지각, 주의, 기억이라는 제한된 평가 차원에 머물러 있다며,
  향후에는 미적 선호, 감성 반응, 스토리 이해와 같은 보다 고차원적 평가로 확장될 필요가 있음을 지적한다.

• 그럼에도 VisLab은 정량적 평가를 연구자의 전유물에서 벗어나 디자이너의 일상적인 실천으로 확장하는 첫 단계로서, 디자인과 연구 사이의 간극을 줄이려는 시도를 했다는 점에서 큰 의의를 가진다.