1. 서론

선행 연구

HCD(Human-Centered Design)와 AI 기반 페르소나 생성 연구들.

HCD

• 제품 설계나 개발, HCI 연구에 영향을 미침. UX 전문가와 디자이너가 사용자의 맥락과 요구를 이해할 수 있도록 도움. -> 이해를 돕는 방법 중 하나가 사용자 페르소나의 생성이다.
• 전통적인 수작업 방식으로 페르소나를 생성하는 것이 어려움. -> 문제를 해결하기 위하여 User Persona, PersonaAI, User Persona Generator, QoqoAI와 같은 도구가 개발되어 왔음.

AI 기반 페르소나 생성 연구

• GPT-3 Playground를 활용하여 실제 사용자 응답과 유사한 수준의 설문 응답 자동 생성 능력을 확인하였음. -> AI 언어 모델이 인간 행동을 시뮬레이션할 수 있다는 것을 분석하였음.
• 인간-AI 협업을 위하여 특정 사례를 위한 dialog prompting에 초점을 맞춘 연구들이 존재함.

선행 연구의 한계

• 기존의 도구들은 표준화된 형식만을 제공함.
• 사용 사례, 출력 형식, 이해관계자의 역할, 연령대 등 다양한 요소를 유연하게 조정할 수 있는 기능이 부족함. (결과의 유연성)
• 사용자가 복잡한 프롬프팅 기술을 배우지 않아도 쉽게 적용할 수 있어야 하는데 그렇지 않았음.

선행 연구의 한계 극복 방법

• 효과적인 페르소나 생성 프롬프팅 전략의 특성을 분석하고, 페르소나 생성에서 유용한 기법을 탐색함.
• 어떤 사용 사례나 시나리오에도 적용할 수 있는 페르소나 생성 전략을 제안함.
• AI가 생성한 페르소나의 품질을 인간 전문가가 생성한 페르소나와 비교 평가하여 결과의 신뢰도를 높임.

---

2. 제안한 방법

인간 전문가가 생성한 페르소나와 LLM이 생성한 페르소나를 인간이 평가하였을 때 구분할 수 없도록 하고자 함.

다양한 프롬프트 실험

• General Guidelines
  - 아래의 3가지 조건에 따라서 페르소나를 생성하도록 자유롭게 작성함.
  • 배경 제공: ChatGPT에게 배경 정보를 제공하기 위해서 회사 설명과 사용 상황 등을 포함함.
  • 요구 사항 명시: 필요한 페르소나 수, 관련된 이해관계자와 속성, 출력 형식을 정확히 정의함.
  • 구분자 사용: 구분자를 사용하여 다양한 정보를 구분함.
• Rold-play promptin, Persona Pattern
  - ChatGPT가 특정 역할을 맡고 해당 관점에서 출력을 생성하도록 지시함.
• One-Shot prompting
  - 예시를 제공함. 인간 전문가가 작성한 기존 페르소나 스타일에 맞게 생성된 페르소나를 조정하도록함.
• Incremental Prompting
  - 같은 채팅 내에서 여러 개의 프롬프트를 사용하여 ChatGPT에게 질문함.
  

3. 실험 설계

대조군과 실험군

• 대조군: 인간 전문가가 만든 페르소나.
• 실험군: ChatGPT를 사용하여 자동으로 생성한 페르소나.

평가

• 튜링 테스트와 유사하게, LLM과 인간이 만든 결과가 구분 가능한지 평가하였음.
• 평가를 위해서 두 가지 시나리오에서 페르소나를 생성함.
• 시나리오에 따라서 각각 8개의 페르소나를 생성함. 절반은 LLM이 생성한 것이고, 절반은 인간 전문가가 생성한 것임.
• 원격 온라인으로 평가 진행
  - 참가자들의 인구 통계 정보 수집. (평가자는 11명)
  • 하나의 시나리오에 대한 설명과 소개를 진행한 후, 8개의 페르소나를 무작위 순서로 제시하고 각 페르소나의 품질, 수정 필요성, 생성 방법 추측을 수행하게 함.
  • 다른 하나의 시나리오에 관하여 같은 과정 수행.
  • 유용성, 수용성, 참신성에 관한 인터뷰 진행.

선행 연구의 한계 해결과 관련하여

• 어떤 시나리오에서든 적용할 수 있는 페르소나 생성 방법을 제시하는 연구인데, 두 가지 시나리오에서만 실험을 수행하였기 때문에 문제점을 완벽히 해결했다고 하기에 무리가 있다고 생각함.
• 하지만 두 가지 시나리오의 생성 결과와 평가를 확인해보았을 때, LLM을 이용한 페르소나 생성의 퀄리티가 좋았다는 것을 알 수 있음.

---

4. 결과 및 논의

• 선행 연구의 문제를 완벽히 해결하지 못했다고 생각함.
• 논문에서 제안한 방법이 기존에 많이 사용하는 프롬프팅 방법들을 페르소나에 적용하기만 한 연구 같아서 기여도가 높지 않다고 생각함.
• 더 다양한 시나리오에서 평가를 진행해봐야 한다고 생각함.
• 파라메트릭 놀리지의 사용 유무를 확인했어야 한다고 생각함.