Story Generation 스터디 리소스 정리 (2022 Summer)

Jiwon Kang·2023년 2월 24일
0
post-thumbnail

글을 열면서

  • 아직 해결되지 않은 연구주제들에 치여 연 스토리 제너레이션 세미나 발표자료들을 정리한 글
  • 당시 노션으로 페이지를 하나 만들어서 스터디원 모집과 리소스 관리를 했는데, 그 자료를 벨로그에도 아카이빙해두려 한다.

DSAIL@SKKU
Summer Seminar - Story Generation
2022.


운영목표

  • Story Generation이라는 넓은 범위의 주제를 어떻게 기술적으로 정의하고, 풀어가는지를 알아봅니다
  • Generation에 기반한 Novel한 아이디어를 접하고, Novel한 아이디어를 생각해내봅시다
  • Story는 event, actor, narrative로 구성되는 줄글을 의미합니다.

운영계획

  • 발표자료: velog 기술블로그를 만들어서, 작성한 블로그 글을 바탕으로 발표를 진행합니다. 슬라이드+대본을 따로 만드는 번거로움을 줄이고, 추후 자신의 스터디를 아카이빙하기 위함입니다.
  • NLP 기반 모델을 주로 봅니다. 대화 형태의 모델이 포함될 수 있지만, 대화가 초점인 스터디는 아닙니다.
  • 익숙하지 않은 생성 Task들에서 Evaluation이 어떻게 진행되는지도 중요하게 확인해봅시다.
  • 특별한 이유가 없는 한 2020년 이후의 논문들에 초점을 맞춥니다.
  • 논문은 게재 날짜 기준으로 발표합니다. 연구의 흐름을 시간 순서대로 파악하기 위함입니다.
  • 1회 스터디에서는 논문 세개를 각자 다른 사람이 발표하며, 이 논문 세개를 정리해서 코멘트를 해줄 메타리뷰 1명도 발표합니다. 메타리뷰어는 그날 발표의 사회자를 맡고, 발표를 정리해주는 역할도 겸합니다.
  • 발표시간은 15-30분으로 진행합니다.

논문 선정 기준

  • Automatic Story Generation: A Survey of Approaches에 인용된 논문 혹은 인용된 논문 저자의 최신 논문
  • ACL, EMNLP, NAACL, ICCV, CVVR, IJCAI, AAAI 등 탑 컨퍼런스에 실린 논문 위주로 살펴봐주세요.

1. [6/29] Fundamental of Text Generation (hosted by Jiwon Kang)

  • Generation에 사용되는 여러 기술을 짚고 넘어가면 좋겠지만, 가장 많이 보이는 GPT를 읽어보는 시간을 지닙시다. 이외에 관련 도메인은 knowlege graph, commensense 등이 있습니다.
    • 강미경: GPT-1 - Improving Language Understanding by Generative Pre-Training (2018) [⭐️blog link]
    • 이다은: GPT-2 - Language Models are Unsupervised Multitask Learners (2019)
    • 손세정: GPT-3 - Language Models are Few-Shot Learners (2020) [⭐️blog link]
    • Meta Review: 강지원

2. [7/6,20] Story Generation & Story Completion (hosted by Jiwon Kang)

  • 스토리 생성 테스크 관련 연구들을 살펴봅니다. 아래 논문들은 추가 검수 후 변경될 수 있습니다.

    • 스토리 생성 테스크는 기본적으로 조건이 걸려있는 생성 테스크!
    • 그럴싸하게 만드는것, 스토리는 기본적으로 long dependecy라는 점이 해당 task의 주요 챌린지로 등장함
  • Readling List

    • 인용많음 - [commonsense] A Corpus and Cloze Evaluation for Deeper Understanding of Commonsense Stories (NAACL, 2016) [⭐️blog link]

      • TL;DR: 스토리 생성 및 commonsense 연구에서 자주 쓰이는 평가방법 중 하나인 Story Cloze Test을 제안한 논문. 해당 테스트는 스토리 엔딩 완성 테스크를 multiple-choice task로 규정함
    • 인용많음 - [event] Event Representations for Automated Story Generation with Deep Neural Nets (AAAI, 2018) [⭐️blog link]

      • TL;DR: event라는 개념을 도입해서, Open story generation을 문제를 해결하고자 한 논문, 추후 event라는 개념은 후속 연구들에도 등장함
    • [Storyline planing] Plan-and-write: Towards better automatic storytelling (AAAI, 2019) [⭐️blog link]

      • TL;DR: 주어진 title에 스토리 플롯을 나타내는 storyline을 추가해서 스토리를 생성하는 방법론을 제안
      • 후속연구: A Character-Centric Neural Model for Automated Story Generation
    • 인용많음 - Strategies for structuring story generation (ACL, 2019) [⭐️blog link]

      • TL;DR: 순차적인 텍스트 생성 테스크와는 다르게, 주어진 stroy prompt에 대한 스토리 작성 과정을 entity를 이용해서 decomposition하여 짧은 이야기를 생성하는 방법을 제안
    • [event] Story Realization: Expanding Plot Events into Sentences. (AAAI, 2020) [⭐️blog link]

      • TL;DR: 앙상블 방식을 추가한 위의 event 논문의 후속연구.
    • [Stroy ending generation task] Toward Better Storylines with Sentence-Level Language Models (ACL, 2020) [⭐️blog link]

      • TL;DR: 이제서야 LM이 등장합니다. 스토리 생성 테스크를 간단하게 바꿔서 주어진 문장에 대해 LM이 다음문장으로 제공하는 여러 후보군 중에서 가장 좋은 문장을 선택하는 문제로 바꿈.
    • [Stroy ending generation task] Story Ending Generation with Incremental Encoding and Commonsense Knowledge. (AAAI, 2019)

      • TL;DR: Story Cloze model(NAACL, 2016)을 생성모델 내부로 가져와서 story ending generation을 위한 모델을 제안함. 모델에는 LSTM, knowledge graph, graph attention 등의 모듈들이 사용됨.
    • [Story ending generation] Story ending generation with multi-level graph convolutional networks over dependency trees (AAAI, 2021)

      • TL;DR: dependency tree를 이용한 story ending generation task 수행
    • Outline-Conditioned Generation with Dynamic Plot State Tracking (EMNLP, 2020)

    • [commonsense] Automated storytelling via causal, commonsense plot ordering (AAAI, 2021)

      • TL;DR: 주어진 플롯라인에서 그래프를 생성해서 이를 바탕으로 스토리를 만들어내는 TASK 제안 및 수행

3. [7/27,8/3] Text Generation with Condition (hosted by Jiwon Kang)

  • 스토리 생성 테스크에서 특정 조건(gender, user input data… )이 포함된 논문들을 살펴봅니다.

  • Readling List

    • A Character-Centric Neural Model for Automated Story Generation (AAAI, 2020) [⭐️blog link]

      • TL;DR: Seq2seq 구조에 캐릭터 임베딩, 간단한 MLP 구조의 액션 predicting 모듈을 추가해서 스토리가 각 캐릭터를 고려해서 진행되도록하는 모델을 설계함.
    • MEGATRON-CNTRL: Controllable story generation with external knowledge using large-scale language models. (EMNLP, 2020) [⭐️blog link]

      • TL;DR: seq2seq에서 키워드와 사전지식을 더해서 생성하는 텍스트를 제어하는 방법을 제안함
    • Stylized Story Generation with Style-Guided Planning (EMNLP Finding, 2021) [⭐️blog link]
      - TL;DR: 주어진 emotion과 event를 조건으로 스토리를 생성하는 모델을 제안한 논문

    • Inducing Positive Perspectives with Text Reframing (ACL, 2022)**

      • TL;DR: 스토리 제너레이션보다는 텍스트 스타일 트랜스퍼에 가까움. 심리학적 연구배경에서 출발해서 주어진 텍스트를 긍정적으로 바꿔쓰는 모델을 제안
    • Generating Biographies on Wikipedia: The Impact of Gender Bias on the Retrieval-Based Generation of Women Biographies (ACL, 2022)

    • Genre-Controllable Story Generation via Supervised Contrastive Learning(WWW, 2022)

      • TL;DR: 트랜스포머 모듈을 기반으로 특정 장르에 대한 스토리를 만들어내는 알고리즘을 제안. 평가를 다양하게 함.
    • Reinforce Learning: How to Motivate Your Dragon: Teaching Goal-Driven Agents to Speak and Act in Fantasy Worlds (NAACL, 2021)

4. [8/10] Text Generation with Muti-modal data (hosted by Jiwon Kim)

  • Visual storytelling은 일련의 이미지가 주어졌을 때, 그에 상응하는 Stories for Images in Sequence를 생성하는 태스크입니다.

  • Readling List

    • Visual storytelling (NAACL, 2016)

      • TL;DR: Visual Storytelling의 개념을 처음으로 제안하였으며, 대부분의 후속논문에서 사용하는 VIST Dataset을 제안한 논문.
    • [Graph-based representations][Storytelling from an Image Stream Using Scene Graphs] (AAAI, 2020)

      • TL;DR: high-quality story를 생성하기 위하여, 기존 연구의 이미지 임베딩 방식처럼 CNN을 통해 추출한 이미지 피처를 그대로 사용하는 것이 아닌, grapg-based sementic embedding 방식을 제안하는 논문. 각 오브젝트들의 visual relationships을 포함하는 scene graph를 생성
    • [Bridging the visual gap][Hide-and-Tell: Learning to Bridge Photo Streams for Visual Storytelling] (AAAI, 2020)

      • TL;DR: Input으로 주어지는 Sequence in Image 중, missing part로 인해 발생한 visual gap을 연결하도록 하는, 자연스러운 narrative를 갖는 story를 생성하는 것
    • [Clip-art dataset][AESOP: Abstract Encoding of Stories, Objects, and Pictures] (ICCV, 2021)

      • TL;DR: Story generation 혹은 Visual generation을 할 수 있는 새로운 clip-art Dataset을 제안하는 논문입니다.
    • [Diversity incresing][Commonsense knowledge aware concept selection for diverse and informative visual storytelling](https://ojs.aaai.org/index.php/AAAI/article/view/16184) (AAAI, 2021)

      • TL;DR: 생성되는 story의 다양성을 증진시키기 위하여 새로운 모듈을 제안하는 연구입니다. 이 과정에서 commonsense knowledge graph 를 활용하게 됩니다.
    • [Human ranking dataset&metric][Learning to Rank Visual Stories from Human Ranking Data] (ACL, 2022)

      • TL;DR: 기존에 널리 쓰이던 VIST 데이터셋에서, 사람이 평가한 ranking results를 적용한, 새로운 데이터셋(VHED)와 메트릭(Vrank)을 제안하는 논문입니다.

5. [8/17] Text Generation with Human-AI System → SKIP

  • 발표자가 관심분야를 직접 선택합니다.
  • Example papers
    • Understanding Iterative Revision from Human-Written Text (ACL 2022)
    • Read, Revise, Repeat: A System Demonstration for Human-in-the-loop Iterative Text Revision (ACL Workshop 2022)
    • Generating Fact Checking Briefs (EMNLP, 2020)
    • Choose Your Own Adventure: Paired Suggestions in Collaborative Writing for Evaluating Story Generation Models (NAACL, 2021)
    • The style-content duality of attractiveness: Learning to write eye-catching headlines via disentanglement (AAAI, 2021)
    • Cue Me In: Content-Inducing Approaches to Interactive Story Generation (AACL, 2021)

6. [8/24] Expand Text Generation System with Your Reserach Interest: 포스트모텀

  • 스터디 회고와 자신의 주제에 적용할만 한 아이디어 소개를 참여자 모두가 진행합니다. 발표는 10분 정도.
  • Example Papers for Educational QA System
    • Educational Question Generation of Children Storybooks via Question Type Distribution Learning and Event-Centric Summarization (ACL, 2022)
    • Fantastic Questions and Where to Find Them: FairytaleQA – An Authentic Dataset for Narrative Comprehension (ACL, 2022)
    • It is AI’s Turn to Ask Humans a Question: Question-Answer Pair Generation for Children’s Story Books (ACL, 2022)

포스트모텀 (updated: 2023/2/24)

  • 텍스트 생성 자체는 쉽지만 특정 플롯이라는 세계관, 캐릭터 등이라는 조건 안에서 만드는게 엔지니어적으로 챌린지한 일인듯
  • 2023년 ChatGPT 공개 이후 (너무 잘되고! 미국 출판사에 이걸로 쓴 소설이 넘쳐나고!) 이 스터디와 연구주제를 생각보니 이 연구주제에 대해 한번 더 생각해봐야하는 시점이라고 생각함
profile
도파민 중독

1개의 댓글

comment-user-thumbnail
2023년 3월 17일

Story generation 논문들 찾다가 익숙한 이름들 발견! 정말 너무 반갑네요!! 다들 정말 열심히 스터디 하셨군요 역시 울 연구실 멋쟁이들!!💙

답글 달기