평가

Survey 논문을 작성한다면 꼭 읽어봐야 할 논문이 아닐까 싶다. 깔끔하고 효율적이고, 합리적인 논문 검색 방법을 제시한다.

전체를 번역(?)하던 기존 방법과 달리 핵심만 간단히 적어 보았다.

1. Introduction

Snowballing이란 논문의 reference list를 통해 새로운 논문을 추가하는 기법이다. 단순히 reference list만 참고하는 것이 아니라, 어디에서 어떻게 인용되었는지를 고려한다.

Objective(Contribution)

• 체계적인 snowballing 절차를 형성함
• 기존 논문에서 제시된 기법과 비교를 통해 구체화 및 평가를 함.

2. Related Work

체계적으로 검색하는 것이 중요하고, 검색어가 제일 중요함.
기존에는 Database search를 많이 사용했는데, 이것은 1) 검색어가 제일 중요해짐 2) 따라서 중요한 논문을 놓칠 수 있음. 이라는 단점이 존재한다. (database search란, 특정 검색어를 가지고 검색해서 논문 리스트를 만드는 것임)
~~ 논문에 따르면 기존의 연구 방법에 비해, snowballing 기법이 좋다는 연구 결과가 있으나 그 구체적인 가이드라인은 현재 존재하지 않음.

3. Snowballing Procedure

이 논문은 검색 접근 방법에 대한 논문이고, 문헌 연구를 위한 계획 세우기에 대한 것은 다른 논문에 있는 방법을 참고하길 바람(꽤 중요한데, research question과 관련되어 있어 꼭 읽어보아야 함.)

3.1. Start Set

탐색은 반복적으로 이루어질 것인데, 그 처음을 담당할 start set을 잘 정하는 것이 굉장히 중요함. Start set을 잘 정할 수 있는 완벽한 방법은 존재하지 않으나, 아래와 같은 지침들을 따르면 도움이 될 수 있음.

• 서로 다른 집단(cluster)에서 나온 논문
• 너무 적은 수이면 안 됨(뒤에 예시에서는 3개를 선정)
• 논문이 너무 많다면, 인용 수가 높은 것이 좋음.
• 다양한 출판사, 연도, 저자
• 질문에서의 키워드로부터 스타트셋이 구성되어야 함(질문은 위에서의 research question)

3.2. Iterations

반복을 시작하기 전에 Start set 논문 전체를 읽어보고 포함/불포함 여부를 명확히 하여야 함.
나중에 포함을 배제한다든지 하면 굉장히 곤란하거든..

Backward Snowballing

• 레퍼런스 리스트로 가서 기본적인 기준 (언어, 연도 등)을 만족하지 못하는 논문은 배제함.
• 이미 조사된 논문도 제거함

나머지는 후보 리스트에 추가함. 후보 리스트에서는,

• 제목: 포함될 만한 제목인가?
• 학회: 관련 논문들이 출판된 적이 있는 학회인가?
• 저자: 관련 분야를 연구해보았던 저자인가?

등을 기준으로, 포함/불포함 여부를 정함.

저자가 관련 분야에서 유명하지 않다고 배제할 수는 없으나, 유명한 저자의 경우에는 포함될 가능성이 높아짐. 추가적으로 레퍼런스 논문들이 본문에 어떻게 어디에서 인용되었는지를 면밀히 살펴보고 포함/불포함 여부를 결정함.

그래도 정하기가 힘들다면, 이제 해당 논문들로 넘어가서 Abstract부터 차근히 읽어본다. 처음부터 끝까지 다 읽는 방법은 추천하지 않으며 전반적으로 훑으면서 논문의 핵심 부분을 읽고 결정하는 것을 추천한다.

Forward Snowballing

• Google Scholar에서 해당 논문을 인용한 논문 리스트를 확인.
• Abstract 먼저 읽고, 인용된 지점을 확인, 전체 논문 확인. 이 순서로 포함/불포함 여부를 결정함.

나머지 결정은 backward snowballing과 유사하게 진행.

Inclusion and Exclusion

• 포함/불포함을 확실히 결정해서 절대 롤백 없도록 하자.
• 한 번에 하나만 해서, 추적을 용이하게 하자!

---

나머지 실험, 검증, 비교 부분은 생략.