https://web.stanford.edu/class/ee384m/Handouts/HowtoReadPaper.pdf

이 논문은 '논문을 읽는 방법'에 대해 소개하고 있는 논문이다.😂
많은 대학(원)생들이 논문을 처음 읽을 때, 읽는 방법을 잘 가르쳐주지 않기에 읽는데 많은 노력이 낭비되고 있다. 이를 돕기 위한 취지로 작성된 논문이라고 한다.

나도 연구 주제를 찾기 위해 논문을 읽어야 하는데, 좋은 논문을 어디서 찾고, 어떻게 읽어야 할지 방법적인 것들을 알아보다가 우연히 좋은 내용을 접하게 되어 정리하게 되었다.

해당 논문에서는 논문을 읽는 방법을 딱 3개의 단계로 설명하고 있다.

The first pass

1. 제목, $Abstract$, 그리고 $Introduction$을 읽는다.
2. 섹션과 하위 섹션 제목들을 읽는다. 나머지는 무시한다.
3. $Conclusion$을 읽는다.
4. $Reference$를 보고 이미 읽은 논문들을 머리속으로 체크해본다.

이렇게 첫번째 단계가 끝나면, 다음의 $five$ $Cs$ 에 답할 수 있어야 한다.

1. $Category$ : 이 논문의 유형은 무엇인가? -- 무언가를 측정하는 논문? 기존 시스템을 분석하는 논문? 리서치 프로토타입에 대한 논문?
2. $Context$ : 어떤 논문들이 이 논문과 연관되어 있는가? 해당 문제를 분석하기 위해 어떤 이론적 기반이 사용되었는가?
3. $Correctness$ : 가정이 타당한가?
4. $Contributions$ : 이 논문의 주요 기여사항은 무엇인가?
5. $Clarity$ : 잘 작성된 논문인가?

해당 정보를 바탕으로, 이 논문을 마저 더 읽어야 할지 결정할 수 있다.
그 이유는 해당 논문에 흥미가 생기지 않아서일 수도 있고, 논문을 이해하기 위한 해당 분야의 지식이 부족해서일 수도 있고, 저자의 가정이 타당하지 않아서일수도 있다.

+) 우리가 논문을 작성할 때, 대부분의 리뷰어/독자들이 "first pass"만 거친다는 것을 예상할 수 있겠다. 따라서 일관성 있게 섹션과 하위 섹션 제목을 작성하고, 명확하고 이해하기 쉬운 $abstract$를 작성할 수 있도록 해야겠다. 만약 first pass 만에 리뷰어가 해당 논문을 이해하지 못한다면, 해당 논문은 리젝될 확률이 높다, 또는 독자들이 5분 안에 해당 논문의 하이라이트를 이해하지 못한다면 더 이상 읽히지 않을 것이다.

The second pass

두번째 단계에서는 좀 더 자세히 읽어나가되, proof와 같은 디테일한 것들은 무시한다.
이를 통해 논문 여백에 키포인트와, 논문을 읽어나가면서 코멘트를 달 수 있도록 돕는다.

1. 논문의 $Figures$, $Diagrams$, $Illustration$들을 주의 깊게 살펴본다. - 그래프에 특히 주의를 기울여본다. 축 레이블이 제대로 표시되어 있는가? 결과에 오류 막대가 있어 통계적으로 유의미한 결론을 도출할 수 있는가? 이러한 흔한 실수들은 급하게 작업한 조잡한 결과와 진정으로 뛰어난 작업을 구분할 것이다.
2. $Reference$에서 아직 읽어보지 못한 논문들을 나중에 읽어볼 수 있도록 체크해둔다. (이 논문의 background를 더 익힐 수 있는 좋은 방법이다.)

두 번째 단계는 최대 한 시간 정도 소요될 것이다. 이 단계 이후에는 해당 논문의 내용을 이해할 수 있어야 한다. 논문의 주요 요점을 요약하여, 이를 뒷받침하는 근거와 함께 다른 사람에게 설명할 수 있을 것이다. 이 정도의 세부 사항은 내가 관심 있는 논문에는 적합하지만, 나의 전문 연구 분야와는 관련이 없다.

가끔 두 번째 읽기 끝에서도 논문을 이해하지 못할 수도 있다.
이는 주제 자체가 나에게 새로운 것이어서 낯선 용어와 약어가 등장하기 때문일 수 있다. 또는 저자가, 내가 이해하지 못하는 증명이나 실험 기법을 사용하여 논문의 대부분이 이해할 수 없을 수도 있다.
논문의 내용이 명확하지 않고 증거 없는 주장이 많으며 여러 번의 참조가 포함되어 있을 수도 있다. 또는 단순히 밤늦게까지 있어서 피곤할 수도 있다. 😂🌛

이제 나는 다음과 같은 선택을 할 수 있다: $(a)$ 논문을 제쳐두고, 나의 경력에서 이 내용을 이해하지 않아도 성공할 수 있기를 바라는 것, $(b)$ 나중에 다시 논문을 읽고, 배경 자료를 읽은 후 혹은 $(c)$ 끈기를 잃지 않고 세 번째 읽기로 넘어가는 것.

The third pass

논문을 완전히 이해하기 위해, 특히 리뷰어라면, 세 번째 단계를 거쳐야 한다.
세번째 단계의 가장 핵심은 논문을 가상으로 다시 시도해보는 것이다: 그것은, 저자와 똑같은 가정을 가지고, 해당 작업을 재작업해보는 것이다. 실제 논문을 가지고 다시 만들어낸 결과물을 비교함으로써 논문의 혁신점을 쉽게 인지할 수 있을 뿐만 아니라, 그것의 숨겨진 실패점이나 가정을 발견할 수 있다.

이 단계는 디테일에 아주 많은 주의를 기울여야 하는 단계이다. 또한 모든 주장의 모든 가정을 인지하고 문제의식을 가져야 한다. 더불어, 특정 아이디어를 자신이라면 어떻게 제시할 것인지에 대해 생각해야 한다.
이러한 실제와 가상의 비교는 논문의 증명 및 설명/제시 기법에 대한 날카로운 통찰을 제공하며, 이를 당신의 도구 레퍼토리에 추가할 수 있을 것이다. 이 단계에서는 당신은 향후 작업에 대한 아이디어도 메모해야 한다.

문헌 조사하기

문헌 조사를 하면서 이러한 논문 읽기 스킬을 시험해 보아야 한다. 이는 내가 아마도 낯선 분야의 수십개의 논문을 읽어야 한다는 것을 의미한다. 어떤 논문을 읽어야 하는가? 다음은 앞서 설명한 세가지 단계의 활용하여 도움을 받을 수 있는 방법이다.

먼저, $Google$ $Scholar$나 $CiteSeer$와 같은 학술 검색 엔진과, 몇 개의 좋은 키워드를 선택하여 3-5 편의 최근 논문을 찾는다. 각각의 논문을 첫 번째 단계로 한번 훑어보아 감을 잡은 후, 해당 논문들의 $related$ $work$ 섹션을 읽는다. 그곳에서 recent work 에 대한 간략한 요약을 찾을 수 있을 것이며, 운이 좋다면 최근의 $survey$ $paper$에 대한 힌트를 얻을 수 있을 것이다. 그런 $Survey$를 찾을 수 있다면, 완료된 것이다. 해당 $Survey$를 읽으며 럭키비키함을 축하하면 된다. 😂🍀

그렇지 않다면, 두번째 단계에서는 참고 문헌에서 $shared$ $citations$와 $repeated$ $author$ $names$ - 반복되는 저자의 이름을 찾아야 한다. 이들이 해당 분야의 주요 논문 및 연구자들이다. 주요 논문을 다운로드하여 따로 보관해라. 그런 다음 주요 연구자들의 웹사이트에 가서 그들이 최근에 어디에 발표했는지 확인해라.
이것은 해당 분야의 최고 학회를 식별하는데 도움이 될 것이다. 왜나하면 최고의 연구자들이 보통 최고의 학회에 논문을 발표하기 때문이다.

세 번째 단계는, 이 최고의 학회 웹사이트로 가서 최근의 발표집을 찾아보는 것이다. 빠르게 훑어보면 보통 최근의 고품질의 $related$ $works$ - 관련 연구를 알 수 있을 것이다. 이 논문들은 이전에 따로 분류한 논문들과 함께 나의 $Survey$에서 첫 번째 버전을 구성할 것이다. 이 논문들을 두 번 읽어보라. 만약 이들 모두가 내가 이전에 찾지 못한 주요 논문을 인용하고 있다면, 그 논문을 찾아 읽어라, 그리고 필요에 따라 반복하라.

경험

이 논문의 저자는 지난 15년 동안 이 접근 방식을 사용하여 학회 회의록을 읽고, 리뷰를 작성하고, $background$ 리서치를 하며, $discussion$ 전에 논문을 빠르게 리뷰해 왔다. 이렇게 훈련된 접근 방식은 저자가 세부 사항에 엉켜 끌려들어가는 것을 방지하고 전체적인 개요를 잡는데 도움을 줬다 "$getting$ $a$ $bird's$ $eye$ $view$". 이를 통해 논문셋을 리뷰하는 데 필요한 시간을 추정할 수 있었다고 한다. 게다가 그는 그의 니즈와 얼만큼의 시간이 있는지에 따라 논문 평가의 깊이를 조정할 수 있었다고 한다.

Related work

만약 당신이 논문 리뷰를 하기 위해 논문을 읽고 있다면,
$Timothy$ $Roscoe$의 "$Writing$ $reviews$ $for$ $systems$ $conferences$"를 읽어야 한다.
테크니널한 논문을 작성할 계획이라면, $Henning$ $Schulzrinne$의 $Writing$ $Technical$ $Articles$와 $George$ $Whiteside$의 우수한 "$Whitesides’$ $Group:$ $Writing$ $a$ $Paper,$"를 읽어야 한다. 마지막으로, $Simon$ $Peyton$ $Jones$의 리서치 스킬의 전체적인 스펙트럼을 다룬 웹사이트 "$ACM$ $SIGCOMM$ $Computer$ $Communication$ $Review$ $Online$"가 있다.

References

[1] S. Peyton Jones, “Research Skills,”
http://research.microsoft.com/simonpj/Papers/giving-a-talk/giving-a-talk.htm.
[2] T. Roscoe, “Writing Reviews for Systems Conferences,”
http://people.inf.ethz.ch/troscoe/pubs/review-writing.pdf.
[3] H. Schulzrinne, “Writing Technical Articles,”
http://www.cs.columbia.edu/hgs/etc/writing-style.html.
[4] G.M. Whitesides, “Whitesides’ Group: Writing a Paper,”
http://www.che.iitm.ac.in/misc/dd/writepaper.pdf.
[5] ACM SIGCOMM Computer Communication Review Online,
http://www.sigcomm.org/ccr/drupal/