'논문을 읽는 방법' 리뷰, Keshav, Srinivasan. "How to read a paper."

JUNHO CHOI·2022년 4월 4일
0
post-thumbnail

해당 논문

How to read a paper | ACM SIGCOMM Computer Communication Review

Keshav, Srinivasan. "How to read a paper." ACM SIGCOMM Computer Communication Review
37, no. 3 (2007): 83-84.


개요

많은 연구자들은 연구 논문을 읽는데 시간을 많이 사용함에도 불구하고, 어떻게 실용적이고, 효율적으로 읽을지와 관련한 스킬은 거의 가르켜지지 않음.

  • 연구자들은 왜 논문을 읽는가 ( 연간 수백 시간이나 )

    • 컨퍼런스나 강의를 위해 리뷰하기 위해서
    • 학계의 최신 흐름을 계속 유지하기 위해서
    • 새로운 분야의 서베이를 위해서
  • 훈련받지 않은 결과가 어떤가?

    • 시행 착오를 많이 겪으며, 시간과 노력의 낭비, 좌절을 겪음

따라서 저자는 I) Three-pass method를 제안하며, II)서베이에서 이 메소드를 적용하는 사례를 소개함



I. Three-pass method란


단순히 시작부터 끝까지 헤딩하는 것이 아니라, 3단계를 거치며 각 단계에 맞는 구체적 목표와 이전 단계로 부터 지식을 쌓아가는 방법론이다.

  • 1단계 : 논문에 관한 일반적인 아이디어 제공
  • 2단계 : 논문 내용에 대한 이해, 그렇지만 디테일한 내용을 이해하는 것은 아님
  • 3단계 : 깊이 있게 이해하는데 도움

1단계 자세히 들여다보기

  • 목표 : 논문 전반에 대해 빠르게 스캔하여, 개요 이해하기

  • 시간 : 5분에서 10분 정도로

  • 상세한 스텝

    1. 제목, 요약, 도입 신경써서 읽기.
    2. 섹션과 서브 섹션의 도입부 읽기. ( 그외에는 일단 무시)
    3. 결론 읽기.
    4. 참고문헌를 훑으며, 내가 읽어본 참고논문들 체크하기 (mentally)
  • 그 결과 다섯개의 C에 대해 답변할 수 있어야함

    • 다시 말해 해당 과정을 통해 다음의 내용을 알 수 있야
    1. Category : 해당 논문의 주제- 측정 실험과 관련한 논문? 현존하는 시스템의 분석?
      연구 프로토 타입에 대한 요약?
    2. Context : 관련된 다른 논문들은 어떤게 있지? 문제를 분석하기 위해 사용되는
      실험적 근거는?
    3. Correctness : 추론이 valid 타당해 보이는가
    4. Contributions : 해당 논문의 주요 contributions은 무엇인가?
    5. Clarity : 해당 논문이 명료하게 잘 써졌는가?

→ 이 과정에서 우리는 논문을 더 읽을지 말지 선택할 수 있음


더 안 읽게 되는 이유

  1. 해당 논문이 흥미롭지 않다.
  2. 해당 논문을 이해하기 위한 해당 분야에 대한 충분한 이해가 없다.
  3. 저자가 합당하지 않은 추정들을 하였다.

→ 물론 추후 지식이 확장되며, 지금 우리가 하려는 주제와 연관된 논문이라고 바뀔 순 있음


해당 과정은 논문 리뷰에서도 사용된다.

  1. 따라서 조심히 섹션과 서브 섹션의 제목을 연관있게 이름 붙이고, 요약을 정확하고 포괄적이고 종합적이게 작성하라
  2. 논문 리뷰어가 1단계를 거쳐도 요점을 이해 못하면, 해당 논문은 거절될 것.

2단계 자세히 들여다보기

증명과 같이 너무 디테일한 요소는 일단 흘려보내고, 논문을 자세히 들여다보는 과정

→ 핵심 포인트를 간단히 적거나, 여백에 읽은 내용에 대한 코멘트를 달면 도움이 된다.

  • 목표 : 해당 논문의 내용에 대한 이해를 할 수 있다. 주요 흐름을 근거와 함께 요약할 수 있다.

  • 시간 : 1시간 정도


방법

  1. 도식, 다이어그램, 삽화 등 자세히 보기. 특히 그래프 신경써서 보기.
  • 각 축이 정확하게 labeled 되었나?
  • 에러 바와 함께 결과가 나오며, 결론이 통계적으로 정확한가
    → 성급하고 나쁜 결과와 진짜 훌륭한 결과를 구분할 수 있게 도와줌.
  1. 유관해보이는 읽지 않은 참고문헌 체크하기.
    → 이후에 참고 할 수 있고, 해당 논문의 배경이 무엇인지 이해하는데 도움이 됨.

이 단계에서도 이해하지 못했다면?

  • 주제가 완전히 새로운 주제라서.
  • 친숙하지 않은 용어와 축약어들이 등장해서
  • 저자가 내가 이해하지 못한 증명이나 실험적 기법들을 사용해서
  • 논문이 근거 없는 주장이나 수많은 forward reference 처럼 형편없이 작성되었을 수도 있음
  • 늦은 밤이라 내가 피곤해서

→ 그래서 전반적으로 이해가 안된다 ㅠ


대안은?

  1. 논문 제쳐 놓기
  2. 나중에 논문 다시 읽기. 먼저 배경이 되는 자료 읽고 오기
  3. 인내심 가지고 3단계로 가기

3단계 자세히 들여다보기

  • 목표 : 논문을 자세히 이해하기 위해 논문을 거의 다시 구현하여
    창의성, 숨겨진 실패 요인, 추정들 확인하기

  • 시간 : 초보자의 경우, 4~5시간. 숙련된 독자의 경우 1시간 정도. 디테일에 집중하는 단계


Virtually re-implement를 왜?

  • 저자와 같은 추정으로부터, 해당 결과물을 다시 구성해보는 것.
  • 이를 통해, 해당 논문의 혁신적 요인 뿐 아니라 숨겨진 오류나 가정들을 확인할 수 있음

어떻게?

  • 모든 결론에 대한 가정들에 대해 의구심을 품고 확인하기
  • 만약 나였다면 특정 아이디어에 대해 어떻게 결론을 도출했을지 스스로 생각해보기

→ 이러한 비교는 논문에서 나타난 증명과 기법에 대한 통찰력을 길러줌

→ 또한 향후 연구를 위해 아이디어를 간결하게 만들어 줌.


결과

  • 기억으로부터 해당 논문의 전반적인 구조를 재구성할 수 있다.
  • 강점과 약점을 구분할 수 있다.
  • 내재된 가정, 놓친 인용과 실험과 분석 기법에 대한 잠재적인 이슈들을 확인할 수 있게 된다.


II. 문헌 서베이에 적용해보기


문헌 서베이 과정에서 친숙하지 않은 분야의 수십, 수백 논문을 읽어야할 필요가 있음.

어떤 문헌을 읽을지 어떻게 정할까?

1단계

학술 검색 엔진 사용해보기

  1. Google Scholar, CiteSeer
  2. 잘 선택된 키워드를 통해 3~5개 해당 분야에서 최근 논문들 찾기
  3. Three-pass method의 첫단계를 통해 해당 작업물에 대한 감각 기르기

→ 최근 연구들에 대한 개략적인 요약 내용을 알 수 있게 됨.

→ 바로, 최근 논문들에 대한 이러한 지표를 찾게 되면 Lucky한 것

2단계

그렇지 못할 경우, 참고문헌에서 공통된 인용, 반복되는 저자 이름 등을 찾기

  1. 해당 분야에서, 주요 논문이거나, 저자일 수 있다.
  2. 다운받고 난 다음, 최근 발행한 논문 찾아보기
  3. 해당 과정은 해당 분야의 최상위 컨퍼런스들을 확인하도록 도움.

3단계

해당 컨퍼런스 웹사이트에 방문해서 최근 연구의 진행과 관련된 논문 등 찾아보기

  1. 빠르게 훑어보며 보통, 최근에 나온 좋은 관련된 연구 찾을 수 있음.

→ 첫번째 서베이 결과물을 얻게 됨. 이러한 논문들에 대해 Three pass method의 2번째 단계 실행

  • 모든 논문이 앞서 찾지 못한 논문에 대해 인용한다면 찾아봐서 읽어보기
  • 필요한만큼 반복


III. 마무리


저자는 이러한 접근법을 통해 15년간 컨퍼런스의 최근 진척들, 리뷰 작성, 배경 연구 조사, 논의를 위한 빠른 논문 리뷰 등에 적용해왔음.

이러한 훈련된 접근법은 조감도를 보기 전에(멀리서 전체적인 흐름을 보는 것), 세부적인 내용에 파묻히는 것을 방지함.

여러 논문들에 대해 소모되는 시간을 예측 가능하게 도와줌

profile
삭막한 일상 속, 시원한 레모네이드를 꿈꾸며

0개의 댓글