앞으로 내가 논문 리뷰 할 때 기준을 적어 놓고자 작성하게 되었다.

1. 논문 처음 읽으면서

논문의 주제, 논문을 쓰게된 계기 파악

논문 읽는 순서

논문을 읽는 순서
title ➡️ abstract ➡️ introduction의 마지막(1.서론) ➡️ conclusion(6.결론) ➡️ Results & discussion (data) (4.결과, 5.논의) ➡️ Introduction 전체(2.선행연구, 3.연구방법) ➡️ Results & discussion (detail)

1) title: 제목, 저널명, 출간년도, 어떤 그룹에서 낸 논문인지를 체크하고 시작하자

2) abstract: 논문의 주요 내용을 한, 두 문단으로 정리해 놓은 파트

연구가 왜 진행되었는지, 어떤 것을 목표로 했는지, 어떤 결론을 얻었는지에 대한 정보를 얻자.

3) conclusion: 결론 파트에서는 연구의 주요 성과들에 대해 더 자세히 볼 수 있다.
abstract에서 이해되지 않은 부분들이 이해될 수 있다.

이 논문이 기여하고자 하는 바가 무엇인지 정확히 드러나 있어야 한다

이러한 기여를 한다는 주장에 대한 근거는 4) 결과, 5) 논의를 통해서 나타난다.
논문에서 저자가 기대하는 연구 결과가 직접적으로 도움이 되는 대상이 명확히 정해져야 하며, 이 연구를 통해서 그 대상에게 어떤 영향력이 있는지에 대한 언급을 살펴보아야 한다.

4) results & discussion: 📊그래프와 표를 훑어보자.데이터를 자세히 해석할 필요는 없다. 논문이 어떤 종류의 데이터를 담고 있는지, 어떤 분석 방법을 사용해 논리를 뒷받침하고 있는지를 개략적으로 파악하는 것이 목적이다.

5) introduction: 해당 분야에 대한 전반적인 배경지식이 소개되어 있다.저자가 참고한 선행 연구들에 대한 분석과 함께 연구 동기와 방향성에 대해 알 수 있다.사실이라 받아들여지고 있는 이론들과 연구 결과들을 공부할 수 있는 파트

어떤 문제를 다룰지 충분한 배경 설명이 있었는지 눈여겨보자
목적을 분명히 밝히지 않은 논문을 읽다보면 어째서 이런 방법으로 접근하였는지와 누구에게 어떻게 도움이 되는지를 이해하기가 매우 어렵다. 따라서 전체적인 큰 흐름을 읽는 것이 중요하다. 즉, 저자의 의도가 명확해야 하는 부분은 반드시 직접적으로 드러나지는 살펴보자

연구의 범위를 적절하게 정의하기 위해 어떤 선행연구를 제시하였는지가 중요
어떤 분야의 선행연구를 서술할지는 꽤 전략적으로 짜여져야 한다. 왜냐하면 적절한 context를 정의해야 디펜스를 할 수 있기 때문이다. 그래서, 이러한 많은 선행 연구들이 있음에도 불구하고 논문에서의 연구를 하게된 이유는 무엇인지, 그리고 이러한 선행연구의 한계점을 드러내는 부분이 논문에 서술되었는지 살펴보자

6) results & discussion: 다시 돌아가서 읽되, 데이터를 해석하는 저자의 논리의 흐름을 꼼꼼히 따라가보자.저자가 논리를 뒷받침하기 위해 참고한 선행논문들이 있는데, 이해하기 어려운 부분이 있다면 관련 문헌번호를 참고문헌 파트에서 찾아 따로 표시해두고 다음에 공부할 논문으로 준비하자.자신의 연구와 밀접한 연관이 있어 자세한 실험 세팅(settings)를 알고 싶다면 실험과정(experimental) 파트를 참고하자.

기여도와 결론에 대한 구체적인 근거
제시한 방법으로 연구를 진행해서 얻은 결과가 논리적으로 잘 도출되었는지, 그에 따른 데이터가 적절한지, 데이터를 정확하게 분석하고 해석하였는지, 관련이 없는 주장을 끼워 넣지는 않았는지를 비판적으로 읽어본다. 마지막으로, 논의에서는 연구 결과를 바탕으로 어떤 새로운 인사이트를 얻게 되었고, 나아가 언급했던 선행연구 또는 새로운 분야와의 접점을 고찰해보고, 제시하는 서술을 살펴보자

좋은 논문은 abstract, intro의 마지막, conclusion 이 일맥상통
집중해서 읽기 (detail)

읽으면서 핵심을 정리하거나, 여백에 비평을 쓰면서 읽어보자.
증명과 세세한 것들은 우선 무시하되 그림, 다이어그램, 삽화등을 주의 깊게 살펴보자.
특히 그래프에 신경쓰자 (축의 라벨링은 적절한지, 결과물에 오차를 나타내는 바가 표현되었는지, 통계적으로 유의한지 등의 실수를 파악해보자)
참고 문헌 목록을 보고 나중에 리뷰할 논문을 표시하자.
논문을 보다 깊게 이해하려면 가상으로 재실험을 해보자
저자와 같은 가정을 하고 다시 작업해보면 논문 자체의 아이디어를 확인 할 수도 있고, 숨겨진 결함, 가정을 찾을 수 있다

5C에 대해 답해보기

1. 카테고리(Category) : 이 논문은 어느 종류에 속하는가? 존재하는 것에 대한 분석 혹은 새로운 연구의 초석?

2. 맥락(Context) : 어떤 다른 논문들이 연관되어있는가? 문제를 해결하기 위해 어떤 이론이 사용되엇는가?

3. 정합성(Correctness) : 가정이 적절해 보이는가?

4. 기여(Contributions) : 논문이 주로 기여하는 부분은 어떤 것인가?

5. 명확성(Clarity) : 논문이 잘 쓰여있는가?

2. 논문 읽고 나서

2-1.이 연구 전에 저자가 알아낸 배경지식은?

2-2. 이 논문에서 중점적으로 볼 것은?

Strength

• 가장 큰 강점에서 작은 강점으로 나열해보기 (대체로 논문에 2~3개의 강점이 있음)
• 해당 논문이 문제를 잘 해결했는가 판단해보기 (매커니즘에 중점하여 생각해보기)

연구의 시작은 비판적 사고(Critical thinking)에서 출발한다.

비판적 사고를 통해, 기존 연구들을 깊이 있게 답습하여, 아직 해결되지 못한 문제들이나 개선이 필요한 부분들을 찾아야 한다. 또 문제를 해결하는 과정과 해법이 타당한지도, 비판적 사고를 통해 끊임 없이 검증 해야 한다. 다시 말해, 연구의 시작과 끝은 비판적 사고에서 나오는 다양한 질문들에 답을 하는 과정이라 할 수 있겠다. 철이 철을 날카롭게 하듯, 비판적인 사고로 무장한 연구자들이 서로의 연구들을 비평하여 발전시켜 가면서 학문의 영역은 넓어지고 밝아지는 것이다.

Critical Thinking에 겁먹지 말기

어느 논문이든 한계점은 존재한다. 연구를 함에 있어서 '완벽한' 연구는 거의 없다고 봐도 무방하고, 방법론 또한 각각의 한계를 가지고 있기 때문에 아무리 좋은 데이터가 있어도 이것이 무조건 옳다고 주장하기에는 무리가 있다는 점이다. 그렇기에, 논문을 읽을 때, 이 논문을 합격시킬 것인지 불합격 시킬 것인지의 관점에서 리뷰를 작성하면 비판적 사고 훈련에 많은 도움이 된다.학문의 세계는 논리적이고 냉정해서, 후자의 경우가 학문 세계에 더 적응하기 쉽다는 사실이다. 나는 후자 보다, 전자에 가까운 사람이라, 속된 말로 논문을 까야 할 때, 좀 힘들었다. 특히 학술대회나 저널에 이미 발표된 논문을 읽을 때면, 검증 받은 논문일 텐데 무슨 문제가 있으려나라는 선입견을 가지고 읽기 때문에, 더욱 비판적인 사고를 하기가 힘들었다. 하지만, 훌륭한 연구자가 되기 위해서는 반드시 갖추어야 할 '미덕'이, 내가 한 연구 포함 모든 연구물에 대해서, 적나라한 비판적 사고를 할 수 있어야 한다는 점이다.

2-3.결론 간략하게 도식화 나타내기

논문이 무엇을 했는지 간단하게 작성하면 된다. 문제가 뭐고, 문제 해결이 되면 좋은 점(contribution)이 뭔지, 문제를 해결하기 위해 어떤 방법을 썼는지, 제안하는 방법이 정말 좋은지를 어떻게 평가 했는지, 결과는 무엇인지 등의 질문에 답을 논문에서 설명하는 내용 그대로 간단히 적으면 된다. 위의 예시로 나온 리뷰는 요약이 좀 긴편인데, 아마도, 원래 리뷰어(지도교수)의 대학원생이 작성한 것을, 원래 리뷰어가 참고해서 최종 작성한게 아닌가 싶다. 보통 리뷰 경험이 많은 대가나 연구자는, 요약을 길게 쓰지 않고, 학술대회 의장이 쉽게 알아먹을 수 있도록, 3-4줄짜리 요약 정도만 한다. 요약을 쓰지 않는 사람들도 있다. 논문의 Abstract만 보고 이 논문이 뭐하는 논문인지 알 수가 있는 사람이라면, Abstract을 본인의 말로 paraphrasing할 수 있을 정도면 문제 없다. 
만약에, Abstract만 보고 무엇을 하는 논문인지 이해가 잘 안가면, 저자가 Abstract을 개떡 같이 썼거나, 아니면 내가 해당 논문의 배경지식이 없는 비전문가라는 말이다. 후자의 경우에는, 논문을 리뷰하면서 Related work을 참고해, 해당 분야의 큰 그림을 스스로 공부하고 논문 전체를 읽은 후, 자세한 요약을 작성 해야 한다. 만약 전자라면, 논문 Presentation이 좋지 않음을, 당락에 대한 평가에서 적으면 그만이다. 내가 생각하기로는 위의 예시는 배경지식이 부족했던 대학원생이 논문 관련 배경지식을 공부한 후, 논문 전체의 내용을 차근 차근 잘 정리한 요약이라고 생각이 된다. 초년생 대학원생이라면, 이런식으로 본인이 익숙하지 못했던 연구 분야에 대한 공부도 덤으로 할 수 있다.

2-4. Metod, Experiment에서 내가 필요한 부분 정리하기

2-5. 논문에서 흥미롭게 느낀점 정리하기

2-6. 다시 읽어보면서

이 단계의 핵심은 가상으로 이 논문을 다시 구현하는 것이다.
저자와 같은 가정을 가지고, 논문의 작업을 다시 만들어보라는 의미이다.
실제 논문과 내가 다시 만들어낸 결과를 비교함으로써, 논문의 혁신적인 점뿐만 아니라 숨겨진 오류와 가정도 파악할 수 있게 된다.
이 단계에서는 디테일에 관한 높은 집중이 요구된다. 모든 단계의 가정을 확인한 뒤 이의를 제기해봐야 한다.
또한, 당신이라면 어떤 새로운 아이디어를 제기할 수 있을지도 생각해봐야 한다.
실제 논문과 가상 실험을 비교하는 과정에서, 증명 방법과 기술력에 대한 날카로운 통찰을 얻을 수 있다.
이 단계에서 생각나는 향후 연구도 적어두면 좋을 것이다.
이 과정이 끝나면 논문 전체에 대한 구조를 기억으로부터 재구성할 수 있고, 강점과 약점을 구분하게 될 수 있을 것이다.
또한 당신은 암시적 가정, 누락된 인용, 실험/분석 문제가 가지고 있는 잠재적 문제를 파악할 수 있어야 한다.

3. PPT로 정리하기

3-1. 연구 주제가 무엇인지

3-2. 이 연구를 진행하는데 필요한 배경지식

• Keyword, 용어, 선행연구, 왜 이 연구가 필요한지를 중점으로
• 내가 발표하는 논문이 관심분야가 아닌 사람들을 위해서 어느정도의 기본 자료를 제공해주자

3-3. 논문 내용 설명

3-4. 전체적인 결과

3-5. 이러한 결과가 나온 이유

꼼꼼하게 결과 해석

3-6. 이 논문에서 내 실험을 할 때 필요한 부분 & 이 부분은 실험해 볼 필요가 있는 부분이다 하는 부분 설명

약점에 초점을 맞추고 비판적으로 생각하기.

모든 논문에는 약점이 있는데, 논문의 질이 안좋다는 것이 아니라, 개선의 여지가 있고, 이를 추가적인 연구를 통해 해결할수 있다는 것을 뜻한다.

그 다음에, 논문을 떨어뜨려야 할 이유(Points against)를 찾기

일단 앞 단락에서 합격해야 할 요건을 충족시키지 못하는 내용들이 있다면, 나열한다. 그리고, 각 요소들에 대한 근거를 저자들에게 납득이 가도록 논리적으로 잘 설명을 해야 한다. 그리고, 논문이 가지고 있는 추가적인 중대한 결함이 없는지 차근차근 살펴보아야 한다. 나는 대게 다음의 내용을 주로 본다: Wrong or too strong assumption, Wrong evaluation/experimental design, Weak evaluation (lack of experimental subjects), Lack of discussion. Wrong or too strong

assumption: 

실험을 하다보면, 모든 여건을 만족시킬 수 없기에, 어떤 상황들은 가정을 하고 진행할 때가 있다. 하지만, 해당 가정이 연구의 Motivation과 상충되는 가정이거나, 현실적으로 수긍하기 어려울 정도로 너무 강한 가정이라면, 위험한 연구이다. 가정이 무너지면, 연구 전체가 무너지기 때문이다.

Wrong evaluation/experimental design: 

참신한 아이디어로 새로운 문제를 해결했지만, 해당 아이디어를 올바르게 평가하거나 실험하지 못했다면, 반드시 Reject을 줘야 한다. Weak evaluation (lack of experimental subjects) 부분도 여기에 해당이 될 수 있을 것 같다. 대게 Empirical study를 통해 연구 결과를 일반화 한다는 것은 쉬운 일이 아니다. 결국 내가 선택하는 실험 subject들 안에서 나온 결과이기 때문이다. 반드시, 다른 연구자가 충분히 납득할 만큼(이게 좀 애매하긴 하다. 적어도 기존 연구에서 한 만큼은 해야한다)의 subjects로 실험을 해야 하고, 어떤 위험요소(threats)들로 인해 연구의 결과를 일반화기 어려운지, 또 오류가 있을 수 있는지를 반드시 밝히고 솔직하게 논의해야 한다 (Threat to Validity). 만약 실험의 비용문제로, 충분한 subjects를 확보하기 어렵다면, Case study로도 결과를 보여줄 수 있으니, 리뷰시 참고하도록 하자.

Lack of discussion:

연구 문제가 참신한 방법으로 잘 해결되고, 실험에서도 제안하는 방법이 문제 해결에 좋은 결과를 보여준다고 해도, 왜 이런 좋은 결과가 나왔는지에 대한 이유를 심도 있게 논의해야 한자

4. PPT를 A4 1-2장으로 요약하기

실제 발표 논문제출 시 보통 2단으로 에이포 2장 분량을 제줄하는데 내용을 추리고 빼는게 더 힘들다는 생각이 드실겁니다.필요한 이론은 이론 노트에 따로 정리하시고, 논문의내용을 에이포 용지 1-2장에 요약하는 연습을 해보시길 바랍니다.그리고 원서의 경우 원서로 요약하시면 영어공부에도 도움이 될것같습니다. 논문 보시고 참고문헌 연계해서 읽으시면서 유사 연구를 모아서 리뷰 논문을 써보시는 것도 좋을 것 같습니다.효율을 올리는 작업을 추가하시면 좋을 것 같습니다

1. 해당 논문이 해결하고자 하는 문제가 무엇인지 인지하기
2. 문제에 대한 간략한 요약
3. 논문 속의 keywork, key insight
4. 작성될 당시의 기여나 도움이 되었던 사항
5. 논문으로부터 본인이 얻은 중요한 것이 무엇인지

📕 Think Better Solution
1.문제를 다르게 해결하거나 개선할수 있는 방법에 대해 고민해보기
2. 좀 더 괜찮은 아이디어를 생각해보기
3. 어떤것을 배웠는지, 흥미로웠는지 별로였는지에 대해 생각하기
4. 문제 자체에도 의문을 제기해보기
단, 반페이지나 그것보다 더 작아야한다. 정 어렵다면 0.75페이지 이내로 작성하도록 해야한다
이해가 어렵다면 background 논문을 읽어보기.

5. 반복하며 진행하면서 시간관리 및 자료 축약하기

Reference
https://m.blog.naver.com/wnduddl2333/221439225582
https://lifove.tistory.com/58
https://4n3mone.tistory.com/2
https://brunch.co.kr/@minyoungyoo/15