1. Abstract
본 연구에서는 논문의 중요도를 평가하기 위해 Normalized Index for ranking papers를 SLR에서 순위를 매기기 위한 지수를 새롭게 제안함.
이 지수는 네덜란드 라이덴 대학교의 과학기술연구센터(CWTS)에서 제공하는 저널 지표를 기반으로 한다.
지수계산을 위해 연구자들이 각 지표의 중요도 가중치를 부여하고, 모든 지표는 정규화(normalization)과정을 거침.
최종 포트폴리오의 논문 순위는 논문이 출판된 저널의 영향력 지표(Impact Factors)의 가중 평균과 해당 논문의 연간 인용 수를 기준으로 결정됨. 또한 저널의 자기 인용(self-citation) 정도는 자기 인용을 덜할수록 유리하도록 반영함.
정규화 기법을 적용함으로써 각 지표의 절대적인 크기 차이보다는 연구자가 부여한 가중치에 따라 결과가 결정되도록함.
--> 논문의 중요도는 출판된 저널의 영향력과 연간 인용수로 평가 될 수 있음.
Literature Review는 연구자가 새로운 연구의 기초가 되는 논문의 포트폴리오를 구축하는 방법으로, Systematic Literature Review (체계적 문헌 리뷰)는 연구의 발전과 기반 마련에 중요한 역할을 하고, 과학 출판물을 수집, 분류하고, 사용된 방법론과 주제를 분석하는데 활용된다. 더불어, SLR은 연구의 gaps와 향후 연구 가능성을 식별하는데에도 사용된다.
Vinkler는 과학 논문의 quality를 평가하는 방법을 연구했던 선구자로, 헝가리의 연구소에서 논문의 영향력과 인용 수를 기반으로 평가하는 방법론을 개발하였다 이후 새로운 방법론들이 꾸준히 개발되고 있으며, 최근 몇 년간 SLR의 활용도는 계속 증가하고 있다.
예를 들어, Google Scholar에서 'Systematic Literature Review'라는 문구를 검색해보면, 결과는 다음과 같다.
2020년 - 73,200
2021년 - 88,300
2022년 - 91,200
Liberati et al은 체계적인 리뷰 및 메타분석을 위한 PRISMA 방법론을 제안하였다. SLR이 논문을 식별, 선별, 비판적으로 평가하는데에 집중한다면, 메타분석은 동일한 연구 질문을 다루는 여러 연구들을 통계적으로 통합 분석하는 기법이라고 할 수 있다.
PRISMA는 QUOROM 체크리스트를 분석한 회의에서 만들어졌고, 27개의 항목과 4단계의 흐름도로 구성된다. 이후 PRISMA-E, PRISMA-IPD, PRISMA-P 등이 개발되었다.
Ensslin et al은 Proknow-c(knowledge Development process - constructivist) 방법을 제안하였는데, 이는 4가지로 구성된다. (문헌 포트폴리오 선택, 계량 분석, 체계적 분석, 연구 질문) Proknow-c는 연구자들이 논문 포트폴리오를 구성할 수 있도록 안내한다.
Pagani et al은 이 Proknow-C를 바탕으로 Methodi Ordination 방법을 개발하였는데, 이방법은 논문의 인용수, 저널의 영향력, 출판 연도를 고려하는 InOrdination 지수를 사용해 논문의 순위를 정한다. Proknow-C와 Methodi Ordinatio는 서로 다른 방법론을 비교하는 데에도 활용된다.
기존의 Literature review에서는 정규화(normalization) 방법이 활용되지 않는 경우가 많았지만, 본 연구에서는 이 문제를 해결하기 위해, 지표간의 규모차이로 인한 영향력을 줄이고, 연구자가 직접 각 지표에 중요도를 부여할 수 있도록 정규화를 적용한 새로운 방법론을 제안하였다. 14단계의 절차로 구성되며, 공항 분야의 다기준 의사결정 분석(MCDA, multi-criteria Decision) 관련 논문들을 분석대상으로 삼아 제안된 방법을 검증하였다.
2. Method
본 논문에서 제안한 체계적 문헌리뷰(SLR) 방법은 라이덴 대학교의 과학 기술 연구센터(Centre for Science and Technology Studies, CWTS)에서 제공하는 저널 지표(impact factors)에 기반을 두고 있다.
CWTS journal indeicator에서는 다음과 같은 지표를 제공하고 있다.
- IPP(Impact Per Publication): 최근 3년간 발표된 논문이 현재 연도에 받은 인용 수를 해당 기간에 발표된 논문 수로 나눈 값
- SNIP(Source Normalized Impact per Publication): IPP와 유사하지만, 학문 분야별 인용관행에 따라 인용수를 정규화함
- %selfcit (자기 인용률): 최근 3년간 자사 저널에 발표된 논문이 현재 연도에 받은 인용 중, 동일 저널 내 인용 비율(0~1 범위)
SLR 절차는 14단계로 구분된다.
step 1. 연구 목적 수립
분석할 주제를 명확히 정의
setp 2. 데이터베이스 선정
연구 범위를 결정하고, 사용할 데이터 베이스(scopus, Web of Science)를 선택
step 3. 키워드 조합 정의
동일 주제를 표현하는 다양한 키워드를 조합하여 검색
step 4. 예비 검색 수행
초기 검색을 통해 키워드나 데이터베이스 조합이 적절한지 판단하고, 필요시 2~3단계를 재조정함
step 5. 본 검색 수행
논문 제목, 키워드, 초록 (TAL: Title, Abstract, Keywords)를 기준으로 최종 검색을 수행
step 6. 필터링 과정 (3단계로 구성)
1) 중복 논문 제거
2) 연도/지역/언어 등을 기준으로 제외
3) 제목, 키워드, 초록을 읽고 관련성 없는 논문 제외
step 7. 사용할 저널 지표 정의
자기 인용률 외에도 IPP, SNIP, JIF 등 연구자가 활용할 지표를 결정
step 8. 지표 수집
선정된 논문들의 저널 지표와 인용 수를 Google Sholar 등에서 수집함. 일부 지표가 적합하지 않다고 판단되면 step 7로 돌아감
step 9. 지표가 없는 저널 제거
신생 저널 등 일부 저널이 지표를 제공하지 않을 경우 논문을 제외하거나, 값이 0으로 처리됨
step 10. 입력 데이터 정규화
모든 지표 데이터를 0~1 범위로 정규화하여 규모 차이를 제거
Step 11. 논문의 순위 산정
논문 인덱스는 다음과 같은 가중 합 공식으로 계산 됨
논문의 연평균 인용수는 다음 식으로 구하고 이를 다시 정규화하게 된다.
step 12. 논문 다운로드
포트폴리오가 확정되면 논문을 다운로드함. 논문 수가 적으면 순위화 전에 다운로드해도 됨.
step 13. 본문 전반 읽기 및 추가 필터링
초록만으로 판단이 어려운 노문은 전체 본문을 읽고 최종 제외 여부를 결정
step 14. 계량분석 및 체계적 분석 수행
최종 포트폴리오 논문을 대상으로 계량적(bibliometric), 체계적(systematic) 분석을 수행
새로 제한한 방법의 핵심은 문헌 포트폴리오를 구성할 때 논문들의 중요도를 정량적으로 평가하여 순위를 메긴다는 점이다.
contribution
- 서로 다른 규모의 지표 (인용 수, 저널 지수 등)가 학문적영향력에 공평하게 미칠 수 있도록, Mukhametzyanov의 정규화 방법을 적용하여 모두 동일한 스케일(0~1)로 변환
- 하나의 감점 지표로 자기 인용률(selfcit)만을 적용하여 과도한 자기인용문제를 제어
