동아일보 ‘KCI지수’로 분석한 대한민국 학계 현주소 <上> 겉핥기식 평가 틀이 바뀐다

“논문 量보다 質” 영향력 수치화… 교수 연구평가 거품 뺀다

A 교수는 최근 2년간 논문을 5편 썼다. B 교수는 같은 기간에 논문을 1편 냈다. 두 학자는 전공이 같은데 학계에서 A 교수는 연구가 왕성하다는 평가를, B 교수는 실적이 부진하다는 평가를 받았다. 논문을 몇 편 냈느냐를 기준으로 삼은 결과다.

앞으로는 상황이 달라진다. A 교수의 논문은 다른 학술지에서 전혀 인용되지 않았고 B 교수의 논문은 10차례 인용됐다. 한국연구재단이 개발한 한국학술지인용색인(KCI)의 논문인용지수(IF·Impact Factor)에 따르면 B 교수의 연구 수준이 더 높다는 평가를 받게 된다.

이 지수를 활용하면 학술지의 영향력은 물론이고 개별 논문의 학문적 가치, 특정 교수가 발표한 논문 건수와 개별 논문의 인용 횟수를 확인할 수 있다. 인용 횟수를 기준으로 최상위 논문부터 최하위 논문까지 한눈에 드러난다.

수준 미달 논문 80%

재단이 2006∼2007년 발표된 논문을 분석해 18일 공개한 KCI 논문인용지수에 따르면 국내 학계에는 다른 연구자가 전혀 활용하지 않는 논문이 80%나 된다.

논문인용지수는 특정 논문과 이를 참고한 다른 논문을 비교하는 식으로 만들었다. 학술단체가 입력한 논문 정보를 데이터베이스(DB)로 만들고, 참고 문헌을 별도의 DB로 만들어 특정 논문의 인용 정도를 확인한 것. 그 결과 인문학 논문의 상당수는 국내 연구진이 인용하지 않는다는 사실이 수치로 드러났다. 논문 2만5037건 중 81%가 다른 연구에서 한 번도 인용되지 않았다. 단 한 번 인용된 논문 역시 3529건으로 14.1%에 그쳤다.

인문학 분야에서는 가장 많이 인용된 논문이 2편이었다. 정재영 한국기술교육대 교수의 ‘한국의 구결(口訣)’, 백광호 전주대 교수의 ‘한문과 교육과정의 읽기 영역에 관한 고등학교 교실 수업 분석’ 등 2편이 8회 인용됐다.

인문학 학술지를 주제별로 살펴보면 ‘유교학’ ‘한국어와 문학’ ‘통역번역학’의 인용지수가 0.3으로 가장 높은 편이었다. 논문 10편의 인용 횟수가 평균 3회 정도라는 뜻이다. ‘문학’ ‘불교학’ ‘가톨릭신학’의 인용지수는 0이었다.

사회과학 분야에서는 단 한 번도 인용되지 않은 논문이 73%나 됐다. 한건수 강원대 교수의 논문(농촌 지역 결혼 이민자 여성의 가족생활과 갈등 및 적응)이 26번으로 가장 많이 인용됐다.

관광 신문방송 사회복지의 연구 활동이 사회과학 분야에서는 활발한 편이었다. 2년간 출판된 논문이 1300편 정도였고, 인용지수도 0.9 이상이었다. 사회과학 학술지 전체의 평균 인용지수(0.45)를 훌쩍 웃돈다.

세계 학술지와 최대 20배 격차

국내에서 가장 활발한 연구 실적을 보인 학술지도 세계 학술지와 비교하면 수준 차이가 크다. 논문 발표량도 비교가 안 되지만 인용지수는 최대 20배까지 차이가 난다.

예를 들어 국내 심리과학 분야 인용지수는 0.19. 학술지도 1종뿐이다. 반면 톰슨로이터사(社)의 데이터베이스(JCR)에 등록된 다문학적 심리학 분야 학술지는 112종이고 평균 인용지수는 1.93이다. 인용지수가 높은 학술지 ‘연간심리학평론’의 인용지수는 22.75에 이른다.

규모 면에서도 격차가 크다. KCI에 등록된 사회 분야 학술지는 22개 주제에 472종. JCR에 등록된 사회 분야 학술지는 42개 주제에 2442종으로 5배 정도 많다.

학술지의 양보다 주목되는 부분은 학술지의 질을 나타내는 인용지수다. JCR에 등록된 경제학 학술지의 평균 인용지수는 1.15인 반면 국내 경제학 분야 학술지는 0.37에 불과하다. 경영학도 세계 학술지의 평균 인용지수는 1.65, 국내는 0.49에 그쳤다.

질적 수준 높이는 경쟁 시작

인문, 사회 분야의 한 교수는 공동저자 끼워 넣기, 논문 쪼개기 등의 관행으로 논문들이 질보다 양적으로만 팽창해 왔다고 지적했다.

이제는 국내에서도 학술지와 논문의 질적 수준이 공개됨에 따라 학계 토양이 바뀌게 됐다. 대학에서 교수 임용이나 승진 심사를 할 때 논문 실적을 반영하는 방식에도 변화가 있을 것이란 전망이 나온다. 논문 인용 횟수에 따른 점수화가 가능해졌기 때문이다.

인용 횟수가 높은 논문은 공통점이 있다. 총 13번이나 인용된 논문(축제체험의 개념적 구성모형)을 쓴 이훈 한양대 교수는 “기존 논문과 달리 축제와 관광에서 체험이 갖는 본질적 의미를 분석했다. 1년에 20번 이상의 전국 축제를 찾아다니며 쓴 논문”이라고 소개했다.

인문학에서 최다 인용 횟수 8회를 기록한 논문을 쓴 백광호 전주대 교수도 “한문 수업을 실제로 참관하면서 새로운 분석 틀을 제시했다. 보통 지도안이나 교과서를 분석하는 기존 논문과 차별화하다 보니 다른 학자들도 관심을 보인 듯하다”고 설명했다. 연구자의 노력에 따라 논문 성과가 달라진다는 얘기다.

한국경영정보학회 회장을 맡고 있는 오재인 단국대 교수는 “앞으로는 허술한 학술지는 살아남기 어렵고, 인용도 높은 논문을 내기 위한 경쟁을 하게 돼 전반적 연구 수준이 높아질 것”이라고 전망했다.

출처 동아일보 / 강혜승 기자 fineday@donga.com　, 남윤서 기자 baron@donga.com