2024년 12월 18일 수요일

왜 측정해야 하는가? 아니, 측정을 정말 해야 하는가?

연말이 되니 연구과제 성과를 IRIS라는 범부처통합연구지원시스템에 등록하라는 공지문이 왔다. 논문 실적은 매우 객관적으로 증빙이 되는 자료라서 비교적 쉽게 입력할 수 있겠지...라고 생각을 했는데, 입력을 하다가 슬슬 짜증이 나기 시작하였다. PMID 하나만 있으면 자동으로 가져올 수 있는 정보를 이렇게 일일이 다 쳐 넣어야 하는가? 공동 주저자(~제1저자) 정보를 여러명 넣을 수 있는 것은 다행이다. 제1저자나 교신저자에 점점 많은 사람이 공동으로 참여하는 것이 요즘의 추세이나 너무 많으면 보기에 좋지는 않다. 심지어 5명의 주저자가 'equally contributed'했다는 논문까지 본 일이 있다. 과제에 따른 기여도는 또 어떻게 적어야 하나?

우선 PMID(PubMed identifier) 문제를 짚어 보자. 생명과학이나 의료 분야의 학술지에 실은 논문이라면 대부분 PubMed에 오르게 되니 여기에서 검색을 하거나 원문 웹사이트로 링크하는 일은 아주 쉽다. PMID 하나만 있으면 이러한 서지사항이나 초록을 가져올 수 있다.  그러나 다른 학술 분야는 그렇지 않다. Scopus나 Web of Science는 모든 학술분야를 망라하는 데이터베이스가 되겠지만, PubMed처럼 무료는 아니다. 게다가 범부처통합연구지원시스템에서는 국내에서 발간되는 인문학 분야의 학술지 게재 성과도 다루어 주어야 한다. 그러니 등록자에게는 다소 번거롭지만 많은 정보를 직접 입력하게 만드는 것이라고 생각한다. 이건 다소 불편해도 감내해 주어야 할 것 같다.

여기에 재미있는 사례가 하나 있다. 성균관대학교 유교문화연구소에서 발간하는 Journal of Confucian Philosophy and Culture(JCPC)라는 인문학 분야의 학술지를 2022년 Scopus에 등재한 경험에 관한 이야기이다(링크). 이 학술지는 2001년 창간 당시에는 전면 중문이었다가 중/영문 혼용을 거쳐 2019년부터는 전면 영어 학술지가 되었다. 

다음으로 주저자 문제. 보통 주저자라 하면 제1저자와 교신저자를 통틀어 일컫는다. 그러나 IRIS에서는 주저자란 제1저자라는 의미로 사용한다. 이는 필수로 입력해야 하는 필드이며, 교신저자 정보는 필수가 아니다. 어쨌든 공동 제1저자를 전부 입력할 방법은 없다. 

주제를 좀 벗어난 이야기지만 국내 연구 환경에서 교신저자(corresponding author)라는 자리에 따르는 중요성은 지나치게 강조되는 면이 있다. 사실 교신저자란 논문을 투고하고 리뷰어 의견에 따라 수정본을 보내며 나중에 투고료를 내는 저자를 의미하는데, 국내에서는 '책임저자'라는 묘한 이름으로도 불리면서 [그 논문을 쓰는데 (정치적으로?) 가장 많이 기여한 저자]이자 [그 논문이 이루어게 만든 연구의 과제 책임자]라는 의미를 갖게 된다. [사실 연구를 직접 수행하고 논문을 대부분 다 작성한 제1저자] = [정치적으로 무게감이 가장 큰 저자, 즉 보스]는 항상 성립하지는 않는다.

여담이지만 논문을 쓰면서 저자의 위치(즉 제1저자, 제2저자, 교신저자 등)는 가장 늦게 결정된다. 그만큼 중요하다는 뜻도 된다. 논문 리뷰 과정에서 새로운 저자를 추가하는 것은 허용되지 않는다는 것을 보면 쉽게 짐작이 갈 것이다(새로운 연구 내용이 추가되고 본문도 이에 따라 늘어났다면 인정). 사사에 들어갈 과제정보는 요즘 점점 더 중요한 고려 대상이 되어 가는 것 같다.

다음으로 더 골치아픈 기여율 입력을 따져 보겠다. IRIS는 과제 협약과 진도 관리도 중요한 기능이지만, 정부에서 연구비를 받아서 과제를 수행한 뒤 나온 성과물을 등록하는 시스템이기도 하다. 따라서 이 논문이 어느 연구과제에서 지원을 받았는지를 논문 뒤편의 Acknowledgements(사사) 섹션에 적게 된다. 원래 사사는 저자 명단에는 포함되지 않았지만 연구 및 논문 작성에 도움을 준 사람에게 고마움을 표시하기 위해서 시작된 것으로 안다. 그러다가 자연스럽게 이 연구를 있게 해 준 과제를 사사에 언급하는 것이 관례가 되었다. 

사사를 따지게 된 것은 부정직한 연구자 때문일 수도 있다. 정부에서 A라는 과제로 연구비를 받았는데, 전혀 엉뚱한 논문에 이름을 올리고(아마도 해당 논문의 '책임저자'와 친분이 있었을 것이다), A 과제의 수행 결과에 따른 실적이라 등록하고는 면피를 하는 것이다. 과제/성과 관리 기관에서 전문성이 없던 시절에는 이를 적발하기 어려웠을 것이다. 그러나 이러한 일이 자꾸 문제가 되기 시작하니 아예 사사에 과제 정보(보통 코드 형태)를 넣게 만든 것이다. 이렇게 되면 정말로 기여하지 않은 사람은 평가 대상인 A 과제 번호를 들고 와서 이름과 더불어 이것까지 사사에 넣어달라고 하기는 어렵다.

자, 그런데 논문 하나가 과제 하나만으로 이루어지는가? 기관 간 공동 연구도 흔해지고, 연구의 규모가 점점 커지면서 사사에 몇 개의 과제를 넣어야 하는 일이 생겼다. 그러니 IRIS에서는 각 과제의 기여율을 퍼센트로 입력하라고 시키는 것이다. 모든 과제의 기여율 합이 100%를 넘으면 안 되게 하는 것이다. 

하지만 이러한 기여율을 논문 투고 당시에 모든 저자들이 결정하지는 못한다. 교신 저자가 2~3명인 대형 과제라면 문제가 더욱 복잡하다. 어떤 논문은 과제 책임자인 내가 교신 저자 역할을 하지 않은 경우도 있다. 

이런 엉뚱한 상상을 해 본다. 저자 이름과 사사의 과제 번호 옆에 기여율을 아예 명시하게 만드는 것. 그러면 IRIS에 성과를 입력하면서 고민을 할 필요가 없을 것이다. 그러나 진짜 대규모 연구라서 저자가 수십명에 육박하는 경우, 정말 의미 없는 숫자 배분을 놓고 고민해야 한다.

오늘은 다른 과제의 책임자 인적사항을 적으면서 정말 난감한 상황을 접하였다. 나의 과거 논문 발표 실적을 적는 양식이 있는데, 가장 마지막 컬럼에 나의 기여율을 쓰라는 것이다. 최근 것 중에 내가 제1저자이자 교신저자로서 4~5명이 같이 저자로 오른 논문이 두 편이 있었다. 나의 기여율을 도대체 몇 퍼센트로 평가해야 하는가? 아니, 이것을 숫자로 나타낸다고 해서 도대체 무슨 의미가 있을까?

이것이 바로 계량주의의 폐해라고 생각한다. 모든 것을 계량할 수 있다는 것도 신화이고, 계량하여 수치화하지 않으면 개선할 수 없다는 것 자체도 미신이다. 흔히들 피터 드러커가 '측정할 수 없다면 관리할 수 없고, 관리할 수 없으면 개선할 수도 없다'고 말한 것으로 알려져 있는데, 드러커는 이런 말을 한 적이 없다고 한다. 근거가 되는 글을 소개한다.

"측정할 수 없으면 관리할 수 없다."라고 피커 드러커는 말한 적이 없다고?

"측정할 수 없으면 관리할 수 없다"

"측정할 수 없으면 관리할 수 없다", 정말?

두 번째 소개한 글에서는 피터 드러커가 실제로 저서에 적은 글 중에 우리가 알고 있는 것과 가장 가까운 것이 실려 있다. 이는 <경영의 실제(1954)>에 나온다고 한다. 굵게 표시한 곳에 유의해서 읽어보자. 우리가 알고 있는 것과는 매우 분위기가 다르다.

자신의 성과와 목표를 비교하여 측정할 수 있어야 한다. 기업의 모든 주요한 분야에 대해 분명하고도 보편적인 측정 기준을 제공하는 것은 진정 변함없는 관행으로 정책시켜야만 한다. 그런 기준은 엄격하게 숫자로 표시할 필요는 없으며 반드시 정확할 필요도 없다. 그러나 그것들은 분명하고, 단순하고, 합리적이어야 한다.

측정은 인간의 일부 세계에서는 반드시 필요하다. 예를 들어 공학의 세계-즉 달을 향해 로켓을 쏘아 보내는-에서는 더욱 그러하다. 그러나 인간생활의 모든 면을 측정할 수 있는 것은 아니며, 그렇게 할 수 있다는 믿음이 문제를 불러 일으킨다. 때로는 그저 느낌이나 첫인상이 가장 중요한 근거일 수도 있다. 

연말이 되어 참으로 불편한 마음으로 부서원들에게 성적을 매겨야만 했다. 어제부터 개인별 성과평가 점수가 공개되었으니 컴퓨터에서 이를 조회하면서 희비가 교차하고 있을 것이다. 상대평가 제도로 운영되기 때문에 누군가의 기쁨은 누군가의 아쉬움이 될 수밖에 없다. 그렇다고 해서 모든 사람을 다 모아 놓고 점수표를 공개한 뒤 '전부 만족하십니까?'라고 할 수도 없다. 또 아래 등급을 받은 사람을 빼앗아서 상위 등급자에게 얹어주는 방식이 과연 옳다고 볼 수 있가? 

이래저래 고민만 늘어간다. 오늘 밤에도 뛰어야 되겠다. 고민을 '술'로 풀지 않음을 다행으로 여기자.

댓글 없음: