과학은 반드시 객관적인 증거와 논리의 흐름에 따라서 구성되는 것은 아니다

지난 화요일, 전 직원을 대상으로 하는 연구윤리교육이 있었다. 'ChatGPT와 연구윤리'라는 제목으로 서울대학교 의과대학 기초교실의 전주홍 교수(랩 홈페이지)가 강연을 하였다. 개인적으로 아는 사이는 아니기 때문에 구글에서 검색을 하다가 우연히 김박사넷으로 들어가게 되었는데, 한줄평에 대해서 전 교수는 불만이 많아 보였다. '김박사넷'이 예비 대학원생에게 얼마나 유용한 정보를 제공하는지 나는 잘 모르겠다. 어쨌든 연구윤리교육 자체는 매우 흥미로웠다.

ChatGPT를 이용하여 무성의하게 논문을 쓰고, 심지어 논문 심사까지도 여기에 맡기는 작금의 실태는 비판적으로 볼 만하다. ChatGPT에게 학습된 데이터를 이용하여 어떤 주제에 대한 간단한 글을 쓰게 한다거나, 또는 영문 번역 및 다듬기('윤문'이라고 함)를 시키는 것은 연구윤리 또는 연구진실성 관점에서 금지되는 일은 아니다. 하지만 ChatGPT는 태연하게 거짓말을 하거나 한 곳에 치우친 이야기를 하는 경우도 있으니, 사람에 의한 최종 점검은 반드시 필요하다. 이것은 정말 성의의 문제이다. 

"저는 2021년까지 공개된 데이터로 학습을 했기 때문에 최신 자료에 근거한 정확한 설명은 하기 어렵습니다. 그렇지만..."

논문 한복판에 이런 문장이 있다고 상상해 보라. 그런데 이는 실제 사례였다. 전 교수는 ChatGPT가 쏟아낸 텍스트를 그대로 긁어다가 논문으로 투고하고, 심지어 리뷰어조차 이를 걸러내지 못한 채 정식 출판이 되어서 공개되는 어이가 없는 사례를 여럿 소개하였다. 그 수는 생각보다 훨씬 많으며, 이와 같이 AI가 써 준 부실 논문이 점차 증가하여 2023년 한 해에 무려 1만 건의 논문이 철회되는 대기록을 세웠다고 한다. 특히 약탈적 저널이 많아지면서 전 세계적인 논문의 투고량이 급증하고(이쯤 되면 유통량이라고 말하는 것이 나을 듯), 그 틈을 타서 인공지능을 이용하여 아주 부실하게 만든 논문이 늘어나는 것도 당연하다. 출판사는 게재료를 받아서 좋고, 논문 저자는 성과로 인정받으니 좋지 아니한가? 

More than 10,000 research papers were retracted in 2023 - a new record (Nature 2023년 12월 12일)

논문이란 결국 과학 연구를 마무리하여 전문가 집단에게 인정을 받는 행위이다. 그런데 AI와 같이 기술이 발달하면서 우리가 과학을 하는 방법 자체가 변하고 있다. 소위 키트화-분업화-협업화-외주화-대규모화를 핵심 인자로 하는 'rapid science'를 추구하게 되면서 우리는 데이터를 사 오는 연구를 하고 있지 않은가? 

Rapid science 시대.

실험 설계를 하고 생물학적 시료를 모아서 회사에 전달한 뒤 연구비를 이용하여 분석 비용을 지불하고 데이터를 받아 오는 것으로(심지어 데이터 분석과 도표 작성, 더 심하게는 논문의 상당 부분을 써 주기도 함) 연구를 주도하고 있다는 착각을 하고 살지 않는가? 바로 이전 글 '20년은 역사를 논하기에는 긴 기간이 아니다'를 쓰면서 2009년 논문으로 발표된 대장균 BL21(DE3)의 유전체 해독은 누가 한 일로 보아야 하는지 심각한 철학적 고민을 해 보았다. 분명히 모든 실험 자료(크로마토그램, SFF file 등)를 가져다가 나름대로 주도면밀하게 계획을 세워 서열 단편을 조립하고 finishing read를 이어 붙여서 하나의 원형 염색체를 만들고, 이를 K-12의 유전체와 손과 눈으로 하나씩 비교하다시피 분석하면서 도표를 만든 것은 내가 맞는데, 그런 이유로 인해 이 일에 대한 공이 전적으로 나에게만 있다고 보기는 어렵다. 요즘 과학은 과거에는 상상하기 어려울 정도로 분업화가 되지 않았던가.

강연 후반부는 주로 이에 관한 내용이었는데, 나는 여기에 더 흥미를 느꼈다. '과학'이라면 무엇을 떠올리는가? 객관성, 논리, 가설을 입증하기 위한 실험, 실험 결과에 의한 가설의 변경 및 이를 수용하는 개방적인 자세 등. 그러나 우리가 논문을 써 나가는 과정을 한번 생각해 보자. 논문은 겉보기에 매우 논리적이고 선형적인 스토리가 있다. 어떤 계기로 문제의식을 갖게 되고, 이를 해결하기 위하여 가설을 세우며, 실험을 거쳐서 이를 입증하는 등 전체적인 과정이 매우 잘 설계된 선형적 경로를 따라서 순조롭게 이어지는 것처럼 보인다. 하지만 이는 대부분의 경우 논문의 작성 과정에서 이야기를 그렇게 만들었기 때문이다. 나 역시 그러했었다. 우연과 직관을 통해 얻어낸, 복잡한 그물과 같은 구조를 통해 도출된 결과 중 적당한 스토리 라인 과 잘 어울리는 것을 취사선택하여 그럴싸하게 재배치하는 경험을 누구나 갖고 있지 않은가? 전주홍 교수의 저서인 과학하는 마음(2021)에서도 이러한 현실을 솔직하게 소개하였다고 한다. 발표 슬라이드에서 딴 글귀를 옮겨 보겠다.

재구성된 결과로서의 과학. "과학은 무수히 많고 흥미롭지 않은 사실의 단순한 수집이 아니라 이러한 사실을 만족스러운 패턴으로 정리하려는 우리 마음의 시도입니다." - 시릴 힌셜우드(1956년 노벨 화학상)

실제 연구와 논문에 제시된 연구 사이의 간극. "논문은 과학적 발견에 이르는 사고의 과정을 오해하도록 만듭니다." - 피터 메다와(1960년 노벨 생리의학상)

선형적이지도 정형적이지도 않은 과학 연구. "과학은 내가 직관적으로 알아낸 어떤 것을 과학의 틀 속에 집어넣는 것입니다." - 바바라 매클린톡(1983년 노벨 생리의학상)

브루노 라투르는 1975년부터 로저 기유맹(77 노벨 생리의학상)의 실험실에서 직접 생활을 하면서 새로운 과학적 사실은 실험에 참여한 과학자들에 의해 발견되기보다 그들이 벌인 치열한 논쟁과 타협, 그리고 합의를 통해 구성된다는 점을 포착했다.

나도 정말 그렇게 생각한다. 더 상세한 이야기를 알고 싶어서 전주홍 교수의 책을 쿠팡에서 주문하였다. 전 교수는 먼 대전까지 와서 강연을 한 목적의 최소한 2%는 달성했을 것으로 생각한다.