챗봇의 답변으로 시작된 어떤 논문

Certainly…

2024년 2월 17일, Elsevier의 재료과학 학술지 『Surfaces and Interfaces』 온라인 판에 리튬금속 전지의 분리막을 다룬 논문이 게재되었다. 재미있게도, 서론은 다음 문장으로 시작된다. “Certainly, here is a possible introduction for your topic: Lithium-metal batteries are promising candidates for high-energy-density rechargeable batteries due to their low electrode potentials and high theoretical capacities.” 앞의 열 단어는 ChatGPT가 사용자의 요청에 응답할 때 붙이는 상투구이고, 그 뒤부터가 논문이다. 저자들은 챗봇의 답변을 복사해 붙이면서 답변의 첫 줄까지 함께 가져왔고, 그 줄은 투고, 동료심사, 편집, 교열, 조판을 거쳐 그대로 인쇄되었다.

이 논문의 부적절한 AI 사용 가능성은 PubPeer에 올랐는데, 툴루즈 대학의 컴퓨터과학자 Guillaume Cabanac이 자신이 운영하는 Problematic Paper Screener에서 지적했다. 이것은 2024년 3월 중순 기술 매체와 과학 블로그에 보도되었는데, 철회는 게재 석 달 뒤인 5월 31일에 이루어졌다.

그러나 이 논문에서는 조작된 데이터도, 가로챈 아이디어도 확인된 바 없다. 다만 생성형 인공지능이 작성했을 법한 문장이 하나 있었고, 원고 작성에서 출판에 이르는 모든 단계에서 이 문제가 걸러지지 않았다.

등재지에서 일어난 일

이 사건에 보일 법한 첫 번째 반응은 “그런 잡지에서 일어난 일이다”는 것이다. 그러나 『Surfaces and Interfaces』는 2016년 창간된 Elsevier의 정규 학술지(ISSN 2468-0230)로, Web of Science(SCIE)와 Scopus에 등재되어 있고, SJR 기준 화학 분야 Q2, 최근 영향력지수는 5점대로 알려져 있다. 한국의 연구업적 평가 기준으로 말하면 SCI(E) 등재지 논문으로 인정받는 잡지다. 약탈적 학술지의 이야기가 아니라, 우리가 신뢰하는 출판 체계 안에서 일어난 일이다.
한편 해당 학술지의 철회 고지(Surf Interfaces 2024;46:104550)는 “저자들이 공개 없이 생성형 AI를 논문 작성 과정에 사용한 것으로 보이며, 이는 학술지 정책 위반이라는 우려”를 그 사유로 든다: AI를 썼다는 사실 자체를 문제 삼지 않는다. 사실 Elsevier의 저자 정책은 글쓰기 보조로서의 생성형 AI 사용을 허용한다. 다만 원고 말미에 별도의 선언문을 두어 도구와 용도를 밝히라고 요구할 뿐이다. 저자들이 위반한 것은 ‘사용 금지’가 아니라 ‘공개 의무’다. 이 구분은 사소해 보이지만 중요하다. 만약 저자들이 같은 서론을 같은 방식으로 만들고 선언문 한 줄을 붙였다면, 그리고 챗봇의 첫 줄만 지웠다면, 이 논문은 지금도 그 자리에 있었을 것이다.

심사과정에서 무슨 일이 생겼을까?

논문 한 편이 게재되기까지 원고는 적어도 네번은 꼼꼼하게 읽힌다. 교신저자와 공동저자, 담당 편집인, 둘 이상의 심사자, 그리고 교열·조판 단계의 출판사 직원이다. 그러고 보면 그들 중 누구도 서론의 첫 문장을 읽지 않았거나, 읽고도 지나쳤다는 말이다. 전자라면 심사가 이루어지지 않은 것이고, 후자라면 심사가 무엇을 보는지를 다시 묻게 된다.

먼저 동료심사는 원고의 과학적 내용을 평가하는 절차다. 심사자는 방법이 타당한지, 데이터가 결론을 지지하는지, 선행 연구와의 관계가 정확한지를 본다. 이런 관점에서 서론의 첫 문장에 관심을 두지 않은 것도 이해는 된다. 리튬금속 전지가 유망하다는 문장은 이 분야의 모든 논문이 쓰는 문장이 아닐까. 심사자의 눈은 그 다음, 실험 설계와 그림을 주목하기 십상이고, 챗봇 지문은 남아 있었다.
그다음 교열과 조판은 문장을 읽지만 내용을 읽지 않는다. 문법과 서식을 맞추는 사람에게 “Certainly, here is a possible introduction for your topic:”는 문법적으로 완전한 영어 문장이다. 대형 출판사의 교열은 상당 부분 외주와 자동화로 이루어지며, 그 과정에서 문장의 출처를 묻는 단계는 없다. 결국 이 문장을 걸러낼 수 있는 사람은 내용과 문장을 함께 읽는 사람, 곧 저자 자신뿐이었다.

결국 이 논문을 걸러낸 것은, 이것도 흥미로운데, 출판 체계 외부에 존재하는 자동화된 탐색이었다. 처음 지적한 Cabanac의 도구는 “as an AI language model”, “regenerate response”, “as of my last knowledge update” 같은 문구를 전체 문헌에서 검색한다. Scholarly Kitchen이 2024년 3월 같은 방식으로 Dimensions를 훑었을 때 “Certainly, here is”로 시작하는 연구논문은 열 편이었고, 그중 여덟은 ChatGPT를 다룬 논문이었다. 전체 570만 편 가운데 두 편. 수치로는 위기가 아니다. 그러나 이 수치는 지문을 남긴 논문의 수일 뿐, 지문을 지운 논문의 수는 아무도 모른다.

관련해서 어떤 규범이 있는가

사건이 일어난 2024년 초는 생성형 AI에 관한 출판 규범에 관련된 입장 수렴이 어느 정도 이루어진 시점이다. COPE는 2023년 2월 성명에서 AI 도구는 제출된 연구에 책임을 질 수 없으므로 저자가 될 수 없고, 저자는 AI가 생성한 부분을 포함한 원고 전체에 전적으로 책임진다고 밝혔다. ICMJE와 WAME가 같은 해 같은 취지를 이어받았고, Elsevier를 포함한 주요 출판사들이 이를 투고규정에 옮겼다. 즉 이 논문은 규범이 없는 공백에서가 아니라, 규범이 이미 있는 상태에서 게재되었다.

하지만 선언문을 요구하는 정책은 저자가 선언하지 않으면 기능할 수 없다. 심사자에게 AI 사용 여부를 감정하라는 지침은 어디에도 없고, COPE는 오히려 심사자가 스스로 탐지기를 돌리지 말라고 권고한다. 반면 일단 미공개가 드러나자 규범은 정확히 예정된 경로를 밟았다. 정책 위반이 확인되었고, 철회가 이루어졌으며, 고지문은 그 사유를 정책의 언어로 적었다. 즉 규범은 사후에나 작동한다. 이 사건은 ICMJE가 2026년 1월 개정에서 신설한 문장, 곧 AI 사용의 미공개는 정정 조치의 대상이 될 수 있으며 상황에 따라 연구부정행위로 간주될 수 있다는 조항의 선행 사례로 읽힌다. 2023년의 규범은 “공개하라”고 말했지만 공개하지 않았을 때 무엇이 일어나는지는 말하지 않았다. 2024년의 철회는 그 빈칸을 실무로 채웠고, 2026년의 개정은 그 실무를 문서로 만들었다. 규범은 사건을 예방하지 못했지만, 사건은 규범을 완성했다.

내부 검토의 부재: 사설이 없다

이 사건에 관해 『Surfaces and Interfaces』도 Elsevier도 editorial 을 내지 않았다. 확인한 범위에서 출판사의 공식 성명도 없다. 당시 보도들은 출판사의 입장을 인용하지 못했고, 한 논평자는 “논문은 수정도 철회도 되지 않은 채 그대로 있다”고만 적었다. 공식 기록은 철회 고지 한 건이 전부다.

철회 고지는 저자의 위반을 기록하는 문서다. 그것은 “저자들이 공개 없이 AI를 썼다”고 말하지, “우리의 심사가 그것을 보지 못했다”고는 말하지 않는다. 챗봇의 첫 줄이 어떻게 네 단계를 통과했는지, 심사자는 서론을 읽었는지, 편집인은 심사 보고서를 어떻게 판단했는지, 같은 일을 막기 위해 무엇을 바꿨는지는 어디에도 적혀 있지 않다. 출판 체계는 저자에게 설명 책임을 물었지만 자신의 설명 책임은 다하지 않았다. 발견된 것이 데이터의 결함이 아니라 심사의 결함이었음에도 편집위원회는 자기 반성을 하지 않는다. 이 사건을 저자의 위반으로만 기록하고 닫았다는 것은, 심사 과정의 실패를 설명할 의무를 출판 체계가 아직 자기 것으로 받아들이지 않고 있다는 뜻이다.

남아 있는 질문

이런 질문이 남는다. 첫째, 공개의 문턱은 어디인가. 저자들이 ChatGPT에 요청한 것은 서론의 초안이었다. 같은 도구로 문법만 고쳤다면 Elsevier의 정책은 선언을 요구하지 않았을 것이다. 문법 교정과 초안 생성 사이에는 문장 다듬기, 구조 제안, 문헌 요약, 번역 같은 넓은 회색지대가 있고, 어느 출판사도 그 경계를 같은 자리에 긋지 않는다. 이 논문은 경계의 먼 쪽에 있었기 때문에 판단이 쉬웠을 뿐, 경계 자체는 여전히 불분명하다.
둘째, 규범은 무엇에 의존하는가. 이 논문이 적발된 것은 저자가 지문을 지우지 않았기 때문이다. 지문을 지운 논문은 적발되지 않는다. 탐지기는 비원어민 저자를 오탐하고, COPE는 탐지기에 원고를 올리는 것 자체를 비밀유지 위반으로 본다. 결국 공개 의무는 저자의 정직에 기대어 있고, 정직하지 않은 저자는 부주의할 때만 잡힌다. 이것은 규범의 결함이라기보다 규범의 조건이다. 동료심사는 언제나 저자의 정직을 전제로 작동해 왔고, 생성형 AI는 그 전제를 없애는 것이 아니라 그 전제가 얼마나 많은 것을 떠받치고 있는지를 드러낸다.
셋째, 한국의 학술지는 준비되어 있는가. 이 사건에서 Elsevier가 철회를 정당화할 수 있었던 것은 위반할 조항이 투고규정에 있었기 때문이다. Ahn(2024)의 조사에 따르면 KCI 상위 100종 의약학 학술지 가운데 AI 조항을 둔 곳은 18%였다. 대한의학학술지편집인협의회가 2025년 5월 가이드라인 4판에 상세한 지침을 넣었지만, 개별 학술지의 투고규정이 그것을 받아 적지 않으면 구속력이 생기지 않는다. 같은 문장이 국내 학술지에 실렸을 때, 편집인이 기대어 철회할 조항이 있는가?

실수로 한 문장을 다듬지 않았고 그 문장은 네 단계를 통과했다. 구조의 문제다. 위반이라면 철회로 해소 되겠지만 구조는 여전히 설명을 요구한다. 이 사건에서는 아직 설명이 없다.

참고

답글 남기기