ChatGPT 이용한 논문 부정 사용

과학적 추적자들이 논문에서 ChatGPT를 부정 사용한 사례를 발견

지난 8월 9일, 학술지 Physica Scripta (impact factor : 2.9 vol 2020 기준) 에서 복잡한 수학 방정식에 대한 새로운 해결책을 찾으려는 논문이 발표되었습니다. 이 논문은 진짜처럼 보였지만 과학적 추적자 Guillaume Cabanac는 논문의 3 페이지에서 이상한 구문을 발견했습니다. 'Regenerate response(응답 재생성)'이라는 구문이었습니다.
이 구문은 ChatGPT라는 무료로 사용 가능한 AI 챗봇의 버튼 레이블이었는데, 이 챗봇은 사용자가 질문을 제기하면 유창한 텍스트를 생성합니다. Guillaume Cabanac은 프랑스 툴루즈 대학의 컴퓨터 과학자로, 이 페이지를 PubPeer라는 과학자들이 발표한 연구를 토론하는 웹사이트에 게시했습니다.

 

윤리 정책의 위반, 누구도 책임 소지가 없는 상황 

저자들은 제출 시 이 도구를 사용한 사실을 밝히지 않았기 때문에, 출판사인 IOP Publishing의 편집 및 연구 무결성 담당자인 Kim Eggleton에 따르면 저자들은 이제 논문을 작성하는 데 ChatGPT를 사용했음을 확인했습니다. 논문은 5월에 제출되었고 7월에 개정판이 보내졌으며 피어 리뷰 과정 중 2개월 동안 이상점이 발견되지 않았습니다. 출판사는 이유로 논문을 철회하기로 결정했습니다. “이것은 우리의 윤리 정책 위반입니다.”라고 Eggleton이 말합니다. 대응 저자인 Abdullahi Yusuf는 이와 관련한 Nature의 요청에 응답하지 않았습니다.

얼음산의 일부일 뿐

ChatGPT 지원 논문이 피어 리뷰 논문에 밝히지 않고 슬립되는 유일한 경우가 아닙니다. 지난 4월 이후로 Guillaume Cabanac은 'Regenerate response(응답 재생성)' 또는 'As an AI language model, I ...'라는 특이한 ChatGPT 구문을 포함하는 논문을 한 두 더지기 이상을 플래그 처리하고 PubPeer에 게시했습니다. Elsevier와 Springer Nature를 포함한 많은 출판사는 저자들이 ChatGPT 및 기타 대형 언어 모델(Large Language Model, LLM) 도구를 사용하여 논문을 작성할 수 있지만 그 사실을 밝힌다면 허용한다고 밝혔습니다. (Nature의 뉴스 팀은 Springer Nature 출판사와 독립적으로 편집되고 있습니다.)
키 구문을 검색하면 저자들이 표식을 지우지 않은 단순한 ChatGPT의 미발표 사용만 포착하므로, ChatGPT의 미발표 도움을 받아 피어 리뷰된 논문의 숫자는 훨씬 더 많을 것으로 예상됩니다. Cabanac는 Elsevier 학술지에서도 일반적인 ChatGPT 구문을 감지했습니다. 최근에는 개발도상 국가에서 전자 상거래의 화석 연료 효율에 미치는 영향을 탐구하는 논문으로, 이 논문은 8월 3일 Resources Policy에 게시되었습니다. Cabanac은 논문에서 일부 방정식이 이상하다는 점을 발견했지만 구문이 눈에 띄는 곳은 표 위에 있었습니다: 'Please note that as an AI language model, I am unable to generate specific tables or conduct tests …'라는 구문이었습니다.

Elsevier 대변인은 이 문제를 "인지하고 있으며" 조사 중이라고 Nature에 전했습니다. 이 논문의 저자들은 중국의 삼방 대학(Liaoning University)과 중국 국제무역경제협력(Chinese Academy of International Trade and Economic Cooperation)에 소속된 연구원으로, Nature의 요청에 대한 응답이 없었습니다.

엄격한 유창함

컴퓨터 소프트웨어에 의해 완전히 또는 일부로 작성된 논문이라고 해도, 일반적으로 그 사실을 밝히지 않았더라도 이들을 사람이 작성한 것과 구분할 수 있는 구체적인 언어 패턴 또는 번역된 "골치 아픈 구문"과 같은 미묘한 흔적을 포함하고 있다고 말합니다. 영국 연구 무결성 기관인 UK Research Integrity Office의 연구 무결성 매니저 Matt Hodgkinson은 저자들이 ChatGPT 구문을 삭제하면, 더 정교한 챗봇의 유창한 텍스트를 "거의 발견하기 어려운" 것이라고 말합니다. 그는 "이것은 사기꾼 대 방어자들 간의 경쟁"이라고 말합니다. 즉, "사기꾼 대 이들을 차단하려는 사람들 간의 경쟁"입니다.

Guillaume Cabanac와 다른 사람들은 또한 ChatGPT의 미발표 사용 (특이한 구문을 통해)이 피어 리뷰되지 않은 학회 논문 및 사전 인쇄물에서 발견되었습니다. 이러한 문제가 PubPeer에 제기되면 저자들은 때로 미발표 상태로 ChatGPT를 사용하여 작업을 생성한 사실을 인정하기도 합니다.

샌프란시스코, 캘리포니아의 미생물학자이자 독립적인 연구 무결성 컨설턴트인 Elisabeth Bik은 ChatGPT 및 다른 생성형 AI 도구의 급속한 성장이 연구 출력을 증가시키려는 연구자들에게 가짜 논문을 생성 및 판매하는 기업인 '페이퍼 밀(Paper Mill)'에 도움이 될 것이라고 말합니다. 그녀는 "이것은 문제를 100배나 악화시킬 것"이라며 "우리는 이미 인식하지 못하는 이런 논문의 유입을 경험하고 있다는 점에서 매우 걱정스럽습니다."라고 말합니다.

 

한계에 도전, 직접 확인 하는 자세 필요

저널에 출판되거나 출판사에게 제출된 논문 중 컴퓨터 소프트웨어에 의해 완전히 또는 일부로 작성된 논문은 새로운 문제를 가리킵니다. 그러나 저자들이 ChatGPT 구문을 삭제하면, 더 정교한 챗봇의 유창한 텍스트는 "거의 발견하기 어렵다"고 Hodgkinson은 말합니다. 그는 "이것은 사실상 무기 경쟁"이라고 말합니다. "사기꾼 대 이들을 막으려는 사람들의 싸움입니다." ChatGPT와 다른 LLM(Large Language Model) 들은 가짜 참고문을 생성하기 쉬운 경향이 있으며, 이것은 논문에서 이러한 도구의 사용을 발견하려는 피어 리뷰어에게 신호가 될 수 있습니다. Hodgkinson은 "참고문이 실제로 존재하지 않으면 빨간 깃발이 됩니다."라고 말합니다. 예를 들어, 웹사이트 'Retraction Watch'은 ChatGPT를 사용하여 작성된 백서에 대한 보고서를 발표했는데, 이 보고서는 해당 작업을 인용한 연구자가 참고문이 가짜임을 알아차려 발견한 것입니다.

코펜하겐 주립 혈청 연구소(State Serum Institute)의 미생물학자 Rune Stensvold는 한 학생이 Stensvold가 2006년에 그의 동료 중 한 명과 공저한 것으로 보이는 논문의 사본을 요구했을 때 가짜 참조 문제에 직면했었습니다.  그런 논문은 존재하지 않았습니다. 이 학생은 장내 기생충 속인 Blastocystis에 관한 논문을 만들어 주기를 AI 챗봇에 요청했으며, 챗봇은 Stensvold의 이름이 기재된 참고문헌을 만들어 냈습니다. 그는 "그것은 정말 실제처럼 보였습니다."라고 말합니다.

"논문 검토를 받을 때 Reference 부분을 먼저 살펴보는 것이 좋을 것 같다는 교훈을 얻었습니다."