AI 학회에서도 AI 무단 사용 적발, 논문 497편이 한 방에 탈락

AI 연구자들 사이에서 이제는 ‘논문을 AI로 썼나?’뿐 아니라 ‘리뷰도 AI로 돌렸나?’를 의심하는 단계까지 와버림

• 세계 3대 AI 학회 중 하나로 꼽히는 국제머신러닝학회(ICML) 2026에서 논문 497편이 심사와 발표에서 제외됨
• 이유는 피어리뷰(peer review)에 AI를 쓰면 안 된다는 규칙을 어겼기 때문임
• ICML은 논문을 낸 저자들이 서로의 논문을 평가하는 구조인데, 이 평가에 AI를 무단 사용한 사례가 무더기로 걸린 것

문제는 단순히 ‘규칙 위반’이 아니라, 과학 논문 생태계 전체의 신뢰가 흔들리고 있다는 점임

• 생성형 AI는 논문 주제 선정, 작성, 참고문헌 정리, 리뷰까지 연구 전 과정에 스며들고 있음
• 그런데 AI는 그럴듯한 거짓말, 이른바 AI 환각(AI hallucination)을 만들어낼 수 있음
• 그 결과 연구자들끼리도 상대 논문이나 평가를 100% 믿기 어려운 분위기가 커지고 있음

조작 이미지까지 실제 톱 저널에 올라갔다가 10일 만에 철회되는 일도 벌어짐

• 올해 4월 뉴잉글랜드저널오브메디신(NEJM)에 중국 연구진 논문이 실렸음
• 논문에는 산불 연기를 흡입한 사람의 기관지에서 검은색 침전물이 발견됐다는 사진이 포함됐음
• 그런데 사진 속 줄자 눈금 숫자가 이상하다는 지적이 나왔고, AI 조작 가능성이 제기됨
• NEJM은 논문 게재 10일 만에 해당 논문을 철회함

생성형 AI 이후 논문 철회 규모도 눈에 띄게 커졌음

• 철회 논문 추적 사이트 리트랙션 워치(Retraction Watch)에 따르면 2023년부터 매년 약 1만 건의 논문이 철회되고 있음
• 허위 논문은 크게 두 갈래임
• 하나는 논문 실적을 위해 ‘논문 공장’이 AI로 찍어내는 가짜 논문임
• 다른 하나는 연구자가 의도하지 않았더라도 AI가 만든 허위 정보를 제대로 걸러내지 못한 논문임

논문 공장의 속도가 검증 속도보다 훨씬 빠르다는 게 진짜 무서운 포인트임

• 미국 노스웨스턴대 연구진이 지난해 미국국립과학원회보(PNAS)에 발표한 조사에 따르면, 논문 공장이 만드는 허위 논문 산출 속도는 1년 6개월마다 두 배로 늘고 있음
• 반면 학계가 허위 논문을 찾아내 철회하는 속도는 3년 6개월마다 두 배로 늘어나는 수준임
• 연구진 계산으로는 AI 조작이 의심되는 논문의 약 75%가 지금도 학술지에 실려 유통 중임
• 이 추세가 이어지면 2030년대에는 전체 과학 논문의 10% 이상이 논문 공장에서 나온 가짜 논문이 될 수 있다는 전망도 나옴

국내 과학자들도 이제 병목을 ‘GPU 부족’보다 ‘AI 신뢰성’ 쪽에서 보고 있음

• 한국과학기술한림원과 동아일보가 국내 과학기술인 756명을 조사한 결과, AI를 연구에 적용할 때 가장 큰 걸림돌로 58.3%가 신뢰성 및 재현성 문제를 꼽음
• 연구 윤리 및 책임 문제도 51.8%로 뒤를 이었음
• 반면 데이터, 컴퓨팅 인프라, 비용 부족은 38.3%였음
• 작년까지만 해도 AI 연구의 큰 병목으로 인프라가 많이 거론됐는데, 이제는 ‘그래서 그 답을 믿어도 되냐’가 더 큰 문제가 된 분위기임

학술 출판사들은 AI로 AI 논문을 잡는 식의 방어선도 깔고 있음

• 스프링거 네이처는 탐지 AI인 제페토와 스냅샷을 도입함
• 허위 논문을 걸러내기 위한 기술적 조치지만, 문제를 완전히 해결한다기보다는 최소한의 방어막에 가까움
• 결국 AI가 만든 결과물을 다시 검증하는 도구와 사람이 더 많이 필요해지는 구조임

평가 방식도 ‘논문 몇 편 냈냐’에서 ‘연구자가 뭘 실제로 기여했냐’로 옮겨가야 한다는 얘기가 나옴

• 유럽 중심의 연구평가혁신연합(CoARA)은 내러티브 CV라는 방식을 도입하고 있음
• 내러티브 CV는 연구자가 자기 연구가 지식의 지평을 어떻게 넓혔는지 서술형으로 설명하고, 이를 평가하는 방식임
• 논문 수만 세는 평가가 논문 공장과 AI 남용을 부추길 수 있다는 문제의식이 깔려 있음

개발자 관점에서도 이 뉴스는 남 얘기가 아님

• LLM으로 코드 리뷰, 테스트 생성, 문서화, 리서치 요약을 돌리는 팀이 늘고 있음
• 그런데 검증 체계 없이 결과물만 빠르게 쌓으면, 논문 생태계에서 벌어지는 문제가 소프트웨어 조직 안에서도 똑같이 반복될 수 있음
• 앞으로 중요한 건 ‘AI를 썼냐 안 썼냐’보다 ‘AI가 만든 결과를 어떤 절차로 검증했냐’가 될 가능성이 큼