arXiv, AI가 지어낸 참고문헌 넣은 연구자 1년 차단한다

arXiv가 AI가 지어낸 참고문헌을 넣은 원고에 대해 꽤 센 제재를 꺼냈음

• 원고에서 대규모 언어 모델(LLM)이 만든 가짜 레퍼런스가 발견되면, 해당 연구자는 arXiv에 1년 동안 논문을 올릴 수 없음
• 단순 오탈자나 형식 문제 수준이 아니라, AI 결과물을 제대로 확인하지 않았다는 ‘반박하기 어려운’ 흔적이 있을 때 적용됨

제재는 1년으로 끝나지 않음

• Thomas Dietterich arXiv 컴퓨터과학 섹션 의장에 따르면, 1년이 지난 뒤에도 바로 정상 복귀가 아님
• 그 이후에는 ‘신뢰할 만한 동료심사 venue’에서 이미 승인된 논문만 arXiv에 올릴 수 있음
• 사실상 “한 번 걸리면 한동안 선공개 플랫폼으로서의 arXiv 접근권을 잃는다”는 얘기임

arXiv가 문제 삼는 건 AI 사용 자체가 아니라, 검증 안 한 AI 산출물임

• LLM은 문헌 조사나 초안 작성 같은 합법적인 연구 보조 도구로 이미 많이 쓰이고 있음
• 하지만 가짜 인용, 존재하지 않는 논문, “여기 200단어 요약이 있습니다. 수정할까요?” 같은 챗봇 흔적이 원고에 남아 있으면 얘기가 달라짐
• Dietterich는 이런 원고에 대해 “저자들이 LLM 결과를 확인하지 않았다는 강한 증거가 있으면, arXiv는 제출물의 어떤 것도 신뢰할 수 없다”고 봄

연구자들 반응은 갈림

• 일부는 “좋은 조치다, 왜 AI 환각만 보냐, 슬롭 전체와 싸워야 한다”는 식으로 환영함
• 반대로 Reviewer3 창업자 Natalie Khalil은 “arXiv에서 막아도 연구자는 다른 곳에서 계속 연구할 것”이라며 증상이 아니라 원인을 봐야 한다고 지적함
• Dietterich 쪽 입장은 단호함. 무책임한 연구자가 다른 곳에 올릴 수 있다는 게 arXiv에서 허용해야 할 이유는 아니라는 것

이 이슈가 커지는 배경에는 ‘AI 슬롭’이 있음

• AI 슬롭은 생성형 AI로 만든 저품질·무의미 콘텐츠를 말함
• preprint 서버들은 빠르게 논문을 공유한다는 장점 때문에, 검증이 약해지면 이런 콘텐츠에 더 취약해짐
• 일부 플랫폼은 가이드라인 위반 저자를 차단하고, 다른 플랫폼은 AI 사용 우려가 큰 제출 유형 자체를 배제하는 식으로 대응 중

흥미로운 포인트는 가짜 참고문헌이 단순 실수가 아니라 신뢰 붕괴의 신호로 취급된다는 점임

• Dietterich는 “이런 단순한 것도 확인하지 않았다면, 대체 다른 건 뭘 확인하지 않은 거냐”는 질문을 던짐
• 논문 공장(paper mill)처럼 저자 자리나 인용을 판매하는 업체에서 AI 생성 콘텐츠가 흘러들어오는 사례도 언급됨
• 결국 레퍼런스 하나가 틀린 문제가 아니라, 연구 생산 과정 전체가 검증 없이 자동화되는 문제로 번지는 중임