가짜 저자 인용을 신고했는데도 AI 논문 2편이 구두 발표로 통과됐다

무슨 일이 있었나

• 두 연구자가 이번 여름 리뷰한 AI/ML 논문들에서 LLM성 저품질 논문과 가짜 인용을 대량으로 봤다고 털어놓음

  • Caleb은 11편을 리뷰했고, 그중 5편은 참고문헌에 환각 저자나 아예 존재하지 않는 논문이 있었다고 함
  • Isaac도 11편을 리뷰했고, 그중 9편이 LLM이 만든 저품질 글이라고 봤다고 함
  • 대상은 NeurIPS position paper, WACV, TerraBytes 워크숍 등이 섞여 있음

• 제일 황당한 사례는 실제 논문을 인용하면서 저자 이름만 가짜로 바꾼 경우임

  • 논문 제목, venue, 다른 저자들은 진짜라서 대충 훑으면 통과할 수 있음
  • 한 WACV 논문은 SatMAE 저자를 “Yuyang Cong, Saurabh Khanna, Chen Meng”처럼 적었는데, 실제 arXiv:2207.08051 저자 시작은 “Yezhen Cong, Samar Khanna, Chenlin Meng”이라고 함
  • Isaac은 본인이 아는 저자의 논문이 가짜 저자 이름으로 인용된 사례도 봤다고 함

• 저자들은 완전 가짜 참고문헌과 가짜 저자 인용을 사실상 같은 문제로 봄
  • 자기 참고문헌도 읽지 않고 검증하지 않았다면, 논문 본문, 코드, 데이터셋도 얼마나 믿을 수 있냐는 논리임
  • Isaac은 “ChatGPT에 참고문헌이 가짜인지 확인해달라고 넣는 것조차 안 했다면 왜 내가 이 논문을 읽어야 하냐”는 식으로 말함
  • 결론은 간단함. 환각 참고문헌이 있으면 acceptance 이전에 desk reject해야 한다는 쪽임

LLM 논문 냄새는 어디서 나나

• 흔한 문체 신호도 있지만, 더 신뢰할 만한 신호는 수치 불일치라고 함

  • “It’s not X, it’s Y”, “The real X is Y” 같은 표현, 굵은 글씨, em dash 남발은 익숙한 LLM 냄새임
  • 더 심각한 건 본문 숫자와 표 숫자가 안 맞는 경우임
  • 실험을 다시 돌린 뒤 표는 바꿨지만, 에이전트가 쓴 본문 설명은 업데이트하지 않아 생기는 문제로 봄

• Claude식 논문 문체에 대한 불만도 꽤 구체적임

  • 가능한 모든 숫자와 디테일을 본문에 밀어 넣는 경향이 있다고 함
  • discussion section을 시키면 표의 수치를 그대로 반복하고, 새로운 해석은 부족한 경우가 많다고 함
  • 최근 모델은 em dash 대신 colon을 많이 쓰고, B2B SaaS 마케팅 문체가 튀어나온다는 평가도 나옴

• 리뷰어들의 워크플로도 바뀌었음

  • Caleb은 초록을 읽은 뒤 바로 참고문헌을 훑고, bib-audit 스킬을 쓸 거라고 함
  • Isaac은 이제 “이 논문을 어떻게 desk reject할지” 찾는 데 시간을 더 쓰게 됐다고 함
  • SOTA 주장인데 향상이 1% 미만이고 평균이나 표준편차가 없거나, 본문 숫자와 표가 안 맞거나, 과한 수식으로 citation을 대체하는 경우를 본다고 함

LLM 사용 자체가 문제냐

• 둘 다 LLM을 연구와 글쓰기에 매일 쓴다고 밝힘

  • Caleb은 이 블로그 글의 일부도 에이전트 초안을 거쳤지만, 출력물을 검증하고 편집하고 다시 썼다고 함
  • Isaac은 Claude에게 애매한 부분을 찾게 하고, 객관식 질문으로 자신을 인터뷰하게 해서 의도를 맞추는 방식이 유용했다고 함
  • 참고문헌은 bib-audit을 돌려도 Google Scholar, IEEE, CVF 같은 곳에서 직접 확인한다고 함

• 차이는 “도구로 썼는가, 출력물을 제출했는가”임

  • LLM 도움을 받아도 논문이 흥미롭고 실험이 유효하며 재현 가능하면 괜찮다는 입장임
  • 문제는 작성자 본인도 제대로 읽지 않은 LLM 출력물을 그대로 학회에 던지는 경우임
  • 저자들은 “학습하는 과정이 글쓰기의 재미인데 그걸 건너뛰면 뭐 하는 거냐”는 식으로 봄

학회는 뭘 해야 하나

• LLM 사용 공개 의무는 효과가 제한적일 거라고 봄

  • 선의의 사람에게는 유용할 수 있지만, 나쁜 의도로 제출하는 사람은 어차피 제대로 공개하지 않을 거라는 얘기임
  • TorchGeo에는 “LLM 없음”, “LLM 보조”, “LLM이 전부 작성” 같은 계층형 정책을 넣었지만, 마지막 항목을 누가 자발적으로 체크하겠냐는 회의가 있음

• 더 필요한 건 desk reject 메커니즘이나 플래그 도구라고 주장함

  • 지금은 리뷰어들이 사실상 저품질 논문 필터링을 떠맡고 있음
  • 학회 제출자가 논문을 내면 리뷰 4~5편을 의무로 맡는 구조도 있어서, 리뷰 부담은 더 커졌다고 함
  • AAAI 2027 abstract submission이 4만8000건이었다는 수치도 언급됨. 규모부터 미쳤음

• 책임은 저자, 지도교수, 조직위, 학회 모두에게 있다고 봄

  • 하지만 가장 직접적인 책임은 낮은 노력의 논문을 던지는 저자에게 있다는 쪽임
  • 저자들은 “어떤 수업 프로젝트든 이제 NeurIPS 제출물처럼 만들 수 있다. 하지만 그래야 하냐?”고 묻고 있음

---

기술 맥락

• 이 글에서 중요한 기술적 선택은 LLM 사용 금지가 아니라 검증 절차 강화예요. 연구자들이 Claude를 쓰는 건 인정하지만, 참고문헌과 수치, 실험 결과를 사람이 다시 확인해야 한다는 선을 긋고 있어요.

• hallucinated citation이 위험한 이유는 겉보기엔 아주 그럴듯하기 때문이에요. 제목과 venue가 맞고 저자 이름만 살짝 틀리면, 리뷰어가 논문 내용을 평가하느라 바쁠 때 쉽게 놓칠 수 있어요.

• desk reject가 필요한 이유도 리뷰 비용 때문이에요. AI/ML 학회 제출 규모가 이미 너무 커서, 준비 안 된 논문까지 정식 리뷰로 넘기면 좋은 논문을 읽을 시간이 줄어들거든요.

• 개발자에게도 같은 패턴이 와요. LLM이 만든 코드의 테스트가 통과해도 README, 벤치마크 숫자, 참고 링크, 설정 예제가 틀릴 수 있어요. 그래서 자동 생성물을 붙일수록 출처 검증과 일관성 검사가 더 중요해져요.