AI가 논문과 심사평까지 쓰는 시대, 문제는 탐지 기준이 엉망이라는 것

• AI가 논문만 쓰는 게 아니라 동료심사 보고서까지 꽤 깊게 들어온 정황이 나옴

  • 네이처가 소개한 여러 연구에 따르면, 챗GPT 출시 이후 학술 투고와 심사 과정에서 AI 생성 텍스트 비율이 빠르게 늘고 있음
  • 미국 그래파이트가 3월 말 새 웹페이지 5만5000개를 분석했더니, 장르를 가리지 않고 AI가 쓴 글이 사람 글보다 많았다는 결과도 나옴

• 문제는 “얼마나 AI가 썼냐”를 재는 도구가 아직 믿기 어렵다는 것

  • 일부 AI 탐지 도구는 AI가 전체를 쓴 글과 사람이 쓴 글을 AI가 조금 다듬은 글을 제대로 구분하지 못함
  • 시스템마다 “AI 생성” 기준이 달라서, 인간이 쓴 텍스트를 AI 생성으로 오판하는 사례도 있음

• 펜실베이니아대 연구팀은 한 학술지의 투고 논문 초록 약 7000건과 동료심사 보고서 약 8000건을 분석함

  • 분석 기간은 2021년 1월부터 2026년 2월까지였고, AI 탐지에는 팡그램 랩스 도구를 사용함
  • 2022년 11월 챗GPT 출시 뒤 투고 건수는 42% 증가함
  • 2026년 2월 기준, AI 생성 텍스트 비율이 70%를 넘는 투고 논문은 2024년 초보다 2배 이상 늘었음
  • 동료심사 보고서도 30% 이상에서 AI 생성 텍스트가 확인됨

• 생의학 쪽에서도 비슷한 신호가 잡힘

  • 싱가포르 난양공대 리처드 셰 연구원은 사이언스, 네이처, 셀 등에 2025년 게재된 생의학 논문 약 5000편을 검사함
  • 6편은 완전한 AI 작성으로 분류됐고, 8편 중 1편에는 AI 생성 텍스트가 일부 포함된 것으로 나타남
  • 다만 이 결과도 탐지 도구의 한계를 전제로 봐야 함

• 컴퓨터과학 분야는 증가세가 더 노골적임

  • 아카이브(arXiv)에 공개된 연구는 2020~2025년 원고 12만4000여 건을 두 가지 AI 탐지 방식으로 분석함
  • 컴퓨터과학 리뷰 논문 중 AI 생성 텍스트 포함 비율은 2023년 7%에서 2025년 43%로 상승함
  • 비리뷰 원고도 같은 기간 3%에서 23%로 늘었음
  • 이 연구도 전면 AI 작성과 부분 AI 생성을 구분하지 않았고, 논문 품질 자체를 평가한 건 아님

• 워터마킹은 대안으로 떠오르고 있지만, 이것도 만능키는 아님

  • 국제머신러닝학회(ICML)는 워터마킹 기술로 동료심사 보고서의 AI 생성 텍스트를 탐지해 논문 497편을 반려함
  • 다만 워터마킹은 모델과 플랫폼이 협조해야 효과가 커서, 모든 AI 생성 텍스트를 포괄하기는 어려움

• 결국 학술계는 “AI 활용”과 “AI 악용”을 구분하는 싸움에 들어간 셈임

  • AI는 연구 속도를 높이고 글쓰기 장벽을 낮출 수 있음
  • 동시에 저품질 논문, 날조 연구, 무성의한 심사 보고서를 대량으로 밀어 넣는 도구가 될 수도 있음
  • 연구자들은 AI 모델이 발전할수록 사람 글처럼 위장하는 능력도 좋아져서 탐지기 역시 계속 정교해져야 한다고 봄

---

기술 맥락

• 여기서 핵심 선택은 “AI 사용 여부”를 금지하느냐가 아니라, 학술 품질 관리에서 어떤 신호를 믿을지 정하는 문제예요. 탐지기 점수만 믿으면 사람이 쓴 글도 AI로 몰릴 수 있고, 반대로 잘 다듬어진 AI 글은 빠져나갈 수 있거든요.

• AI detection은 빠르게 적용할 수 있다는 장점이 있지만, 기준값이 없으면 운영 정책으로 쓰기 애매해요. 전면 생성, 부분 보강, 문법 교정이 모두 다른 행위인데 같은 점수로 묶이면 실제 심사 판단을 왜곡할 수 있어요.

• 워터마킹은 생성 단계에서 식별 신호를 심는 방식이라 사후 탐지보다 깔끔해 보이지만, 모든 모델과 서비스가 같은 방식으로 협조해야 의미가 커져요. ICML처럼 특정 제출 흐름 안에서는 효과가 나지만, 오픈 웹 전체를 커버하기는 어렵다는 얘기예요.

• 개발자 관점에서는 로그, 감사 추적, 출처 검증 같은 기본기가 다시 중요해지는 흐름으로 볼 수 있어요. AI가 만든 결과물을 쓰는 시스템일수록 “누가, 언제, 어떤 모델로, 얼마나 개입했는지”를 남겨야 나중에 품질과 책임을 따질 수 있거든요.