챗지피티가 학습에 좋다던 유명 논문, 결국 철회됨

챗지피티가 학생 학습에 도움이 된다고 크게 주목받았던 논문이 출판 약 1년 만에 철회됨

• 논문은 2025년 5월 6일 스프링거 네이처의 Humanities & Social Sciences Communications에 실렸음
• 출판사는 분석상 불일치와 결론에 대한 신뢰 부족을 철회 이유로 들었음

이 논문이 위험했던 이유는 주장이 꽤 세게 포장됐다는 점임

• 연구진은 챗지피티가 학습 성과 개선에 “큰 긍정적 영향”을 준다고 주장했음
• 학습 인식 개선과 고차 사고 촉진에도 각각 중간 수준의 긍정 효과가 있다고 봤음
• 대상은 51개 기존 연구를 묶은 메타분석(meta-analysis)이었고, 챗지피티 사용 실험군과 미사용 대조군의 효과 크기(effect size)를 비교하는 방식이었음

문제는 이 메타분석이 애초에 섞으면 안 되는 연구들을 섞었을 가능성이 크다는 비판임

• 에든버러대 벤 윌리엄슨은 일부 연구가 품질이 매우 낮거나, 방법·집단·표본이 너무 달라 정확히 비교하기 어렵다고 지적했음
• 쉽게 말하면 “사과, 감자, 노트북 무게를 평균 내서 식품 영양을 말한” 격에 가까운 상황일 수 있음

타이밍도 이상하다는 지적이 나옴

• 챗지피티는 2022년 11월 공개됐고, 논문은 그로부터 약 2년 반 뒤에 출판됐음
• 윌리엄슨은 그 짧은 기간 안에 챗지피티와 학습 성과를 다룬 고품질 연구 수십 편이 설계, 수행, 심사, 출판까지 끝났다는 게 현실적으로 어렵다고 봤음

이 사건은 “인공지능이 교육에 좋다”는 결론보다 “그 결론을 뒷받침하는 근거가 얼마나 단단한가”가 더 중요하다는 얘기임

• 생성형 인공지능 도입은 학교, 기업 교육, 코딩 학습 플랫폼까지 영향을 주는 주제라 숫자 하나가 정책과 제품 결정으로 바로 이어질 수 있음
• 그런데 인용 수와 소셜 미디어 확산이 빠르면, 나중에 철회돼도 이미 만들어진 인식은 오래 남음

개발자 입장에서도 남 얘기가 아님

• 모델 도입 효과를 주장하는 논문, 벤치마크, 백서가 쏟아지는 시대라 “효과가 있다”보다 “무엇과 비교했고, 샘플은 충분했고, 재현 가능한가”를 먼저 봐야 함
• 특히 교육용 인공지능, 코딩 튜터, 사내 생산성 도구처럼 사람의 학습과 판단을 바꾸는 제품은 평가 설계가 허술하면 과장된 성공 사례가 되기 쉬움