스탠퍼드 법학 연구, 교수들은 동료 답변보다 AI 답변을 더 선호했다

• 스탠퍼드 로스쿨 연구에서 법학 교수들이 동료 교수 답변보다 AI 답변을 더 선호했다는 결과가 나옴

  • 연구 제목은 ‘법학 교수들은 동료 답변보다 AI를 선호한다’에 가까운 내용
  • 계약법 수업에서 학생들이 물어볼 법한 질문에 AI가 효과적인 튜터가 될 수 있는지 본 실험임

• 실험 규모는 작지만 설계는 꽤 빡세게 잡음

  • 미국 로스쿨 소속 법학 교수 16명이 참여함
  • 익명화된 비교 평가가 약 3000개 진행됨
  • 교수들은 답변이 AI가 쓴 것인지, 다른 교수가 쓴 것인지 모르는 상태에서 평가함
  • 결과적으로 AI 답변은 일대일 비교에서 75% 승률을 기록함

• 연구진이 법을 고른 이유도 여기에 있음

  • 기존 AI 평가는 정답이 분명한 과목에 치우친 경우가 많았음
  • 법학은 서로 반대되는 주장도 둘 다 좋은 논증일 수 있음
  • 단순 사실 암기가 아니라, 복잡한 자료를 종합하고 새로운 상황에 적용하고 학생이 이해할 수 있게 설명해야 함

• 참가 교수들은 계약법 관련 대표 질문 40개를 만들고 직접 답변도 작성함

  • 질문은 수업 후나 오피스아워에서 학생이 물어볼 만한 형태였음
  • 이후 AI 답변과 교수 답변을 비교 평가함
  • 연구진은 AI 답변의 길이와 구조가 사람 답변과 비슷해지도록 보정했다고 설명함

• 결과에서 더 눈에 띄는 건 ‘교육적으로 해롭다’는 표시 비율임

  • AI 답변은 3.5%만 교육적으로 해롭다고 표시됨
  • 동료 교수가 쓴 답변은 12%가 해롭다고 표시됨
  • 적어도 이 실험 조건에서는 AI가 이상한 답을 마구 뱉었다기보다, 학생에게 도움이 되는 설명으로 평가받은 셈

• 연구진은 이 결과가 꽤 놀라웠다고 말함

  • 단순하고 뻔한 질문이 아니라 복잡한 자료를 종합해야 하는 질문이 많았기 때문
  • AI 시스템은 연구 내 최고 수준의 인간 강사와 비슷한 성능을 보였다고 설명됨
  • 구글 노트북엘엠(NotebookLM) 같은 상용·실험적 튜터 시스템도 비교 대상에 포함됐고, 모델별 성능 차이도 있었다고 함

• 그렇다고 연구진이 AI 튜터 전면 도입을 외치는 건 아님

  • 연구는 AI 답변 품질을 평가한 것이지, 실제 수업에 어떻게 넣어야 학습 효과가 극대화되는지는 별도 문제라고 선을 그음
  • 환각, 과의존, 비판적 사고 약화 같은 리스크는 여전히 남아 있음
  • 다만 “AI가 고품질 답변을 줄 수 있냐”에 대한 무조건적 회의론도 이제 설득력이 약해졌다는 입장임

• 개발자에게도 꽤 직접적인 시사점이 있음

  • 사내 지식 봇, 코딩 튜터, 고객 지원 AI를 평가할 때 단순 정답률만 보면 부족함
  • 전문가가 블라인드로 비교했을 때 더 유용한지, 오해를 만들 가능성은 낮은지 같이 봐야 함
  • 특히 정답이 하나가 아닌 도메인에서는 “맞다/틀리다”보다 “전문가 기준에서 방어 가능한 설명인가”가 중요해짐

---

기술 맥락

• 이 연구가 흥미로운 이유는 평가 대상이 법학이었다는 점이에요. 법은 수학 문제처럼 답이 하나로 떨어지지 않고, 여러 논증 중 어떤 설명이 더 설득력 있는지 봐야 하거든요.

• 그래서 연구진은 블라인드 평가를 썼어요. 교수가 답변 출처를 모르면 “AI니까 별로일 것” 또는 “동료 교수니까 더 믿을 만할 것” 같은 선입견을 줄일 수 있으니까요.

• AI 튜터의 핵심 가치는 온디맨드 설명이에요. 학생이 수업 직후나 혼자 공부하다 막혔을 때 바로 질문할 수 있고, 이번 연구에서는 그런 답변이 교수 평가 기준에서도 꽤 높은 품질로 보였다는 거예요.

• 하지만 품질 좋은 답변과 좋은 교육 시스템은 같은 말이 아니에요. AI가 답을 너무 잘 주면 학생이 스스로 논증을 만드는 훈련을 덜 할 수도 있고, 환각이 드물게 섞여도 법학 교육에서는 꽤 위험할 수 있어요.

• 개발 조직에서 AI 도구를 평가할 때도 비슷해요. 단순 정확도 대신 전문가 선호도, 유해한 답변 비율, 실제 업무 흐름에서의 배치 방식을 같이 봐야 모델 도입 판단이 덜 허술해져요.