AI 답안이 로스쿨 교수 답안보다 더 낫다는 블라인드 테스트 결과

• AI가 로스쿨 교수 답변보다 낫다는 꽤 센 결과가 나옴

  • 미국 스탠퍼드, 예일 등 14개 로스쿨 소속 계약법 교수 16명이 참여한 실험임
  • 교수들이 낸 대표 질문 40개에 대해 인간 교수와 AI가 각각 3분 분량의 주관식 답변을 작성함
  • 평가자는 답변 작성자가 사람인지 AI인지 모르는 상태에서 “내 학생에게 어느 답변이 더 유익한가”만 보고 골랐음

• 결과는 AI 쪽으로 크게 기울었음

  • 총 2,918번의 1대1 블라인드 비교에서 제미나이 2.5 프로는 평균 승률 75.92%를 기록함
  • 노트북LM도 74.75% 승률로 인간 교수 답변을 앞섬
  • 대충 4번 비교하면 3번은 교수가 AI 답변을 더 낫다고 고른 셈이라 꽤 충격적임

• 더 흥미로운 건 이게 단순 암기 테스트가 아니라 법적 추론 테스트였다는 점임

  • 연구진은 모호한 상황에서 법적 기준을 찾아 방어 가능한 결론을 내는 능력을 봤다고 설명함
  • 제미나이는 가상 사례 질문에서 74.24%, 사례·조문 암기 영역에서 77.17% 승률을 기록함
  • 노트북LM도 각각 72.69%, 76.80%로 인간 교수 답변보다 높은 평가를 받음

• 검색증강생성(RAG)을 붙인 노트북LM이 기본 제미나이보다 낮게 평가된 것도 포인트임

  • 노트북LM은 전공 교재를 참조하도록 구성됐는데, 제미나이 2.5 프로보다 승률이 조금 낮았음
  • 연구진은 긴 문서를 문맥에 넣으면 관련 자료가 희석되고 노이즈가 섞일 수 있다고 봄
  • “문서 많이 넣으면 더 정확해지겠지”라는 직관이 실제 제품에서는 쉽게 깨질 수 있다는 사례임

• 이후 더 최신 모델을 넣은 2차 테스트에선 격차가 더 벌어진 것으로 나옴

  • 연구진은 라마-4 매버릭에 교수 모범답안을 학습시켜 재현성을 확인하고 AI 심사관으로 활용함
  • 9개 최신 AI 모델 비교에서는 클로드 오퍼스 4.7이 1위를 차지함
  • 추가 평가에 들어간 모든 AI 모델이 평균적으로 실제 로스쿨 교수 답변보다 높은 평가를 받았고, 인간 교수진은 최하위에 머묾

• 그렇다고 “교수 끝났다”로 받아들이면 너무 단순함

  • 연구진은 상시 AI 튜터 가능성을 제시하면서도 사용 범위 제한, 답변 거부 정책, 일관성, 출처 표기, 교수에게 넘기는 경로가 필요하다고 봄
  • 국내 법조계에서도 AI가 표준 질문에는 빠르고 구조화된 답을 줄 수 있지만, 직업윤리나 가치판단 훈련까지 대체하긴 어렵다는 반응이 나옴
  • 결국 AI는 교수를 없애는 도구라기보다 설명, 토론, 사례연구, 채점 피드백을 보조하는 교육 인프라에 가까워 보임

---

기술 맥락

• 이번 실험에서 중요한 선택은 범용 대형 언어 모델(LLM)과 교재 기반 검색증강생성(RAG)을 나란히 비교했다는 점이에요. 단순히 “AI가 똑똑하다”가 아니라, 외부 지식을 붙인 구성이 실제 사용자에게 더 도움이 되는지를 본 거라 제품 설계 관점에서 의미가 커요.

• 검색증강생성이 낮게 나온 이유는 긴 문맥이 모델에게 항상 좋은 재료가 아니기 때문이에요. 관련 없는 내용이 섞이면 답변의 초점이 흐려지고, 모델이 중요한 근거보다 주변 노이즈를 더 크게 반영할 수 있거든요.

• 법학 교육이라는 맥락도 중요해요. 여기서는 정답 하나를 맞히는 게 아니라 모호한 사실관계에서 논리를 세우고 학생에게 이해 가능한 설명을 주는 능력을 평가했어요. 그래서 개발자에게도 “도메인 전문가용 AI를 어떻게 평가할 것인가”라는 질문으로 읽을 만해요.

• 실제 서비스로 옮기려면 모델 성능보다 운영 정책이 더 중요해져요. 답변하면 안 되는 질문을 거부하고, 출처를 남기고, 어려운 사례는 인간 전문가에게 넘기는 흐름이 없으면 좋은 벤치마크 점수만으로는 현장에 넣기 어렵거든요.