AI가 지어낸 판례를 그대로 냈다가 걸린 사건, 전 세계 1,635건

• 생성형 AI가 지어낸 판례와 법령을 법원에 냈다가 걸린 사례가 전 세계적으로 쌓이고 있음

  • 이를 모은 ‘AI 환각 사례 데이터베이스’까지 등장함
  • 법원·심판소가 판결이나 결정에서 AI 환각을 언급한 사건을 수집하는 DB임
  • 2023년 2분기부터 약 40개국 사례를 모았고, 2026년 6월 21일까지 누적 1,635건으로 집계됨

• 증가 속도가 꽤 무섭다. 2025년에 거의 계단식으로 튐

  • 2024년 4분기 신규 25건
  • 2025년 1분기 55건, 2분기 120건, 3분기 254건
  • 2025년 4분기에는 393건까지 늘어남

• 오류 유형을 보면 단순 오타 수준이 아님

  • 존재하지 않는 판례·법령을 지어낸 날조가 2,812건으로 최다
  • 실제 판례를 다른 의미로 비틀어 쓴 왜곡이 1,295건
  • 판결문에 없는 문구를 따옴표로 인용한 가짜 인용문이 816건
  • 폐지되거나 파기된 법·판례를 가져온 낡은 정보도 34건

• 국가별로는 미국이 압도적으로 많고, 한국 사례도 이미 잡혀 있음

  • 미국은 1,143건으로 가장 많음
  • 한국은 4건으로 집계됐고, 모두 법률신문 보도가 출처로 언급됨
  • 국내에서도 허위 사건번호나 존재하지 않는 판례를 제출했다는 점이 판결문에 명시된 사례가 있었음
  • 나홀로소송에서 챗GPT로 작성한 서면에 허위 판례를 반복 인용한 사례도 확인됨

• DB 운영자는 이걸 ‘AI만의 문제’로 보지 않음

  • 다미앵 샤를로탱 프랑스 HEC 파리 선임연구원은 법조계의 오래된 인용 미확인 관행이 AI 사용으로 표면화됐다고 봄
  • 예전에도 문구를 확인하지 않고 인용하는 습관이 있었고, 생성형 AI가 그 위험을 훨씬 크게 만든 셈
  • 미국은 판사가 변호사를 직접 제재하는 경향이 강해서 기록에 잘 남는 반면, 프랑스 등은 변호사단체 내부에서 비공개 처리되는 경우가 많다고 설명함

• 실제 제재도 꽤 세게 나온다

  • 미국 제9연방항소법원은 ‘Lnu v. Blanche’ 사건에서 허위 판례와 잘못된 인용이 담긴 서면을 낸 변호사 2명에게 각각 2,500달러 제재를 부과함
  • 두 변호사는 해당 법원에서 6개월간 소송수행도 정지됨
  • 대한변호사협회 리걸AI 가이드라인 소위원회 쪽에서도 AI 환각으로 소비자가 손해를 봤을 때 책임을 어떻게 물을지 논의가 필요하다고 봄

• 개발자에게도 메시지는 똑같음. ‘출처 있는 것처럼 보이는 답변’이 제일 위험함

  • 코드, 보안, 법률, 의료처럼 검증 비용보다 사고 비용이 큰 분야에서는 생성형 AI 답변을 최종 산출물로 바로 쓰면 안 됨
  • 특히 판례번호, 법령명, 논문 제목, 패키지 API처럼 형식이 그럴듯한 정보일수록 실제 존재 여부를 확인해야 함
  • 결국 AI 도입의 핵심은 모델 성능보다 검증 루프를 워크플로에 어떻게 박아 넣느냐로 가고 있음

---

기술 맥락

• 여기서 문제 되는 건 대규모 언어 모델이 사실 데이터베이스처럼 동작하지 않는다는 점이에요. 모델은 다음에 올 법한 문장을 생성하는 방식이라, 판례번호나 조문 형식까지 그럴듯하게 맞춰서 없는 내용을 만들 수 있거든요.

• 법률 업무에서 이게 치명적인 이유는 인용 하나가 문서의 신뢰도를 떠받치기 때문이에요. 판례가 실제로 존재하는지, 판결 취지가 맞는지, 아직 유효한 법인지 확인하지 않으면 AI가 만든 문장이 그대로 법정 리스크가 돼요.

• 그래서 필요한 선택은 AI 사용 금지가 아니라 검증 단계의 강제예요. 생성형 AI로 초안을 만들더라도 판례 검색 시스템, 원문 링크, 전문가 검토를 통과해야 제출 가능한 문서가 되는 구조가 필요해요.

• 개발팀이 리걸테크나 전문직 도구를 만들 때도 같은 원칙이 적용돼요. 답변 생성 기능보다 출처 확인, 인용 추적, 최신성 검증, 감사 로그가 더 중요한 제품 요구사항이 될 수 있어요.