AI 기업들, 인터넷 데이터 오염 피하려고 종이책을 대량으로 사들이는 중

• AI 기업들이 이번엔 인터넷이 아니라 종이책으로 달려가는 중임

  • 이유는 단순함. 인터넷에 생성 AI가 만든 저품질 합성 콘텐츠, 이른바 AI 슬롭(AI Slop)이 너무 많이 깔리기 시작했기 때문임
  • 다음 세대 모델을 학습시키려면 사람이 직접 쓰고 편집한 원본 텍스트가 더 귀해졌고, 그래서 2022년 이전 출간된 인쇄 서적이 ‘깨끗한 데이터’ 취급을 받는 분위기임

• 404미디어 보도에 따르면 AI 기업들은 중고 도서 유통업체와 중개 회사를 통해 책을 대량 구매하고 있음

  • 주문 규모는 작게는 수천권, 크게는 100만권 단위까지 언급됨
  • 특정 장르나 작가를 골라 사는 게 아니라, 국제표준도서번호(ISBN)가 붙은 책을 거의 무작위에 가깝게 긁어모으는 방식임
  • 가격도 크게 안 따지고 시세보다 비싼 책까지 사는 사례가 나왔다고 함

• 이 흐름의 중심에 ISBNdb가 있음

  • ISBNdb는 1억1100만권 이상의 도서 정보를 가진 온라인 도서 데이터베이스임
  • 원래는 서점, 도서관, 유통업체가 쓰던 서비스였는데, 최근에는 AI 기업을 위한 대량 도서 구매 서비스로 사업을 넓힘
  • 중고책 판매자들 사이에서도 올해 4월부터 판매량이 확 뛰었다는 증언이 나옴

• 실제 시장 반응도 꽤 극적임

  • 한 전문 중고책 판매업자는 예전엔 일주일에 20권 팔면 많은 편이었는데, 최근엔 매주 수백권씩 나간다고 밝힘
  • 전체 판매량은 평소보다 5배 늘었다고 함
  • 알리브리스(Alibris), 비블리오(Biblio) 같은 다른 중고 도서 플랫폼 판매자들도 비슷한 현상을 겪는 중임

• 앤트로픽 사례는 이 논쟁을 이미 법정으로 끌고 감

  • 앤트로픽은 클로드(Claude) 개발을 위해 수백만달러를 들여 중고 책을 대량 구매함
  • 이후 책을 스캔해 디지털화하고, 실물 책은 폐기한 사실이 법정에서 드러남
  • 미국 법원은 합법적으로 구매한 서적을 AI 학습에 사용하는 건 저작권법상 공정 이용(Fair Use)에 해당할 수 있다고 봄

• 하지만 합법 구매와 불법 복제는 완전히 다른 얘기였음

  • 앤트로픽은 별도로 불법 복제된 도서 700만권을 저장한 혐의로 저작권 침해 책임을 인정받음
  • 손해배상 규모는 15억달러
  • 구글도 저작권 있는 수백만권의 도서를 무단 활용해 제미나이(Gemini)를 개발했다는 이유로 출판사 연합에 소송을 당한 상태임

• 책을 데이터로 바꾸는 과정도 논란거리임

  • 스캔 방식은 책을 보존하는 비파괴 방식과, 책등을 잘라 낱장으로 만든 뒤 산업용 고속 스캐너에 넣는 파괴 방식으로 나뉨
  • 업계에서는 비용과 처리 속도 때문에 파괴 방식이 훨씬 유리하다고 봄
  • 문제는 이 과정에서 수백만권의 실물 서적이 폐기될 수 있다는 점임

• 더 찝찝한 지점은 접근권임

  • 책이 디지털화되더라도 공공 도서관이나 일반 연구자가 접근할 수 있는 공공 자산이 되는 게 아님
  • 대부분 AI 기업의 비공개 데이터베이스에 들어가 모델 학습에만 쓰임
  • AI는 더 똑똑해질 수 있지만, 절판본이나 희귀본 같은 지식 자산은 사람 손이 닿기 어려운 형태로 사라질 수 있다는 우려가 나옴

---

기술 맥락

• AI 기업들이 종이책을 찾는 이유는 모델 학습에서 데이터 출처가 성능과 직결되기 때문이에요. 인터넷 텍스트가 AI 생성물로 섞이면, 모델은 사람이 쓴 자연스러운 표현보다 자기들이 만든 평균적인 문장을 다시 먹게 되거든요.

• 여기서 2022년 이전 책이 중요해지는 건 생성 AI가 대중화되기 전의 데이터일 가능성이 높아서예요. 완벽하게 깨끗하다고 볼 수는 없지만, 웹 문서보다 AI 생성 콘텐츠 비율이 낮다고 보는 거죠.

• 합법 구매 도서를 스캔해 학습에 쓰는 방식은 저작권법상 공정 이용 논쟁으로 이어져요. 법원이 일부 가능성을 인정하더라도, 불법 복제본 저장이나 대규모 비공개 데이터베이스 구축은 별도 리스크가 되기 때문에 데이터 파이프라인 설계 단계에서 법무 검토가 핵심이 돼요.

• 개발 관점에서는 이게 단순 크롤링 문제가 아니라 데이터 거버넌스 문제예요. 어떤 자료를 샀고, 어떻게 스캔했고, 어떤 모델 학습에 들어갔고, 나중에 제거 요청이 들어오면 추적할 수 있는지가 전부 시스템 요구사항으로 바뀌거든요.