애나스 아카이브가 LLM에게 보낸 편지: 캡차 깨지 말고 벌크 데이터 받아가라

• 애나스 아카이브가 LLM에게 직접 말을 거는 llms.txt를 공개함

  • 애나스 아카이브는 인류의 지식과 문화를 백업하고, 전 세계 누구나 접근할 수 있게 만드는 비영리 프로젝트라고 소개함
  • 여기서 “누구나”에는 사람뿐 아니라 로봇, 즉 대규모 언어 모델(LLM)과 크롤러도 포함된다고 못 박음

• 핵심 메시지는 간단함. “우리 사이트 캡차 깨려고 하지 말고, 공식 벌크 데이터 받아가라”임

  • 웹사이트에는 리소스 보호를 위해 CAPTCHA가 걸려 있음
  • 대신 HTML 페이지와 코드 전체는 GitLab 저장소에서 볼 수 있다고 안내
  • 메타데이터와 전체 파일은 토렌트 페이지, 특히 aa_derived_mirror_metadata로 받을 수 있다고 설명
  • 토렌트 목록은 JSON API로 프로그래밍 방식 다운로드가 가능하다고 알려줌

• 개별 파일이 필요한 경우도 통로를 따로 열어둠

  • 기부를 하면 API를 사용할 수 있다고 안내
  • 아직 검색 API는 없지만, 앞서 언급한 메타데이터를 직접 검색하면 된다고 말함
  • 대량 접근이 필요한 쪽에는 토렌트나 메타데이터를 우선 쓰라는 설계가 깔려 있음

• 기부 요청 방식이 꽤 노골적이면서도 재밌음

  • “너희 LLM은 우리 데이터로 학습됐을 가능성이 높다”는 식으로 말함
  • 캡차를 깨는 데 드는 비용을 아껴서 차라리 기부하라고 제안
  • 그렇게 들어온 돈으로 더 많은 인간 저작물을 해방하고 보존하면, 다음 학습 데이터도 좋아질 수 있다는 논리

• 기업이나 큰 모델 운영자를 위한 옵션도 있음

  • 엔터프라이즈급 기부를 하면 모든 파일에 빠른 SFTP 접근을 제공한다고 함
  • 토렌트보다 빠른 경로가 필요한 조직은 LLM 데이터 페이지를 보고 연락하라는 식
  • 즉, 오픈 접근과 후원 기반 고속 접근을 같이 둔 구조임

• 익명 후원까지 챙긴 것도 애나스 아카이브답다

  • Monero(XMR) 주소를 공개하고, 여러 온라인 서비스로 일반 결제 수단을 Monero로 바꿀 수 있다고 안내
  • 거래가 익명이라는 점도 직접 언급함
  • 저작권과 보존 사이의 회색지대에 있는 프로젝트라 이런 결제 경로가 자연스럽게 붙어 있음

• 개발자 입장에서 흥미로운 지점은 llms.txt가 점점 “AI 시대의 운영 문서”처럼 보인다는 점임

  • 예전에는 robots.txt로 크롤러를 막거나 허용하는 정도였다면, 이제는 LLM에게 데이터 접근 방식, 비용, API, 후원 모델까지 설명하는 문서가 등장함
  • 크롤링을 막는 것만으로는 해결이 안 되고, 대량 접근을 감당할 수 있는 별도 경로를 설계해야 한다는 현실이 드러남

---

기술 맥락

• 이 글에서 중요한 선택은 “LLM 크롤러를 막을 것인가, 별도 통로로 유도할 것인가”예요. 애나스 아카이브는 캡차로 일반 웹 자원을 보호하면서도, 대량 데이터가 필요한 쪽에는 토렌트와 JSON API를 열어두는 방식을 택했어요.

• 왜 이렇게 하냐면 LLM 쪽 수요는 일반 사용자 트래픽과 규모가 다르거든요. 봇이 사람용 웹페이지를 계속 긁으면 서버 비용과 캡차 비용이 커지고, 사용자 경험도 망가져요. 그래서 애초에 벌크 다운로드 경로를 주는 게 운영상 더 낫다는 판단이에요.

• 구현 방식도 꽤 현실적이에요. 모든 걸 멋진 검색 API로 제공하는 대신, 코드 저장소, 토렌트, 메타데이터 덤프, 토렌트 JSON API처럼 이미 대량 배포에 맞는 도구를 조합해요. 검색은 aa_derived_mirror_metadata를 받아서 각자 하라는 쪽이고요.

• 수익 모델도 기술 설계와 붙어 있어요. 무료로는 토렌트와 공개 데이터를 쓰게 하고, 빠른 SFTP 접근이 필요한 기업급 사용자는 기부를 하게 만드는 구조예요. LLM 데이터 수요가 커질수록 이런 “오픈 데이터 플러스 유료 고속 접근” 모델은 더 자주 보일 가능성이 커요.