---
title: "mataroa는 왜 AI 스크래퍼를 차단하지 않을까?"
published: 2026-01-26T23:00:38.000Z
canonical: https://jeff.news/article/1193
---
# mataroa는 왜 AI 스크래퍼를 차단하지 않을까?

블로그 플랫폼 mataroa가 AI 스크래퍼 차단의 세 가지 방법(robots.txt, JS 작업증명, Cloudflare)을 분석하고, 어느 것도 완벽하지 않아 차단하지 않기로 한 이유를 설명함

- 블로그 플랫폼 mataroa가 AI 스크래퍼를 차단하지 않는 이유를 설명함
- AI 스크래퍼 차단 방법을 세 가지로 분류함: robots.txt, JS 작업증명, Cloudflare AI Crawl Control
- robots.txt는 기업이 자발적으로 따라야 하는 규칙이라 실효성이 제한적. 유명 기업은 따르지만 신생 기업은 무시할 수 있고, 실제로 따르는지 확인할 방법도 없음
- Anubis, go-away 같은 JS 작업증명 도구는 크롤러에 연산 부담을 주는 방식인데, 특정 사이트를 타겟팅하는 크롤러는 시간을 더 들여 우회 가능함
- Cloudflare AI Crawl Control이 가장 효과적이지만, 전체 웹 트래픽의 20%가 지나가는 Cloudflare에 의존하게 되면 웹 중앙화 문제가 생김
- 근본적으로 "일부 요청만 차단하고 나머지는 허용"하는 것 자체가 인터넷 설계 철학과 충돌함
- 결론적으로 현재 기술로는 반만 작동하는 차단보다 아예 안 하는 게 낫다는 판단임

## 핵심 포인트

- AI 스크래퍼 차단을 robots.txt, JS 작업증명, Cloudflare AI Crawl Control 세 가지로 분류
- robots.txt는 자발적 준수 기반이라 실효성 제한적
- Cloudflare가 가장 효과적이지만 웹 중앙화 우려
- 일부 요청만 차단하는 것 자체가 인터넷 설계 철학과 충돌

## 인사이트

AI 스크래핑 차단은 기술적 한계뿐 아니라 개방형 웹이라는 인터넷의 근본 설계와 충돌하는 구조적 문제임