---
title: "Cloudflare, 5개월간 AI 봇 크롤링 요청 4160억 건 차단"
published: 2025-12-05T23:50:28.000Z
canonical: https://jeff.news/article/465
---
# Cloudflare, 5개월간 AI 봇 크롤링 요청 4160억 건 차단

Cloudflare가 AI 봇 차단을 기본 옵션으로 켠 이후 5개월간 4160억 건의 요청을 막음. 구글만은 검색 크롤러와 AI 크롤러를 합쳐놔서 차단이 불가능한 상황

- Cloudflare가 7월에 AI 봇 차단을 기본 옵션으로 켠 이후 5개월간 4160억 건의 AI 봇 요청을 차단함
- CEO Matthew Prince는 "AI가 플랫폼 전환이고, 인터넷 비즈니스 모델이 극적으로 바뀔 것"이라고 경고함
- 근데 구글만은 못 막음. 구글이 검색 크롤러와 AI 크롤러를 하나로 합쳐놔서, AI 크롤러를 차단하면 구글 검색 인덱싱도 같이 사라짐
- Prince는 이걸 독점 남용이라고 직격함: "어제의 독점적 지위를 이용해서 내일의 독점을 확보하려는 것"
- AI 모델이 AI가 생성한 데이터로 학습하면 품질이 저하됨 (슬롭 현상)
- AI 요약이 웹사이트 트래픽을 줄이고 있어서 광고 수익에 직접적 타격이 감. 라이선싱 계약으로 일부 상쇄 가능함
- Cloudflare는 2022년 기준 CDN 시장 점유율 79.9%를 차지하고 있음
- 11월에 설정 파일 하나 잘못 건드려서 웹의 상당 부분이 다운된 적이 있었음
- 현재 글로벌 웹 인프라가 AWS, Azure, Cloudflare, CrowdStrike, Google 등 소수 기업에 의존하고 있어서 하나만 장애 나도 전 세계에 영향을 줌

## 핵심 포인트

- 5개월간 4160억 건의 AI 봇 요청 차단
- 구글은 검색+AI 크롤러를 하나로 합쳐서 차단하면 검색 노출도 사라짐
- AI가 생성한 데이터로 학습하면 모델 품질이 떨어짐
- Cloudflare CDN 시장 점유율 79.9%

## 인사이트

구글이 검색 크롤러와 AI 크롤러를 묶어버린 건 사실상 '내 AI 학습 허용 안 하면 검색에서도 빼줄게'라는 협박임