본문으로 건너뛰기
피드

Cloudflare, 5개월간 AI 봇 크롤링 요청 4160억 건 차단

general 약 2분
vote
0
댓글
북마크

Cloudflare가 AI 봇 차단을 기본 옵션으로 켠 이후 5개월간 4160억 건의 요청을 막음. 구글만은 검색 크롤러와 AI 크롤러를 합쳐놔서 차단이 불가능한 상황

  • 1

    5개월간 4160억 건의 AI 봇 요청 차단

  • 2

    구글은 검색+AI 크롤러를 하나로 합쳐서 차단하면 검색 노출도 사라짐

  • 3

    AI가 생성한 데이터로 학습하면 모델 품질이 떨어짐

  • 4

    Cloudflare CDN 시장 점유율 79.9%

  • Cloudflare가 7월에 AI 봇 차단을 기본 옵션으로 켠 이후 5개월간 4160억 건의 AI 봇 요청을 차단함
  • CEO Matthew Prince는 "AI가 플랫폼 전환이고, 인터넷 비즈니스 모델이 극적으로 바뀔 것"이라고 경고함
  • 근데 구글만은 못 막음. 구글이 검색 크롤러와 AI 크롤러를 하나로 합쳐놔서, AI 크롤러를 차단하면 구글 검색 인덱싱도 같이 사라짐
  • Prince는 이걸 독점 남용이라고 직격함: "어제의 독점적 지위를 이용해서 내일의 독점을 확보하려는 것"
  • AI 모델이 AI가 생성한 데이터로 학습하면 품질이 저하됨 (슬롭 현상)
  • AI 요약이 웹사이트 트래픽을 줄이고 있어서 광고 수익에 직접적 타격이 감. 라이선싱 계약으로 일부 상쇄 가능함
  • Cloudflare는 2022년 기준 CDN 시장 점유율 79.9%를 차지하고 있음
  • 11월에 설정 파일 하나 잘못 건드려서 웹의 상당 부분이 다운된 적이 있었음
  • 현재 글로벌 웹 인프라가 AWS, Azure, Cloudflare, CrowdStrike, Google 등 소수 기업에 의존하고 있어서 하나만 장애 나도 전 세계에 영향을 줌

구글이 검색 크롤러와 AI 크롤러를 묶어버린 건 사실상 '내 AI 학습 허용 안 하면 검색에서도 빼줄게'라는 협박임

댓글

댓글

댓글을 불러오는 중...

general

Last.fm, 소유권 바뀌고 독립 회사로 새 출발

Last.fm이 소유권 변경을 거쳐 독립 회사로 운영된다고 밝혔다. 계정, 청취 기록, 스크로블, Pro 구독, API 기능은 그대로 유지되며 사용자 데이터 처리 방식도 바뀌지 않는다고 안내했다.

general

구글이 “사람들은 AI 모드를 좋아한다”고 하자 덕덕고 방문이 28% 가까이 늘어남

구글 검색이 AI 모드와 AI 개요를 전면에 밀어붙이는 사이, AI 없는 검색을 내세운 덕덕고 쪽 트래픽이 눈에 띄게 뛰었다. 덕덕고는 “사람들이 원하는 건 AI 자체의 찬반이 아니라 선택권”이라고 보고 있다.

general

경기도, 도민 15만 명 대상 AI·디지털 교육 시작

경기도가 2026년 AI디지털배움터를 열고 약 15만 명을 대상으로 스마트폰, 키오스크, 생성형 AI, 업무 자동화 교육을 운영해. 고령층과 정보취약지역 주민을 위한 찾아가는 교육, 청년·소상공인 대상 AI 활용 교육까지 범위를 넓힌 게 특징이야.

general

NIA “공공 AX 표준 만들고, 정책부터 현장 구현까지 직접 잇겠다”

한국지능정보사회진흥원(NIA)이 AI 기본법에 따른 인공지능정책센터로 지정되며 공공 부문의 AI 전환을 지원하겠다는 방향을 밝혔다. 핵심은 부처·지자체가 각자 따로 AI를 도입하다 생기는 중복 투자와 표준 부재를 줄이고, 일부 유스케이스는 정책 설계에서 구현까지 직접 밀어붙이겠다는 것.

general

최악의 면접은 코딩 테스트가 아니라 ‘무단 심리평가’였다

한 엔지니어가 정신건강 스타트업의 창업 엔지니어 면접에서 겪은 일을 공유했다. 기술 평가도 하기 전에 90분짜리 컬처핏 인터뷰에서 인생의 가장 힘든 날, 가족 문제, 실패한 관계 같은 사적인 이야기를 끌어냈고, 다음 날 한 줄짜리 탈락 메일을 받았다는 내용이다.