본문으로 건너뛰기
피드

mataroa는 왜 AI 스크래퍼를 차단하지 않을까?

open-source 약 2분
vote
0
댓글
북마크

블로그 플랫폼 mataroa가 AI 스크래퍼 차단의 세 가지 방법(robots.txt, JS 작업증명, Cloudflare)을 분석하고, 어느 것도 완벽하지 않아 차단하지 않기로 한 이유를 설명함

  • 1

    AI 스크래퍼 차단을 robots.txt, JS 작업증명, Cloudflare AI Crawl Control 세 가지로 분류

  • 2

    robots.txt는 자발적 준수 기반이라 실효성 제한적

  • 3

    Cloudflare가 가장 효과적이지만 웹 중앙화 우려

  • 4

    일부 요청만 차단하는 것 자체가 인터넷 설계 철학과 충돌

  • 블로그 플랫폼 mataroa가 AI 스크래퍼를 차단하지 않는 이유를 설명함
  • AI 스크래퍼 차단 방법을 세 가지로 분류함: robots.txt, JS 작업증명, Cloudflare AI Crawl Control
  • robots.txt는 기업이 자발적으로 따라야 하는 규칙이라 실효성이 제한적. 유명 기업은 따르지만 신생 기업은 무시할 수 있고, 실제로 따르는지 확인할 방법도 없음
  • Anubis, go-away 같은 JS 작업증명 도구는 크롤러에 연산 부담을 주는 방식인데, 특정 사이트를 타겟팅하는 크롤러는 시간을 더 들여 우회 가능함
  • Cloudflare AI Crawl Control이 가장 효과적이지만, 전체 웹 트래픽의 20%가 지나가는 Cloudflare에 의존하게 되면 웹 중앙화 문제가 생김
  • 근본적으로 "일부 요청만 차단하고 나머지는 허용"하는 것 자체가 인터넷 설계 철학과 충돌함
  • 결론적으로 현재 기술로는 반만 작동하는 차단보다 아예 안 하는 게 낫다는 판단임

AI 스크래핑 차단은 기술적 한계뿐 아니라 개방형 웹이라는 인터넷의 근본 설계와 충돌하는 구조적 문제임

댓글

댓글

댓글을 불러오는 중...

open-source

위키피디아에도 빅테크식 반노조 플레이북이 들어왔다

위키미디어 재단이 5월 열흘 사이 MediaWiki 장기 핵심 개발자를 해고하고, 자원봉사 편집자 요청을 처리하던 Community Tech 팀을 해산했다는 비판 글이다. 해고된 인력 상당수가 노조 조직 활동과 연결돼 있었고, 위키피디아 편집자들은 연대 파업까지 거론하고 있다. 재단은 2억9660만 달러의 준비금과 빠르게 성장하는 AI 대상 API 매출을 갖고 있어, 이 사안이 단순 비용 절감으로 보기 어렵다는 게 글의 핵심이다.

open-source

캘리포니아, 연령 확인법에서 리눅스 빼려는 수정안 추진

캘리포니아가 운영체제에 사용자 나이 확인을 요구하는 법안에서 대부분의 오픈소스 운영체제를 제외하는 수정안을 추진 중이다. 데비안, 페도라, 우분투, 아치, 리눅스 민트 같은 배포판은 빠질 가능성이 커졌지만, 스팀OS처럼 독점 앱 생태계와 연결된 플랫폼은 여전히 애매한 상태다.

open-source

마이크로소프트, 45년 전 86-DOS 소스코드를 오픈소스로 공개

마이크로소프트가 86-DOS 1.00 출시 45주년에 맞춰 지금까지 발견된 것 중 가장 오래된 DOS 소스코드를 공개했어. 팀 패터슨의 차고에 있던 도트 매트릭스 출력물을 스캔하고 옮겨 적어, 원본 바이너리와 바이트 단위로 동일하게 다시 컴파일되는 수준까지 복원한 게 포인트야.

open-source

밤부 랩, AGPLv3 위반 논란으로 오픈소스 커뮤니티와 충돌

3D 프린터 제조사 밤부 랩이 AGPLv3 라이선스 위반 논란에 휘말렸고, Software Freedom Conservancy가 두 건의 위반 사례를 확인했다는 내용이야. Louis Rossmann과 Gamers Nexus는 관련 개발자의 법적 방어를 위해 2만달러를 기부했고, 갈등의 핵심은 오픈소스 기반 생태계를 클라우드와 DRM으로 점점 닫아가려는 움직임이야.

open-source

플리퍼, 리눅스 기반 확장형 기기 '플리퍼 원' 공개

플리퍼가 기존 플리퍼 제로를 대체하는 후속작이 아니라, 리눅스 기반 네트워킹·확장형 기기인 플리퍼 원을 공개했어. RK3576 8코어 ARM 칩, 와이파이 6E, 듀얼 이더넷, NVMe, HDMI 4K 120Hz까지 넣으면서 장난감 같은 해킹 도구에서 훨씬 범용적인 리눅스 장비 쪽으로 방향을 넓히는 그림이야.