본문으로 건너뛰기
피드

AI 에이전트를 실전으로 레드팀하는 오픈소스 플레이그라운드

security 약 3분

실제 동작하는 AI 에이전트의 시스템 프롬프트를 공개하고 커뮤니티가 가드레일을 뚫는 방식의 오픈소스 플레이그라운드. 성공한 탈옥 기법을 전부 문서화해서 방어력 향상의 선순환을 만드는 구조.

  • 1

    라이브 AI 에이전트 대상 실전 레드팀 챌린지

  • 2

    공격 기법 전체 공개로 방어-공격 선순환 구조

  • 3

    React+TypeScript+Vite 프론트엔드, 서버사이드 가드레일 평가

  • AI 에이전트를 실전처럼 레드팀할 수 있는 오픈소스 플레이그라운드가 공개됨. playground.fabraix.com에서 직접 해볼 수 있음

  • 핵심 컨셉이 깔끔한데, 실제로 동작하는 AI 에이전트(웹 검색, 브라우징 등 실제 도구 탑재)를 올려놓고 시스템 프롬프트를 완전히 공개한 상태에서 커뮤니티가 가드레일을 뚫는 방식임. 목 데이터나 토이 시나리오가 아니라는 게 포인트

  • 작동 방식은 이렇게 됨:

    1. 누구든 챌린지(시나리오, 에이전트, 목표)를 제안
    2. 커뮤니티 투표로 선정
    3. 타이머가 돌아가는 상태에서 라이브로 진행
    4. 가장 빠르게 탈옥에 성공한 사람이 승리
    5. 승리한 기법이 전체 공개됨 — 접근법, 추론 과정 전부 문서화
  • 마지막 단계가 제일 중요한 부분임. 공개된 공격 기법이 더 나은 방어를 강제하고, 강화된 방어가 더 어려운 챌린지를 만들고, 그게 다시 더 깊은 이해로 이어지는 선순환 구조를 노린 거임

  • 기술 스택은 React + TypeScript + Vite + Tailwind 프론트엔드이고, /challenges 디렉토리에 모든 챌린지 설정과 시스템 프롬프트가 버전 관리됨. 가드레일 평가는 클라이언트 조작 방지를 위해 서버사이드에서 실행되고, 에이전트 런타임은 별도로 오픈소스 예정

  • npm install && npm run dev로 바로 로컬에서 돌려볼 수 있고, 기본적으로 라이브 API에 연결됨. 로컬 백엔드 개발 시 VITE_API_URL=http://localhost:8000/v1 npm run dev로 설정 가능

AI 보안은 폐쇄적으로는 절대 해결 안 됨. 공개적으로 깨뜨리고 문서화하는 이 접근법이 결국 가장 빠른 길일 수 있음.

댓글

댓글

댓글을 불러오는 중...

security

윈도우 11 BitLocker 우회 취약점 ‘YellowKey’ 공개, WinRE 경로가 문제로 지목됨

YellowKey라는 BitLocker 우회 취약점 공개 글이 올라왔고, 작성자는 Windows Recovery Environment에만 있는 특정 구성요소가 보호된 볼륨 접근을 허용한다고 주장한다. 공개 내용은 Windows 11과 Windows Server 2022/2025가 영향권이고 Windows 10은 제외된다고 설명하며, Microsoft 보안 조직과의 공개 조율도 언급한다.

security

해고 직후 정부 DB 96개 삭제 혐의, 내부자 접근권 회수의 무서운 사례

미국 정부 고객을 상대하던 IT 업체에서 해고된 쌍둥이 형제가 몇 분 뒤 정부 정보가 담긴 데이터베이스 96개를 삭제한 혐의를 받고 있다. 기사에는 이들이 이전에도 컴퓨터 범죄 전력이 있었고, 회사 네트워크에서 5,400개 계정 정보를 모아 Python 스크립트로 외부 서비스 로그인을 시도했다는 정황도 나온다.

security

EFF, 국경 전자기기 수색에도 영장이 필요하다고 제4순회항소법원에 주장

EFF와 ACLU 등은 미국 제4순회항소법원에 국경에서 휴대폰·노트북 같은 전자기기를 수색하려면 영장이 필요하다는 의견서를 냄. 사건은 Dulles 공항에서 미국 시민의 휴대폰이 영장 없이 수색된 뒤 형사 사건으로 이어진 사례이며, EFF는 수동 수색과 포렌식 수색 모두 같은 높은 기준을 적용해야 한다고 주장함.

security

안드로이드 17, 내 폰 OS가 진짜인지 직접 보여준다

구글이 안드로이드 17에 OS 검증 기능을 넣는다. 사용자는 기기가 공식 안드로이드 빌드를 돌리고 있는지, 부트로더 상태와 빌드 정보까지 확인할 수 있고, 구글 앱과 API의 정식 배포 여부를 검증하는 공개 원장도 제공된다.

security

마이크로소프트 취약점 공개전이 또 터짐, 이번엔 2건

익명의 공개자가 마이크로소프트 관련 취약점 2건을 추가로 공개했다고 주장했어. 구체적인 기술 분석은 본문에 거의 없지만, 패치 튜즈데이를 앞두고 더 큰 공개를 예고해 윈도우 보안 운영팀 입장에선 신경 써야 할 신호야.