본문으로 건너뛰기
피드

mcpbr — 내 MCP 서버가 실제로 도움이 되는지 SWE-bench 등 30개 벤치마크로 검증하는 도구

ai-ml 약 3분
vote
0
댓글
북마크

MCP 서버의 실질적 효과를 통제 실험 방식으로 정량 측정하는 벤치마크 러너. 동일 모델·태스크·환경에서 MCP 유무만 달리하여 비교하며, 10개 카테고리 30개 이상 벤치마크와 CI/CD 회귀 감지를 지원함.

  • 1

    MCP 에이전트 vs 베이스라인 에이전트 통제 실험으로 도구 효과를 정량적으로 비교

  • 2

    SWE-bench, HumanEval, CyberGym, MCPToolBench++ 등 10개 카테고리 30개 이상 벤치마크 지원

  • 3

    CI/CD 통합 회귀 감지, 성능 프로파일링(p50/p95/p99), Slack/Discord 알림 내장

  • 4

    퀵스타트 5개 태스크 기준 15~30분, 비용 $2~5

  • MCP 서버가 LLM 코딩 성능을 정말로 개선하는지 "감"이 아닌 "숫자"로 증명할 수 있는 벤치마크 러너가 Show HN에 공개됨
  • 핵심 실험 설계: 동일한 모델, 동일한 태스크, 동일한 환경에서 MCP 도구를 사용하는 에이전트와 사용하지 않는 에이전트를 비교하는 통제 실험 방식임
  • SWE-bench의 실제 GitHub 이슈를 대상으로 테스트하며, Docker 컨테이너와 고정된 의존성을 통해 재현 가능한 결과를 보장함
  • 10개 카테고리에 걸쳐 30개 이상의 벤치마크를 지원함: SWE-bench, HumanEval, MBPP, GSM8K, MATH, CyberGym, MCPToolBench++ 등
  • CyberGym은 PoC 익스플로잇이 필요한 보안 취약점 벤치마크이고, MCPToolBench++는 45개 이상 카테고리에서 MCP 도구 사용 능력을 평가함
  • CI/CD 파이프라인에 통합할 수 있는 회귀 감지 기능이 내장되어 있으며, 임계값 기반 종료 코드와 Slack/Discord/이메일 알림을 지원함
  • 성능 프로파일링도 제공되어 도구 호출 지연(p50/p95/p99), 메모리 사용량, 오버헤드 분석이 가능함
  • 인프라는 로컬 Docker 또는 Azure VM 자동 프로비저닝을 지원하며, 두 MCP 서버를 나란히 비교하는 A/B 테스트 모드도 있음
  • Claude Code CLI를 에이전트 백엔드로 사용하며, Anthropic API 키가 필요함
  • 퀵스타트로 SWE-bench 태스크 5개를 1530분 내에 실행할 수 있고, 비용은 $25 수준임
  • MCP 생태계가 빠르게 확장되는 가운데, 서버의 실질적 효과를 정량적으로 측정할 수 있는 표준 도구가 등장한 점이 주목됨

출처: https://github.com/greynewell/mcpbr (HN)

MCP 생태계가 급성장하면서 서버 품질을 객관적으로 평가할 표준 도구의 필요성이 커지고 있으며, mcpbr은 통제 실험 설계와 광범위한 벤치마크 커버리지로 이 공백을 채우려는 시도임.

댓글

댓글

댓글을 불러오는 중...

ai-ml

유튜브, AI 생성 영상에 자동 라벨 붙인다

유튜브가 사실적으로 보이거나 의미 있게 AI로 변경·생성된 콘텐츠에 더 눈에 띄는 라벨을 적용하고, 제작자가 AI 사용 여부를 밝히지 않아도 내부 신호로 감지되면 자동 라벨을 붙이겠다고 밝혔다. 다만 라벨만으로 추천 노출이나 수익화 자격이 바뀌지는 않으며, 제작자는 YouTube Studio에서 잘못된 판정을 수정할 수 있다.

ai-ml

테크 CEO들의 'AI 만능론', 숫자는 아직 그렇게 말하지 않는다

테크 업계에서 AI를 이유로 한 대규모 감원과 조직 재편이 이어지는 가운데, Box 창업자 애런 레비는 CEO들이 실제 업무의 마지막 1마일을 모른 채 AI 에이전트의 능력을 과대평가하고 있다고 지적했다. 2026년 첫 5개월 동안 이미 11만5430명이 해고됐고, 여러 연구는 AI 도입이 체감 생산성만큼 실제 생산성을 끌어올렸다는 근거가 아직 약하다고 말한다.

ai-ml

오픈AI와 앤트로픽, 코딩 에이전트로 드디어 돈 되는 시장을 찾은 듯

사이먼 윌리슨은 오픈AI와 앤트로픽이 코딩 에이전트와 기업용 과금으로 진짜 제품-시장 적합성을 찾았다고 봐. 개인 구독자에게는 월 100달러 플랜이 싸게 느껴지지만, 기업 고객은 이제 사용량 기준 토큰 가격을 그대로 내기 시작했고 이게 대형 고객 예산을 빠르게 흔들고 있다는 얘기야.

ai-ml

컴팔과 GMI 클라우드, 대규모 추론용 AI 인프라 구축 협력

컴팔이 실리콘밸리 기반 AI 인프라 기업 GMI 클라우드와 협력해 대규모 추론과 에이전틱 AI 워크로드에 맞춘 GPU 서버 인프라를 구축한다고 발표했어. COMPUTEX 2026에서는 NVIDIA HGX B300을 지원하는 Compal SGX30-2 같은 고성능 AI 서버 플랫폼도 선보일 예정이야.

ai-ml

AI 쓰면 편해진다더니, 직장인들은 ‘AI 과부하’에 지쳐가는 중

국내 직장인들이 AI 전환 압박, AI 답변 검증 부담, 대체 불안 때문에 피로감을 호소하고 있어. 중앙일보 설문에서는 5284명 중 31.6%가 ‘AI 답변 검증에 시간이 더 걸릴 때’를 가장 지치는 순간으로 꼽았고, 기업들은 무작정 AI 사용량을 밀어붙이는 방식에서 업무 방식 재설계로 넘어가야 한다는 지적이 나와.