본문으로 건너뛰기
피드

mcpbr — 내 MCP 서버가 실제로 도움이 되는지 SWE-bench 등 30개 벤치마크로 검증하는 도구

ai-ml 약 3분
vote
0
댓글
북마크

MCP 서버의 실질적 효과를 통제 실험 방식으로 정량 측정하는 벤치마크 러너. 동일 모델·태스크·환경에서 MCP 유무만 달리하여 비교하며, 10개 카테고리 30개 이상 벤치마크와 CI/CD 회귀 감지를 지원함.

  • 1

    MCP 에이전트 vs 베이스라인 에이전트 통제 실험으로 도구 효과를 정량적으로 비교

  • 2

    SWE-bench, HumanEval, CyberGym, MCPToolBench++ 등 10개 카테고리 30개 이상 벤치마크 지원

  • 3

    CI/CD 통합 회귀 감지, 성능 프로파일링(p50/p95/p99), Slack/Discord 알림 내장

  • 4

    퀵스타트 5개 태스크 기준 15~30분, 비용 $2~5

  • MCP 서버가 LLM 코딩 성능을 정말로 개선하는지 "감"이 아닌 "숫자"로 증명할 수 있는 벤치마크 러너가 Show HN에 공개됨
  • 핵심 실험 설계: 동일한 모델, 동일한 태스크, 동일한 환경에서 MCP 도구를 사용하는 에이전트와 사용하지 않는 에이전트를 비교하는 통제 실험 방식임
  • SWE-bench의 실제 GitHub 이슈를 대상으로 테스트하며, Docker 컨테이너와 고정된 의존성을 통해 재현 가능한 결과를 보장함
  • 10개 카테고리에 걸쳐 30개 이상의 벤치마크를 지원함: SWE-bench, HumanEval, MBPP, GSM8K, MATH, CyberGym, MCPToolBench++ 등
  • CyberGym은 PoC 익스플로잇이 필요한 보안 취약점 벤치마크이고, MCPToolBench++는 45개 이상 카테고리에서 MCP 도구 사용 능력을 평가함
  • CI/CD 파이프라인에 통합할 수 있는 회귀 감지 기능이 내장되어 있으며, 임계값 기반 종료 코드와 Slack/Discord/이메일 알림을 지원함
  • 성능 프로파일링도 제공되어 도구 호출 지연(p50/p95/p99), 메모리 사용량, 오버헤드 분석이 가능함
  • 인프라는 로컬 Docker 또는 Azure VM 자동 프로비저닝을 지원하며, 두 MCP 서버를 나란히 비교하는 A/B 테스트 모드도 있음
  • Claude Code CLI를 에이전트 백엔드로 사용하며, Anthropic API 키가 필요함
  • 퀵스타트로 SWE-bench 태스크 5개를 1530분 내에 실행할 수 있고, 비용은 $25 수준임
  • MCP 생태계가 빠르게 확장되는 가운데, 서버의 실질적 효과를 정량적으로 측정할 수 있는 표준 도구가 등장한 점이 주목됨

출처: https://github.com/greynewell/mcpbr (HN)

MCP 생태계가 급성장하면서 서버 품질을 객관적으로 평가할 표준 도구의 필요성이 커지고 있으며, mcpbr은 통제 실험 설계와 광범위한 벤치마크 커버리지로 이 공백을 채우려는 시도임.

댓글

댓글

댓글을 불러오는 중...

ai-ml

애플 새 음성 인식 API, 온디바이스 영어 전사에서 위스퍼 스몰까지 이겼다

애플의 새 음성 인식 API인 스피치애널라이저가 리브리스피치 벤치마크에서 기존 SFSpeechRecognizer는 물론 위스퍼 스몰보다도 낮은 단어 오류율을 기록했어. 깨끗한 음성에서는 2.12%, noisy 음성에서는 4.56%로, 기존 애플 API 대비 오류율을 3.5~4배 줄였고 위스퍼 스몰보다 약 3배 빠르게 돌았어. 다만 영어·애플 플랫폼·OS 26 조건의 결과라, 다국어와 크로스플랫폼에서는 여전히 위스퍼의 장점이 남아 있어.

ai-ml

AI를 진짜 잘 쓰는 기업, 미국 증시에서 연 30% 프리미엄 받는다는 연구

예일대와 로체스터대 연구진이 기업의 실제 대형 언어 모델 사용 데이터를 분석했더니, AI 활용도가 높은 상위 20% 기업이 하위 20%보다 주당 평균 0.64% 높은 초과수익률을 냈다. 단순히 AI 기업이냐가 아니라, 업무에 AI를 얼마나 깊게 쓰는지가 시장 가치에 반영되고 있다는 얘기다.

ai-ml

ZTE, AI 에이전트폰으로 스마트폰 재도전…진짜 승부처는 앱 생태계

ZTE가 바이트댄스의 더우바오를 탑재한 AI 에이전트 스마트폰으로 시장 재진입을 노린다. 핵심은 사용자가 명령하면 AI가 여러 앱을 직접 열고 조작하는 방식인데, 위챗·타오바오·알리페이 같은 플랫폼과 충돌하면서 생태계 문제가 가장 큰 변수로 떠올랐다.

ai-ml

노벨상 학자들까지 “AI 경제 충격, 지금 제도 안 만들면 늦다”

노벨 경제학상 수상자 15명을 포함한 학자와 기술 업계 인사 약 200명이 AI가 향후 10년 안에 경제를 급격히 바꿀 수 있다며 정책 대응을 촉구했다. 이들은 산업혁명보다 큰 변화가 훨씬 짧은 시간에 올 수 있고, 대규모 일자리 대체와 생활 수준 향상이라는 양면성이 동시에 존재한다고 봤다.

ai-ml

NHN, AI 데이터센터 매출 기대감에 목표주가 5만6000원으로 상향

한국투자증권이 NHN의 목표주가를 4만5000원에서 5만6000원으로 올리고 투자의견 매수를 유지했다. 핵심 근거는 양평 AI 데이터센터 가동, 공공·민간 GPU 클러스터 수주 확대, 클라우드 사업부 신규 매출 반영이다.