AI 코딩 에이전트가 만든 코드, 이제 자동 검증 루프까지 돈다

AI 코딩의 다음 병목은 테스트임

• 테스트스프라이트가 AI 코딩 에이전트용 오픈소스 검증 도구인 TestSprite CLI를 공개함

  • 아파치 2.0(Apache 2.0) 라이선스로 배포되고, 깃허브를 통해 누구나 사용할 수 있음
  • 핵심 타깃은 사람이 화면을 보며 테스트하는 자동화 도구가 아니라, 터미널에서 움직이는 AI 코딩 에이전트임

• 문제의식은 단순함. AI가 “구현 완료”라고 말해도 실제 서비스에서는 안 돌 수 있음

  • 화면이 제대로 렌더링되지 않거나 API 호출이 실패하는 사례가 이미 현장에서 나오고 있음
  • 새 기능을 넣다가 기존 기능을 망가뜨리는 회귀(Regression) 오류도 반복적으로 발생함
  • 그러니까 이제 중요한 건 코드 생성 능력만이 아니라, 생성된 코드가 실제로 동작하는지 계속 검증하는 체계임

에이전트가 직접 도는 검증 루프

• TestSprite CLI는 AI 에이전트가 기능 설명을 넘기면 클라우드 환경에서 검증을 수행하는 구조임

  • 이후 실패 결과를 받은 AI 에이전트가 코드를 고치고, 다시 검증하는 루프를 반복함
  • 사람이 리포트를 읽고 판단하는 게 아니라, 에이전트가 읽을 수 있는 수정 피드백을 주는 쪽에 가깝음

• 검증은 실제 사용자 환경을 재현하는 방식에 무게가 실림

  • 브라우저를 실제로 구동하고 API도 직접 호출함
  • 단순 모의 객체(Mock)에 기대는 방식보다, 배포 환경에서 터질 수 있는 문제를 더 잘 잡아내려는 접근임

• 테스트가 실패하면 꽤 많은 맥락을 한 번에 제공함

  • 오류 발생 단계와 인접 단계 정보
  • 스크린샷과 문서 객체 모델(DOM) 스냅샷
  • 테스트 소스 코드, 원인 분석 가설, 수정 권고 사항
  • 이 정보들은 같은 실행 시점의 스냅샷을 기준으로 묶여서 제공됨

회귀 오류를 누적 테스트로 때려잡는 구조

• TestSprite CLI의 진짜 포인트는 단발성 기능 테스트보다 장기 프로젝트의 회귀 관리임

  • AI 에이전트가 개발 단계를 끝낼 때마다 테스트가 누적됨
  • 시간이 갈수록 테스트 세트가 코드베이스와 함께 커지고, 전체 기능을 검증하는 자산이 됨

• 이 누적 테스트는 AI 모델의 제한된 문맥 기억을 보완하는 역할도 함

  • 장기간 개발하다 보면 예전 요구사항이 모델 문맥에서 밀려날 수 있음
  • 하지만 실패한 테스트는 잊힌 요구사항을 다시 검증 대상으로 끌어올림

• 회사 측은 이 구조가 작은 AI 모델에도 유리하다고 설명함

  • 한 번에 완벽한 코드를 만드는 모델이 아니어도, 검증과 수정 루프를 반복하면 기능 완성도를 끌어올릴 수 있다는 논리임
  • 실제로 한 AI 에이전트는 특정 단계 시작 시 정상 동작 기능이 없었지만, 약 10차례 수정 후 약 80% 기능 통과율을 기록함

CoderCup으로 에이전트 품질을 재기 시작함

• 테스트스프라이트는 CoderCup이라는 공개 프로젝트로 AI 코딩 에이전트 품질 지표도 공개함

  • Claude Code, Codex, Antigravity 같은 여러 에이전트가 같은 조건에서 같은 웹 애플리케이션을 개발하는 경쟁 프로그램임
  • 참가 에이전트는 동일한 10단계 개발 과제를 수행함
  • 각 단계는 16~22개의 엔드투엔드(E2E) 테스트 계획으로 검증됨

• 공개된 지표도 흥미로움

  • 최초 성공률
  • 실패 후 수정 성공률
  • 최종 미해결 비율
  • 회귀 오류 발생 비율
  • 과제 명세, 채점 기준, 단계별 결과, 공개 저장소까지 같이 제공돼서 사용자가 같은 검증을 재현할 수 있음

• 결론은 꽤 명확함. AI 코딩 에이전트 시대에는 “얼마나 빨리 짜냐”보다 “얼마나 덜 망가뜨리고, 망가뜨린 걸 얼마나 빨리 고치냐”가 중요해짐

  • 개발자들이 겪는 “하나 고치면 다른 게 깨지는” 문제가 AI 에이전트에서도 그대로 나타남
  • 그래서 검증 결과를 지속적으로 제공하는 루프가 없으면 자율 개발의 신뢰성을 담보하기 어려움

sequenceDiagram
    participant 에이전트 as AI 코딩 에이전트
    participant CLI as TestSprite CLI
    participant 브라우저 as 실제 브라우저/API
    participant 테스트셋 as 누적 테스트 세트

    에이전트->>CLI: 구현할 기능 설명 전달
    CLI->>브라우저: 실제 환경에서 테스트 실행
    브라우저-->>CLI: 실패 단계와 스냅샷 반환
    CLI-->>에이전트: 원인 가설과 수정 권고 제공
    에이전트->>에이전트: 코드 수정
    에이전트->>테스트셋: 새 테스트 누적
    테스트셋->>CLI: 회귀 검증 범위 확장

기술 맥락

• TestSprite CLI가 흥미로운 이유는 테스트 자동화를 “사람을 위한 리포트”에서 “AI 에이전트를 위한 피드백”으로 바꿔 보고 있기 때문이에요. 기존 테스트 도구는 개발자가 실패 로그를 보고 판단하는 흐름이 많았는데, 여기서는 에이전트가 실패 맥락을 받아 다시 코드를 고치는 구조예요.

• 실제 브라우저와 API를 돌리는 것도 중요해요. AI가 만든 코드는 타입 체크나 단위 테스트만 통과해도 화면 렌더링, 인증 흐름, API 응답 처리에서 깨질 수 있거든요. 그래서 Mock만 보는 것보다 실제 사용자 흐름을 검증하는 E2E 쪽이 더 직접적인 신뢰를 줘요.

• 누적 테스트 세트는 AI 모델의 짧은 기억을 보완하는 장치예요. 오래 진행되는 프로젝트에서는 모델이 예전 요구사항을 놓칠 수 있는데, 테스트는 그 요구사항을 실행 가능한 형태로 남겨요. 결국 테스트가 프로젝트의 장기 기억 역할을 하는 셈이에요.

• CoderCup 수치가 말해주는 것도 그거예요. 최고 성능 에이전트도 기존 정상 기능의 약 12%를 깨뜨렸다면, 에이전트 도입의 핵심 리스크는 생산성 부족이 아니라 품질 통제예요. 검증 루프 없이 “AI가 짰으니 됐다”는 방식은 운영 코드에서는 꽤 위험해요.