본문으로 건너뛰기
피드

코딩 에이전트 시대, 우리는 이제 QA 엔지니어임

backend 약 4분
vote
0
댓글
북마크

코딩 에이전트가 자기 작업을 검증할 수 없으면 제대로 작동하는 코드를 만들 수 없다는 주장. 역할이 프롬프트 엔지니어가 아니라 테스팅 하네스를 구축하는 QA 방향으로 이동하고 있으며, 재현성·진정성·조합성·프로그래밍 가능성을 갖춘 하네스가 에이전틱 프로그래밍의 핵심.

  • 1

    에이전트는 검증 수단 없이 스펙만으로는 반쯤 작동하는 코드를 자신있게 내놓음

  • 2

    단일 서비스 테스트는 쉽지만 서비스 경계를 넘으면 난이도가 급상승

  • 3

    에이전트용 하네스 조건: 재현성, 진정성, 조합성, 프로그래밍 가능성

  • 4

    Mockito 기반 목/스텁은 에이전트의 전형적 실패 패턴 — Testcontainers, Localstack, Miniflare 권장

중요

> 에이전트가 자기 작업을 검증할 수 없으면 "바이브"에 의존할 뿐임. 테스팅 하네스가 에이전틱 프로그래밍의 핵심이 됨.

달라진 개발 프로세스

  • 코딩 에이전트를 쓰면서 저자의 접근 방식이 완전히 바뀜. 예전엔 "프로토타입을 위한 최소 변경은?" 이었다면, 지금은 "이걸 어떻게 테스트하지?" 부터 시작
  • 에이전트에게 아무리 상세한 스펙을 줘도, 검증 수단이 없으면 반쯤 작동하는 코드를 자신있게 내놓음. 다들 경험해봤을 것
  • 결국 역할이 "프롬프트 엔지니어"가 아니라 테스팅 하네스를 만드는 QA 쪽으로 이동하고 있다는 주장

단일 서비스 vs 서비스 경계

  • 하나의 서비스 안에서는 테스트가 비교적 쉬움 — 컨테이너 띄우고, 스토리지 준비하고, 데이터 넣으면 됨
  • 서비스 경계를 넘는 변경에서 테스트 난이도가 급격히 올라감. 여러 시스템을 같이 돌리고, 상호작용시키고, 전체 상태를 검증해야 함. UI까지 끼면 더 복잡해짐

에이전트용 테스팅 하네스의 4가지 조건

  • 재현성(Reproducibility): 에이전트는 테이블 날리고, DB 통째로 드롭하고, 엉망인 상태 위에 계속 빌드함. 환경을 처음부터 재생성할 수 있어야 함
  • 진정성(Authenticity): Mockito 같은 프레임워크로 가짜 데이터 만들면 에이전트가 현실과 동떨어진 데이터를 기대하는 코드를 작성하는 전형적인 실패 패턴이 나옴. 실제 데이터와 최대한 가까워야 함
  • 조합성(Composability): 하나의 서비스용 하네스로는 부족. 여러 팀이 같은 프레임워크 위에 구축하면 전체 E2E 검증이 가능해짐. 이건 조직 차원의 역량임
  • 프로그래밍 가능(Programmatic): UI 클릭이나 콘솔 복붙이 필요하면 다시 사람이 루프에 들어옴. 환경 구동 → 시나리오 실행 → 검증 → 정리까지 전부 자동화되어야 함

관련 도구

  • Testcontainers: 로컬에서 서비스 컨테이너 띄우기
  • Localstack: AWS 에뮬레이션
  • Miniflare: Cloudflare Workers 에뮬레이션
  • 다만 대규모 프로젝트는 각자 고유해서, 자기 시스템에 맞는 프레임워크를 만드는 게 진짜 어려운 부분

ℹ️참고

> 이 관행들은 AI 이전에도 생산성을 높여줬을 것임. 다만 예전엔 없어도 버텼고, 지금은 없으면 에이전트를 제대로 쓸 수 없는 차이.

이 관행들은 AI 이전에도 유익했지만, 이제는 에이전트를 실질적으로 활용하려면 필수가 됐다는 점이 핵심 메시지.

댓글

댓글

댓글을 불러오는 중...

backend

클릭하우스가 PgBouncer 처리량을 4배로 끌어올린 방법

ClickHouse Managed Postgres 팀은 단일 스레드인 PgBouncer를 여러 프로세스로 띄우고 `so_reuseport`와 피어링(peering)을 조합해 16 vCPU 머신을 제대로 쓰게 만들었다. 동일한 AWS 환경에서 단일 프로세스는 약 8.7만 TPS 근처에서 막혔지만, 16개 프로세스 구성은 약 33.6만 TPS까지 올라갔다.

backend

SQLite 쓸 거면 STRICT 테이블을 기본값으로 보자는 주장

SQLite의 STRICT 테이블은 INTEGER 컬럼에 문자열이 들어가는 식의 타입 실수를 막아주는 기능이다. 글쓴이는 SQLite 특유의 유연한 타입 시스템보다, 실수는 빨리 터뜨리는 쪽이 실무에서 낫다고 주장한다. 다만 기존 테이블을 바로 STRICT로 바꾸기 어렵고, SQLite 3.37.0 이상에서만 쓸 수 있다는 제약도 있다.

backend

왜 아직도 Lisp를 배워볼 만한가

Lisp는 괄호가 많은 이상한 언어처럼 보이지만, 핵심은 문법이 아니라 언어 자체를 확장할 수 있다는 점에 있음. 매크로, 코드-데이터 동일성, REPL 중심 개발이 합쳐지면 프로그램을 '작성'한다기보다 살아 있는 시스템을 계속 진화시키는 방식으로 개발하게 됨.

backend

EDB 포스트그레스 AI, 포레스터 멀티모델 데이터 플랫폼 리더 선정

EDB의 AI 데이터 플랫폼 EDB 포스트그레스 AI가 2026년 2분기 포레스터 웨이브 멀티모델 데이터 플랫폼 보고서에서 리더로 선정됐음. 트랜잭션, 분석, AI 워크로드를 하나의 플랫폼에서 다루는 흐름이 강해지는 가운데, EDB는 전략과 현재 제공 기능 모두에서 높은 평가를 받았다고 밝힘.

backend

Bun, Zig에서 Rust로 갈아탔다: 11일짜리 초대형 런타임 포팅 실험

Bun 팀이 53만 줄이 넘는 Zig 코드베이스를 Rust로 기계적으로 포팅했고, Bun v1.4.0부터 Rust 기반으로 전환될 예정임. 핵심 이유는 성능보다 안정성이었고, use-after-free, double-free, 메모리 누수 같은 문제를 컴파일러와 타입 시스템으로 더 빨리 잡기 위해서였음. Claude Code 워크플로 64개를 병렬로 돌려 11일 만에 전 플랫폼 테스트 통과까지 밀어붙인 사례라, LLM 기반 대규모 코드 마이그레이션의 꽤 강한 신호탄임.