---
title: "프롬프트 바꿨는데 좋아진 건지 감으로 보지 말자는 도구, 컴플리션킷"
published: 2026-05-31T02:13:36.000Z
canonical: https://jeff.news/article/3407
---
# 프롬프트 바꿨는데 좋아진 건지 감으로 보지 말자는 도구, 컴플리션킷

컴플리션킷은 프롬프트 변경이 실제로 결과를 개선했는지 데이터셋과 평가 지표로 확인하게 해주는 도구다. 오픈AI, 앤트로픽, 올라마, 오픈라우터 기반 모델을 지원하고, 호스팅 버전과 셀프호스팅 버전을 모두 제공한다.

- 컴플리션킷은 한마디로 프롬프트 변경을 감으로 밀어붙이지 말고 실험으로 보자는 도구임
  - 지원 대상은 오픈AI, 앤트로픽, 올라마, 오픈라우터를 통한 100개 이상 모델
  - 호스팅 버전인 컴플리션킷 클라우드를 써도 되고, 자체 인프라에 단독 앱으로 올리거나 기존 레일스 앱에 엔진으로 붙일 수도 있음

- 앱에서 프롬프트를 쓰는 방식도 꽤 단순하게 잡았음
  - 배포된 프롬프트마다 버전이 붙은 주소가 생기고, 앱은 그 주소를 호출해서 템플릿과 모델 정보를 받아옴
  - 별도 에스디케이 없이 제이슨 오버 에이치티티피로 처리한다는 게 포인트임

- 재미있는 건 judge-only 실행임. 이미 다른 시스템에서 만든 출력물도 평가만 따로 돌릴 수 있음
  - 데이터셋의 한 컬럼에 기존 출력물을 넣고, 평가 지표를 정의하면 대규모 언어 모델 심판이 각 행을 루브릭대로 채점함
  - 프롬프트 실행이나 생성 단계 없이 채점만 하니까 프로덕션 로그 감사, 다른 모델 출력 비교, 손으로 만든 예제 검수에 맞음

> [!IMPORTANT]
> 이 도구가 겨냥하는 문제는 프롬프트 작성 자체보다 프롬프트 변경의 회귀 테스트임. 모델 앱이 커질수록 이쪽이 진짜 운영 비용으로 튀어나옴.

- 라이선스는 소스 공개지만 완전한 의미의 무제한 오픈소스는 아님
  - 엔진은 상업 제품 안에서 써도 무료고, 프로덕션 사용도 허용됨
  - 다만 컴플리션킷 자체를 제삼자에게 호스팅 또는 관리형 서비스로 제공하는 건 제한됨
  - 비에스엘 1.1 기반이고 3년 뒤에는 지피엘 3으로 자동 전환됨
  - 0.2.x 이하 버전은 계속 엠아이티 라이선스로 남음

---

## 기술 맥락

- 프롬프트를 버전이 붙은 주소로 배포하는 건 앱 코드와 프롬프트 운영을 분리하려는 선택이에요. 모델 앱에서는 프롬프트가 거의 설정값처럼 자주 바뀌는데, 코드 배포와 묶어두면 실험 속도가 확 느려지거든요.

- judge-only 실행이 중요한 이유는 이미 쌓인 출력물이 최고의 평가 데이터가 될 수 있기 때문이에요. 새 프롬프트를 돌리지 않아도 운영 로그나 다른 모델 결과를 같은 루브릭으로 다시 채점하면, 모델 품질을 비교할 기준선이 생겨요.

- 레일스 엔진과 단독 앱을 같이 제공하는 것도 실무적인 선택이에요. 이미 레일스 기반 내부 도구가 있는 팀은 엔진으로 붙이고, 별도 운영을 원하는 팀은 독립 배포를 고르면 되니까 도입 장벽이 낮아져요.

## 핵심 포인트

- 버전이 붙은 프롬프트 주소를 앱에서 호출하는 방식이라 별도 에스디케이가 필요 없다
- 이미 생성된 결과만 가져와서 대규모 언어 모델 심판으로 채점하는 judge-only 실행을 지원한다
- 엔진은 비에스엘 1.1로 소스 공개되어 있고 3년 뒤 지피엘 3으로 전환된다

## 인사이트

프롬프트 엔지니어링이 감각 싸움에서 운영 시스템으로 넘어가는 흐름을 잘 보여준다. 특히 프로덕션 로그나 기존 출력물을 다시 채점할 수 있다는 점이 실무팀에는 꽤 현실적인 포인트다.