프롬프트 바꿨는데 좋아진 건지 감으로 보지 말자는 도구, 컴플리션킷

• 컴플리션킷은 한마디로 프롬프트 변경을 감으로 밀어붙이지 말고 실험으로 보자는 도구임

  • 지원 대상은 오픈AI, 앤트로픽, 올라마, 오픈라우터를 통한 100개 이상 모델
  • 호스팅 버전인 컴플리션킷 클라우드를 써도 되고, 자체 인프라에 단독 앱으로 올리거나 기존 레일스 앱에 엔진으로 붙일 수도 있음

• 앱에서 프롬프트를 쓰는 방식도 꽤 단순하게 잡았음

  • 배포된 프롬프트마다 버전이 붙은 주소가 생기고, 앱은 그 주소를 호출해서 템플릿과 모델 정보를 받아옴
  • 별도 에스디케이 없이 제이슨 오버 에이치티티피로 처리한다는 게 포인트임

• 재미있는 건 judge-only 실행임. 이미 다른 시스템에서 만든 출력물도 평가만 따로 돌릴 수 있음

  • 데이터셋의 한 컬럼에 기존 출력물을 넣고, 평가 지표를 정의하면 대규모 언어 모델 심판이 각 행을 루브릭대로 채점함
  • 프롬프트 실행이나 생성 단계 없이 채점만 하니까 프로덕션 로그 감사, 다른 모델 출력 비교, 손으로 만든 예제 검수에 맞음

• 라이선스는 소스 공개지만 완전한 의미의 무제한 오픈소스는 아님
  • 엔진은 상업 제품 안에서 써도 무료고, 프로덕션 사용도 허용됨
  • 다만 컴플리션킷 자체를 제삼자에게 호스팅 또는 관리형 서비스로 제공하는 건 제한됨
  • 비에스엘 1.1 기반이고 3년 뒤에는 지피엘 3으로 자동 전환됨
  • 0.2.x 이하 버전은 계속 엠아이티 라이선스로 남음

---

기술 맥락

• 프롬프트를 버전이 붙은 주소로 배포하는 건 앱 코드와 프롬프트 운영을 분리하려는 선택이에요. 모델 앱에서는 프롬프트가 거의 설정값처럼 자주 바뀌는데, 코드 배포와 묶어두면 실험 속도가 확 느려지거든요.

• judge-only 실행이 중요한 이유는 이미 쌓인 출력물이 최고의 평가 데이터가 될 수 있기 때문이에요. 새 프롬프트를 돌리지 않아도 운영 로그나 다른 모델 결과를 같은 루브릭으로 다시 채점하면, 모델 품질을 비교할 기준선이 생겨요.

• 레일스 엔진과 단독 앱을 같이 제공하는 것도 실무적인 선택이에요. 이미 레일스 기반 내부 도구가 있는 팀은 엔진으로 붙이고, 별도 운영을 원하는 팀은 독립 배포를 고르면 되니까 도입 장벽이 낮아져요.