본문으로 건너뛰기
피드

프롬프트 바꿨는데 좋아진 건지 감으로 보지 말자는 도구, 컴플리션킷

ai-ml 약 4분
vote
0
댓글
북마크

컴플리션킷은 프롬프트 변경이 실제로 결과를 개선했는지 데이터셋과 평가 지표로 확인하게 해주는 도구다. 오픈AI, 앤트로픽, 올라마, 오픈라우터 기반 모델을 지원하고, 호스팅 버전과 셀프호스팅 버전을 모두 제공한다.

  • 1

    버전이 붙은 프롬프트 주소를 앱에서 호출하는 방식이라 별도 에스디케이가 필요 없다

  • 2

    이미 생성된 결과만 가져와서 대규모 언어 모델 심판으로 채점하는 judge-only 실행을 지원한다

  • 3

    엔진은 비에스엘 1.1로 소스 공개되어 있고 3년 뒤 지피엘 3으로 전환된다

  • 컴플리션킷은 한마디로 프롬프트 변경을 감으로 밀어붙이지 말고 실험으로 보자는 도구임

    • 지원 대상은 오픈AI, 앤트로픽, 올라마, 오픈라우터를 통한 100개 이상 모델
    • 호스팅 버전인 컴플리션킷 클라우드를 써도 되고, 자체 인프라에 단독 앱으로 올리거나 기존 레일스 앱에 엔진으로 붙일 수도 있음
  • 앱에서 프롬프트를 쓰는 방식도 꽤 단순하게 잡았음

    • 배포된 프롬프트마다 버전이 붙은 주소가 생기고, 앱은 그 주소를 호출해서 템플릿과 모델 정보를 받아옴
    • 별도 에스디케이 없이 제이슨 오버 에이치티티피로 처리한다는 게 포인트임
  • 재미있는 건 judge-only 실행임. 이미 다른 시스템에서 만든 출력물도 평가만 따로 돌릴 수 있음

    • 데이터셋의 한 컬럼에 기존 출력물을 넣고, 평가 지표를 정의하면 대규모 언어 모델 심판이 각 행을 루브릭대로 채점함
    • 프롬프트 실행이나 생성 단계 없이 채점만 하니까 프로덕션 로그 감사, 다른 모델 출력 비교, 손으로 만든 예제 검수에 맞음

중요

> 이 도구가 겨냥하는 문제는 프롬프트 작성 자체보다 프롬프트 변경의 회귀 테스트임. 모델 앱이 커질수록 이쪽이 진짜 운영 비용으로 튀어나옴.

  • 라이선스는 소스 공개지만 완전한 의미의 무제한 오픈소스는 아님
    • 엔진은 상업 제품 안에서 써도 무료고, 프로덕션 사용도 허용됨
    • 다만 컴플리션킷 자체를 제삼자에게 호스팅 또는 관리형 서비스로 제공하는 건 제한됨
    • 비에스엘 1.1 기반이고 3년 뒤에는 지피엘 3으로 자동 전환됨
    • 0.2.x 이하 버전은 계속 엠아이티 라이선스로 남음

기술 맥락

  • 프롬프트를 버전이 붙은 주소로 배포하는 건 앱 코드와 프롬프트 운영을 분리하려는 선택이에요. 모델 앱에서는 프롬프트가 거의 설정값처럼 자주 바뀌는데, 코드 배포와 묶어두면 실험 속도가 확 느려지거든요.

  • judge-only 실행이 중요한 이유는 이미 쌓인 출력물이 최고의 평가 데이터가 될 수 있기 때문이에요. 새 프롬프트를 돌리지 않아도 운영 로그나 다른 모델 결과를 같은 루브릭으로 다시 채점하면, 모델 품질을 비교할 기준선이 생겨요.

  • 레일스 엔진과 단독 앱을 같이 제공하는 것도 실무적인 선택이에요. 이미 레일스 기반 내부 도구가 있는 팀은 엔진으로 붙이고, 별도 운영을 원하는 팀은 독립 배포를 고르면 되니까 도입 장벽이 낮아져요.

프롬프트 엔지니어링이 감각 싸움에서 운영 시스템으로 넘어가는 흐름을 잘 보여준다. 특히 프로덕션 로그나 기존 출력물을 다시 채점할 수 있다는 점이 실무팀에는 꽤 현실적인 포인트다.

댓글

댓글

댓글을 불러오는 중...

ai-ml

대학생들은 이미 챗지피티와 제미나이를 쪼개 쓰는 ‘AI 네이티브’가 됐다

이화여대 학생 설문과 인터뷰를 보면 생성형 AI는 과제 보조 도구를 넘어 학습, 글쓰기, 자료조사, 감정 상담까지 들어온 일상 인프라가 됐다. 학생들은 챗지피티, 제미나이, 클로드, 퍼플렉시티를 용도별로 나눠 쓰면서도 환각과 오류 때문에 교차검증이 필요하다고 보고 있다. 대학의 윤리 지침은 존재하지만 학생 체감은 낮고, 이제는 금지보다 활용 교육과 평가 방식 재설계가 핵심 이슈로 떠올랐다.

ai-ml

AI 에이전트 시대, 진짜 해자는 코딩 실력이 아니라 도메인 지식이다

이 글은 에이전트형 AI가 소프트웨어 개발의 병목을 “만들 수 있나”에서 “맞는지 판단할 수 있나”로 옮겼다고 주장한다. 일반ist 엔지니어의 코드 생산 능력보다, 특정 도메인의 정답을 알아보고 검증할 수 있는 사람이 더 큰 가치를 갖게 된다는 얘기다.

ai-ml

OpenRouter, 시리즈 B에서 1억1300만 달러 조달…멀티 모델 AI 인프라 판 커진다

OpenRouter가 알파벳 성장펀드 CapitalG 주도로 1억1300만 달러 규모 시리즈 B 투자를 받았다. 최근 6개월간 주간 처리량이 5조 토큰에서 25조 토큰으로 5배 늘었고, 올해 1천조 토큰 이상을 처리하는 속도로 성장 중이라고 밝혔다.

ai-ml

테슬라 FSD, 중국서 첫 집단 사기 소송 심리 시작

중국 베이징 법원이 테슬라의 풀 셀프 드라이빙 판매 약속을 둘러싼 소비자 사기 소송 첫 심리를 열었다. 원고 10명은 2019~2021년에 약 5만6천 위안을 내고 FSD를 샀지만, 실제 중국 출시 기능은 구형 하드웨어 차량을 배제했고 완전 자율주행도 제공하지 못했다고 주장한다. 중국 소비자보호법상 사기로 인정되면 환불뿐 아니라 3배 배상까지 이어질 수 있어 파장이 크다.

ai-ml

안도르 제작자, 1,500쪽 대본 공개 접은 이유는 “AI 학습 데이터 되기 싫어서”

스타워즈 드라마 안도르의 쇼러너 토니 길로이가 준비해둔 1,500쪽짜리 대본·콘셉트 아트 공개 계획을 접었다. 이유는 단순하다. 공개하는 순간 AI 모델 학습 데이터로 빨려 들어갈 수 있다는 우려 때문이다. 헐리우드 창작자와 스튜디오, AI 기업 사이의 저작권·학습 데이터 갈등이 다시 선명하게 드러난 사례다.