본문으로 건너뛰기
J
피드

prompt-refiner: LLM 프롬프트 토큰을 자동으로 줄여주는 경량 라이브러리

ai-ml 약 3분
tags
#llm#prompt-engineering#token-optimization#rag#python
vote
0
댓글
북마크

AI 에이전트와 RAG 앱의 프롬프트를 자동 최적화하는 Python 라이브러리. 함수 호출 스키마 평균 57% 토큰 감소, RAG 컨텍스트 5~15% 감소를 달성하며 레이턴시 오버헤드는 0.5% 미만.

  • 1

    함수 호출 스키마 평균 56.9% 토큰 감소 (20개 실제 API 테스트)

  • 2

    100% 무손실 압축, 20/20 스키마 정상 동작 확인

  • 3

    RAG Standard 전략 5% 감소에 98.4% 코사인 유사도

  • 4

    레이턴시 오버헤드 1k 토큰당 0.05~0.25ms

  • prompt-refiner는 AI 에이전트, RAG 앱, 챗봇용 프롬프트를 자동으로 최적화해서 토큰 사용량을 줄여주는 Python 라이브러리임. API 비용 5~70% 절감을 목표로 하고, 함수 호출(function calling) 스키마에서는 평균 57% 감소를 달성했다고 함

  • 모듈 구성이 깔끔함:

    • Cleaner: HTML 제거, 공백 정규화, 유니코드 수정, JSON 정리
    • Compressor: 토큰 단위 자르기, 중복 제거
    • Scrubber: PII(이메일, 전화번호, 카드번호 등) 삭제
    • Tools: AI 에이전트 함수 스키마 및 응답 압축
    • Packer: 우선순위 기반 메시지 조합
    • | 연산자로 파이프라인 체이닝이 가능

벤치마크 수치가 꽤 인상적임

  • 함수 호출 스키마 압축: Stripe, Salesforce, HubSpot, Slack, OpenAI, Anthropic 등 실제 운영 API 스키마 20개로 테스트. 평균 56.9% 감소(15,342 토큰 절약). 100% 무손실 압축이라 프로토콜 필수 필드(name, type, required, enum)는 전부 보존됨

  • 압축된 20개 스키마 전부 OpenAI 함수 호출에서 정상 동작 확인됨. 60%(12/20)는 원본과 완전히 동일한 인자 생성, 40%(8/20)는 다르지만 유효한 결과. HubSpot, Salesforce 같은 엔터프라이즈 API는 70% 이상 감소

  • RAG 컨텍스트 압축: SQuAD + RAG 시나리오 30개 테스트. Standard 전략은 5% 감소에 코사인 유사도 98.4%, Aggressive 전략은 15% 감소에 96.4% 유사도 유지

💡팁

> 비용 감각: 중간 규모 에이전트(도구 10개, 일 500회 호출) 기준 SchemaCompressor만으로 월 $541 절약. RAG는 월 100만 토큰 기준 GPT-4에서 월 $54 절약

  • 레이턴시 오버헤드는 거의 없음. Minimal 전략 기준 1k 토큰당 0.05ms. 네트워크 + LLM TTFT가 보통 600ms 이상인 걸 감안하면 0.5% 미만의 오버헤드임. MIT 라이선스

API 비용 최적화에 관심 있는 팀이라면 바로 붙여볼 수 있는 수준의 라이브러리. 특히 도구 10개 이상인 에이전트에서 효과가 클 듯.

prev

이전 기사 (P)

next

다음 기사 (N)

댓글

댓글

댓글을 불러오는 중...

관련 기사

ai-ml

유튜브, AI 생성 영상에 자동 라벨 붙인다

유튜브가 사실적으로 보이거나 의미 있게 AI로 변경·생성된 콘텐츠에 더 눈에 띄는 라벨을 적용하고, 제작자가 AI 사용 여부를 밝히지 않아도 내부 신호로 감지되면 자동 라벨을 붙이겠다고 밝혔다. 다만 라벨만으로 추천 노출이나 수익화 자격이 바뀌지는 않으며, 제작자는 YouTube Studio에서 잘못된 판정을 수정할 수 있다.

ai-ml

테크 CEO들의 'AI 만능론', 숫자는 아직 그렇게 말하지 않는다

테크 업계에서 AI를 이유로 한 대규모 감원과 조직 재편이 이어지는 가운데, Box 창업자 애런 레비는 CEO들이 실제 업무의 마지막 1마일을 모른 채 AI 에이전트의 능력을 과대평가하고 있다고 지적했다. 2026년 첫 5개월 동안 이미 11만5430명이 해고됐고, 여러 연구는 AI 도입이 체감 생산성만큼 실제 생산성을 끌어올렸다는 근거가 아직 약하다고 말한다.

ai-ml

오픈AI와 앤트로픽, 코딩 에이전트로 드디어 돈 되는 시장을 찾은 듯

사이먼 윌리슨은 오픈AI와 앤트로픽이 코딩 에이전트와 기업용 과금으로 진짜 제품-시장 적합성을 찾았다고 봐. 개인 구독자에게는 월 100달러 플랜이 싸게 느껴지지만, 기업 고객은 이제 사용량 기준 토큰 가격을 그대로 내기 시작했고 이게 대형 고객 예산을 빠르게 흔들고 있다는 얘기야.

ai-ml

컴팔과 GMI 클라우드, 대규모 추론용 AI 인프라 구축 협력

컴팔이 실리콘밸리 기반 AI 인프라 기업 GMI 클라우드와 협력해 대규모 추론과 에이전틱 AI 워크로드에 맞춘 GPU 서버 인프라를 구축한다고 발표했어. COMPUTEX 2026에서는 NVIDIA HGX B300을 지원하는 Compal SGX30-2 같은 고성능 AI 서버 플랫폼도 선보일 예정이야.

ai-ml

AI 쓰면 편해진다더니, 직장인들은 ‘AI 과부하’에 지쳐가는 중

국내 직장인들이 AI 전환 압박, AI 답변 검증 부담, 대체 불안 때문에 피로감을 호소하고 있어. 중앙일보 설문에서는 5284명 중 31.6%가 ‘AI 답변 검증에 시간이 더 걸릴 때’를 가장 지치는 순간으로 꼽았고, 기업들은 무작정 AI 사용량을 밀어붙이는 방식에서 업무 방식 재설계로 넘어가야 한다는 지적이 나와.