본문으로 건너뛰기
J
피드

prompt-refiner: LLM 프롬프트 토큰을 자동으로 줄여주는 경량 라이브러리

ai-ml 약 3분
tags
#llm#prompt-engineering#token-optimization#rag#python
vote
0
댓글
북마크

AI 에이전트와 RAG 앱의 프롬프트를 자동 최적화하는 Python 라이브러리. 함수 호출 스키마 평균 57% 토큰 감소, RAG 컨텍스트 5~15% 감소를 달성하며 레이턴시 오버헤드는 0.5% 미만.

  • 1

    함수 호출 스키마 평균 56.9% 토큰 감소 (20개 실제 API 테스트)

  • 2

    100% 무손실 압축, 20/20 스키마 정상 동작 확인

  • 3

    RAG Standard 전략 5% 감소에 98.4% 코사인 유사도

  • 4

    레이턴시 오버헤드 1k 토큰당 0.05~0.25ms

  • prompt-refiner는 AI 에이전트, RAG 앱, 챗봇용 프롬프트를 자동으로 최적화해서 토큰 사용량을 줄여주는 Python 라이브러리임. API 비용 5~70% 절감을 목표로 하고, 함수 호출(function calling) 스키마에서는 평균 57% 감소를 달성했다고 함

  • 모듈 구성이 깔끔함:

    • Cleaner: HTML 제거, 공백 정규화, 유니코드 수정, JSON 정리
    • Compressor: 토큰 단위 자르기, 중복 제거
    • Scrubber: PII(이메일, 전화번호, 카드번호 등) 삭제
    • Tools: AI 에이전트 함수 스키마 및 응답 압축
    • Packer: 우선순위 기반 메시지 조합
    • | 연산자로 파이프라인 체이닝이 가능

벤치마크 수치가 꽤 인상적임

  • 함수 호출 스키마 압축: Stripe, Salesforce, HubSpot, Slack, OpenAI, Anthropic 등 실제 운영 API 스키마 20개로 테스트. 평균 56.9% 감소(15,342 토큰 절약). 100% 무손실 압축이라 프로토콜 필수 필드(name, type, required, enum)는 전부 보존됨

  • 압축된 20개 스키마 전부 OpenAI 함수 호출에서 정상 동작 확인됨. 60%(12/20)는 원본과 완전히 동일한 인자 생성, 40%(8/20)는 다르지만 유효한 결과. HubSpot, Salesforce 같은 엔터프라이즈 API는 70% 이상 감소

  • RAG 컨텍스트 압축: SQuAD + RAG 시나리오 30개 테스트. Standard 전략은 5% 감소에 코사인 유사도 98.4%, Aggressive 전략은 15% 감소에 96.4% 유사도 유지

💡팁

> 비용 감각: 중간 규모 에이전트(도구 10개, 일 500회 호출) 기준 SchemaCompressor만으로 월 $541 절약. RAG는 월 100만 토큰 기준 GPT-4에서 월 $54 절약

  • 레이턴시 오버헤드는 거의 없음. Minimal 전략 기준 1k 토큰당 0.05ms. 네트워크 + LLM TTFT가 보통 600ms 이상인 걸 감안하면 0.5% 미만의 오버헤드임. MIT 라이선스

API 비용 최적화에 관심 있는 팀이라면 바로 붙여볼 수 있는 수준의 라이브러리. 특히 도구 10개 이상인 에이전트에서 효과가 클 듯.

prev

이전 기사 (P)

next

다음 기사 (N)

댓글

댓글

댓글을 불러오는 중...

관련 기사

ai-ml

애플 새 음성 인식 API, 온디바이스 영어 전사에서 위스퍼 스몰까지 이겼다

애플의 새 음성 인식 API인 스피치애널라이저가 리브리스피치 벤치마크에서 기존 SFSpeechRecognizer는 물론 위스퍼 스몰보다도 낮은 단어 오류율을 기록했어. 깨끗한 음성에서는 2.12%, noisy 음성에서는 4.56%로, 기존 애플 API 대비 오류율을 3.5~4배 줄였고 위스퍼 스몰보다 약 3배 빠르게 돌았어. 다만 영어·애플 플랫폼·OS 26 조건의 결과라, 다국어와 크로스플랫폼에서는 여전히 위스퍼의 장점이 남아 있어.

ai-ml

AI를 진짜 잘 쓰는 기업, 미국 증시에서 연 30% 프리미엄 받는다는 연구

예일대와 로체스터대 연구진이 기업의 실제 대형 언어 모델 사용 데이터를 분석했더니, AI 활용도가 높은 상위 20% 기업이 하위 20%보다 주당 평균 0.64% 높은 초과수익률을 냈다. 단순히 AI 기업이냐가 아니라, 업무에 AI를 얼마나 깊게 쓰는지가 시장 가치에 반영되고 있다는 얘기다.

ai-ml

ZTE, AI 에이전트폰으로 스마트폰 재도전…진짜 승부처는 앱 생태계

ZTE가 바이트댄스의 더우바오를 탑재한 AI 에이전트 스마트폰으로 시장 재진입을 노린다. 핵심은 사용자가 명령하면 AI가 여러 앱을 직접 열고 조작하는 방식인데, 위챗·타오바오·알리페이 같은 플랫폼과 충돌하면서 생태계 문제가 가장 큰 변수로 떠올랐다.

ai-ml

노벨상 학자들까지 “AI 경제 충격, 지금 제도 안 만들면 늦다”

노벨 경제학상 수상자 15명을 포함한 학자와 기술 업계 인사 약 200명이 AI가 향후 10년 안에 경제를 급격히 바꿀 수 있다며 정책 대응을 촉구했다. 이들은 산업혁명보다 큰 변화가 훨씬 짧은 시간에 올 수 있고, 대규모 일자리 대체와 생활 수준 향상이라는 양면성이 동시에 존재한다고 봤다.

ai-ml

NHN, AI 데이터센터 매출 기대감에 목표주가 5만6000원으로 상향

한국투자증권이 NHN의 목표주가를 4만5000원에서 5만6000원으로 올리고 투자의견 매수를 유지했다. 핵심 근거는 양평 AI 데이터센터 가동, 공공·민간 GPU 클러스터 수주 확대, 클라우드 사업부 신규 매출 반영이다.