본문으로 건너뛰기
피드

임베딩만 믿다가 정확도 1%였던 RAG, 피드백 루프 붙이니 67%로

ai-ml 약 3분
vote
0
댓글
북마크

RAG에서 검색과 생성 사이 피드백 루프가 없는 문제를 Wilson 점수와 동적 가중치로 해결. 시맨틱 유사도가 틀릴 때 0%→60% 정확도 개선.

  • 1

    리트리버-제너레이터 간 피드백 부재가 근본 문제

  • 2

    Wilson 점수로 콜드스타트, 동적 가중치로 신뢰도 전환

  • 3

    적대적 테스트에서 0%→60%, 토큰 효율 1%→67%

  • Chroma의 작년 7월 연구에서 이미 밝혀진 사실: 컨텍스트 윈도우를 아무리 키워도 검색(retrieval) 문제는 해결 안 됨. Claude, GPT-4.1, Gemini 2.5 포함 18개 LLM 테스트 결과, 넣을 수 있는 양과 무관하게 성능이 떨어짐

  • 핵심 문제는 검색과 생성이 분리되어 있다는 것. 리트리버가 "관련" 청크를 찾고, 제너레이터가 사용하는데, 그 답변이 실제로 도움이 됐는지에 대한 피드백이 없음. 틀린 답변에 쓰인 메모리가 같은 신뢰도로 다음에도 올라옴

해결한 세 가지 문제

  • 콜드 스타트 문제: 새 메모리가 1번 성공하면 100%, 베테랑 메모리가 90/100이면 90%. 수학적으로는 새 게 더 좋아 보이는 함정. Wilson 점수로 해결 — 데이터가 적으면 신뢰 구간을 넓게 잡아서 9/10은 ~60%, 90/100은 ~83%로 평가함

  • 신뢰도 동적 가중치: 새 메모리는 임베딩 유사도 80% + 성과 기반 20%로 시작, 검증된 메모리는 반대로 임베딩 20% + 성과 80%로 전환됨. 신뢰는 가정이 아니라 획득하는 것이라는 원칙

  • 암묵적 피드백 수집: 버튼 클릭 안 시킴. LLM이 사용자의 다음 메시지를 읽고 이전 응답이 도움됐는지 추론함. "됐어 고마워" → 성공, "아니 그게 아니라" → 실패, 새 주제로 넘어감 → 성공(이전 이슈 해결)

결과

  • 시맨틱 유사도가 오답을 가리키는 30개 적대적 테스트 수행. "코드가 자꾸 크래시남"이 "크래시 코스 수강 기록"과 매칭되는 식의 함정

중요

> ChromaDB 베이스라인(유사도만): 정확도 0% → Roampal(성과 기반 학습): 60%. 시맨틱 유사도가 틀린 답을 가리킬 때 60%p 차이

  • 토큰 효율성도 큰 차이: "도움이 됐던 메모리가 상위 3개 안에 들어있는가?" 기준으로 Naive RAG 1% vs Roampal 67%. 50개 청크 대신 3-5개만 가져오니 토큰도 절약

아키텍처

  • 5개 컬렉션(memory_bank, books 등)에 3개 지식 그래프(라우팅 KG, 콘텐츠 KG, 액션 KG)가 협업. 하드코딩 규칙 없이 사용자 패턴을 학습함

  • 펀딩 없는 사이드 프로젝트라고 함. 고장나면 본인이 직접 고치는 구조

RAG의 고질적 문제를 '검색 품질 개선'이 아니라 '결과 피드백'으로 접근한 점이 신선함. 사이드 프로젝트치고 아이디어가 탄탄함.

댓글

댓글

댓글을 불러오는 중...

ai-ml

애플 새 음성 인식 API, 온디바이스 영어 전사에서 위스퍼 스몰까지 이겼다

애플의 새 음성 인식 API인 스피치애널라이저가 리브리스피치 벤치마크에서 기존 SFSpeechRecognizer는 물론 위스퍼 스몰보다도 낮은 단어 오류율을 기록했어. 깨끗한 음성에서는 2.12%, noisy 음성에서는 4.56%로, 기존 애플 API 대비 오류율을 3.5~4배 줄였고 위스퍼 스몰보다 약 3배 빠르게 돌았어. 다만 영어·애플 플랫폼·OS 26 조건의 결과라, 다국어와 크로스플랫폼에서는 여전히 위스퍼의 장점이 남아 있어.

ai-ml

AI를 진짜 잘 쓰는 기업, 미국 증시에서 연 30% 프리미엄 받는다는 연구

예일대와 로체스터대 연구진이 기업의 실제 대형 언어 모델 사용 데이터를 분석했더니, AI 활용도가 높은 상위 20% 기업이 하위 20%보다 주당 평균 0.64% 높은 초과수익률을 냈다. 단순히 AI 기업이냐가 아니라, 업무에 AI를 얼마나 깊게 쓰는지가 시장 가치에 반영되고 있다는 얘기다.

ai-ml

ZTE, AI 에이전트폰으로 스마트폰 재도전…진짜 승부처는 앱 생태계

ZTE가 바이트댄스의 더우바오를 탑재한 AI 에이전트 스마트폰으로 시장 재진입을 노린다. 핵심은 사용자가 명령하면 AI가 여러 앱을 직접 열고 조작하는 방식인데, 위챗·타오바오·알리페이 같은 플랫폼과 충돌하면서 생태계 문제가 가장 큰 변수로 떠올랐다.

ai-ml

노벨상 학자들까지 “AI 경제 충격, 지금 제도 안 만들면 늦다”

노벨 경제학상 수상자 15명을 포함한 학자와 기술 업계 인사 약 200명이 AI가 향후 10년 안에 경제를 급격히 바꿀 수 있다며 정책 대응을 촉구했다. 이들은 산업혁명보다 큰 변화가 훨씬 짧은 시간에 올 수 있고, 대규모 일자리 대체와 생활 수준 향상이라는 양면성이 동시에 존재한다고 봤다.

ai-ml

NHN, AI 데이터센터 매출 기대감에 목표주가 5만6000원으로 상향

한국투자증권이 NHN의 목표주가를 4만5000원에서 5만6000원으로 올리고 투자의견 매수를 유지했다. 핵심 근거는 양평 AI 데이터센터 가동, 공공·민간 GPU 클러스터 수주 확대, 클라우드 사업부 신규 매출 반영이다.