본문으로 건너뛰기
J
피드

임베딩만 믿다가 정확도 1%였던 RAG, 피드백 루프 붙이니 67%로

ai-ml 약 3분
tags
#rag#embeddings#retrieval#llm#feedback-loop
vote
0
댓글
북마크

RAG에서 검색과 생성 사이 피드백 루프가 없는 문제를 Wilson 점수와 동적 가중치로 해결. 시맨틱 유사도가 틀릴 때 0%→60% 정확도 개선.

  • 1

    리트리버-제너레이터 간 피드백 부재가 근본 문제

  • 2

    Wilson 점수로 콜드스타트, 동적 가중치로 신뢰도 전환

  • 3

    적대적 테스트에서 0%→60%, 토큰 효율 1%→67%

  • Chroma의 작년 7월 연구에서 이미 밝혀진 사실: 컨텍스트 윈도우를 아무리 키워도 검색(retrieval) 문제는 해결 안 됨. Claude, GPT-4.1, Gemini 2.5 포함 18개 LLM 테스트 결과, 넣을 수 있는 양과 무관하게 성능이 떨어짐

  • 핵심 문제는 검색과 생성이 분리되어 있다는 것. 리트리버가 "관련" 청크를 찾고, 제너레이터가 사용하는데, 그 답변이 실제로 도움이 됐는지에 대한 피드백이 없음. 틀린 답변에 쓰인 메모리가 같은 신뢰도로 다음에도 올라옴

해결한 세 가지 문제

  • 콜드 스타트 문제: 새 메모리가 1번 성공하면 100%, 베테랑 메모리가 90/100이면 90%. 수학적으로는 새 게 더 좋아 보이는 함정. Wilson 점수로 해결 — 데이터가 적으면 신뢰 구간을 넓게 잡아서 9/10은 ~60%, 90/100은 ~83%로 평가함

  • 신뢰도 동적 가중치: 새 메모리는 임베딩 유사도 80% + 성과 기반 20%로 시작, 검증된 메모리는 반대로 임베딩 20% + 성과 80%로 전환됨. 신뢰는 가정이 아니라 획득하는 것이라는 원칙

  • 암묵적 피드백 수집: 버튼 클릭 안 시킴. LLM이 사용자의 다음 메시지를 읽고 이전 응답이 도움됐는지 추론함. "됐어 고마워" → 성공, "아니 그게 아니라" → 실패, 새 주제로 넘어감 → 성공(이전 이슈 해결)

결과

  • 시맨틱 유사도가 오답을 가리키는 30개 적대적 테스트 수행. "코드가 자꾸 크래시남"이 "크래시 코스 수강 기록"과 매칭되는 식의 함정

❗중요

> ChromaDB 베이스라인(유사도만): 정확도 0% → Roampal(성과 기반 학습): 60%. 시맨틱 유사도가 틀린 답을 가리킬 때 60%p 차이

  • 토큰 효율성도 큰 차이: "도움이 됐던 메모리가 상위 3개 안에 들어있는가?" 기준으로 Naive RAG 1% vs Roampal 67%. 50개 청크 대신 3-5개만 가져오니 토큰도 절약

아키텍처

  • 5개 컬렉션(memory_bank, books 등)에 3개 지식 그래프(라우팅 KG, 콘텐츠 KG, 액션 KG)가 협업. 하드코딩 규칙 없이 사용자 패턴을 학습함

  • 펀딩 없는 사이드 프로젝트라고 함. 고장나면 본인이 직접 고치는 구조

RAG의 고질적 문제를 '검색 품질 개선'이 아니라 '결과 피드백'으로 접근한 점이 신선함. 사이드 프로젝트치고 아이디어가 탄탄함.

prev

이전 기사 (P)

next

다음 기사 (N)

댓글

댓글

댓글을 불러오는 중...

관련 기사

ai-ml

유튜브, AI 생성 영상에 자동 라벨 붙인다

유튜브가 사실적으로 보이거나 의미 있게 AI로 변경·생성된 콘텐츠에 더 눈에 띄는 라벨을 적용하고, 제작자가 AI 사용 여부를 밝히지 않아도 내부 신호로 감지되면 자동 라벨을 붙이겠다고 밝혔다. 다만 라벨만으로 추천 노출이나 수익화 자격이 바뀌지는 않으며, 제작자는 YouTube Studio에서 잘못된 판정을 수정할 수 있다.

ai-ml

테크 CEO들의 'AI 만능론', 숫자는 아직 그렇게 말하지 않는다

테크 업계에서 AI를 이유로 한 대규모 감원과 조직 재편이 이어지는 가운데, Box 창업자 애런 레비는 CEO들이 실제 업무의 마지막 1마일을 모른 채 AI 에이전트의 능력을 과대평가하고 있다고 지적했다. 2026년 첫 5개월 동안 이미 11만5430명이 해고됐고, 여러 연구는 AI 도입이 체감 생산성만큼 실제 생산성을 끌어올렸다는 근거가 아직 약하다고 말한다.

ai-ml

오픈AI와 앤트로픽, 코딩 에이전트로 드디어 돈 되는 시장을 찾은 듯

사이먼 윌리슨은 오픈AI와 앤트로픽이 코딩 에이전트와 기업용 과금으로 진짜 제품-시장 적합성을 찾았다고 봐. 개인 구독자에게는 월 100달러 플랜이 싸게 느껴지지만, 기업 고객은 이제 사용량 기준 토큰 가격을 그대로 내기 시작했고 이게 대형 고객 예산을 빠르게 흔들고 있다는 얘기야.

ai-ml

컴팔과 GMI 클라우드, 대규모 추론용 AI 인프라 구축 협력

컴팔이 실리콘밸리 기반 AI 인프라 기업 GMI 클라우드와 협력해 대규모 추론과 에이전틱 AI 워크로드에 맞춘 GPU 서버 인프라를 구축한다고 발표했어. COMPUTEX 2026에서는 NVIDIA HGX B300을 지원하는 Compal SGX30-2 같은 고성능 AI 서버 플랫폼도 선보일 예정이야.

ai-ml

AI 쓰면 편해진다더니, 직장인들은 ‘AI 과부하’에 지쳐가는 중

국내 직장인들이 AI 전환 압박, AI 답변 검증 부담, 대체 불안 때문에 피로감을 호소하고 있어. 중앙일보 설문에서는 5284명 중 31.6%가 ‘AI 답변 검증에 시간이 더 걸릴 때’를 가장 지치는 순간으로 꼽았고, 기업들은 무작정 AI 사용량을 밀어붙이는 방식에서 업무 방식 재설계로 넘어가야 한다는 지적이 나와.