Salesforce, 음성 RAG 검색 지연을 316배 줄이는 VoiceAgentRAG 오픈소스 공개

문제: 음성 AI의 지연 시간 한계

• 음성 에이전트는 자연스러운 대화를 위해 200ms 이내 응답이 필요함
  • 텍스트 기반 RAG는 수 초의 '사고 시간'이 허용되지만, 음성에서는 그 여유가 없음
• 표준 벡터 DB 쿼리는 50~300ms의 네트워크 지연을 추가해, LLM 생성이 시작되기도 전에 전체 시간 예산을 소진함

듀얼 에이전트 아키텍처

• VoiceAgentRAG는 비동기 이벤트 버스를 통해 두 개의 동시 에이전트를 조율하는 메모리 라우터로 작동함

sequenceDiagram
    participant U as 사용자
    participant FT as Fast Talker (포그라운드)
    participant SC as 시맨틱 캐시 (FAISS)
    participant ST as Slow Thinker (백그라운드)
    participant VDB as 벡터 DB (Qdrant)

    Note over ST,VDB: 백그라운드: 예측 프리페치
    ST->>ST: 최근 6턴 슬라이딩 윈도우 분석
    ST->>VDB: 예상 후속 주제 3~5개 프리페치
    VDB-->>SC: 문서 청크 캐시 적재

    U->>FT: 음성 질의
    FT->>SC: 캐시 조회 (0.35ms)
    alt 캐시 히트
        SC-->>FT: 캐시된 컨텍스트 반환
        FT->>U: 즉시 응답 생성
    else 캐시 미스
        FT->>VDB: 벡터 DB 폴백 쿼리 (110ms)
        VDB-->>FT: 결과 반환
        FT->>SC: 결과 캐시 저장
        FT->>U: 응답 생성
        FT->>ST: PriorityRetrieval 이벤트 발행
        ST->>VDB: 확장된 top-k (2x) 즉시 검색
        VDB-->>SC: 새 주제 영역 캐시 적재
    end

Fast Talker (포그라운드 에이전트)

• 지연 시간이 중요한 크리티컬 패스를 담당함
  • 모든 사용자 쿼리에 대해 먼저 로컬 인메모리 시맨틱 캐시를 확인함
  • 캐시 히트 시 조회 시간은 약 0.35ms
  • 캐시 미스 시 원격 벡터 DB로 폴백하고, 결과를 즉시 캐시에 저장함

Slow Thinker (백그라운드 에이전트)

• 대화 스트림을 지속적으로 모니터링하며 예측 프리페치를 수행함
  • 최근 6턴의 슬라이딩 윈도우를 사용해 3~5개의 후속 주제를 예측함
  • 사용자가 다음 질문을 하기 전에 관련 문서 청크를 미리 가져와 로컬 캐시에 적재함
• 검색 정확도 최적화를 위해 질문 형태가 아닌 문서 스타일 설명문을 생성함
  • 지식 베이스의 실제 문서와 임베딩이 더 잘 정렬되도록 하는 전략임

시맨틱 캐시 기술 상세

• FAISS IndexFlat IP(내적) 기반 인메모리 캐시로 구현됨
• 문서 임베딩 인덱싱: 쿼리 의미가 아닌 문서 자체 임베딩으로 인덱싱함
  • 사용자 표현이 예측과 달라도 관련 결과를 정확히 검색할 수 있음
• 임계값 관리: 쿼리-문서 코사인 유사도는 쿼리-쿼리보다 체계적으로 낮으므로, 기본 임계값 τ=0.40을 사용함
• 캐시 유지보수:
  • 코사인 유사도 0.95 임계값으로 중복 감지
  • LRU 퇴거 정책 적용, TTL은 300초
• PriorityRetrieval: Fast Talker 캐시 미스 시, Slow Thinker가 기본값의 2배 top-k로 즉시 검색해 새 주제 영역의 캐시를 빠르게 채움

벤치마크 성능

• Qdrant Cloud를 원격 벡터 DB로 사용, 200개 쿼리·10개 대화 시나리오에서 평가함
• 핵심 수치:
  • 검색 속도: 316배 향상 (110ms → 0.35ms, 캐시 히트 시)
  • 전체 캐시 히트율: 75%
  • 주제 일관성 높은 대화(예: 기능 비교 시나리오 S8)에서 최대 95% 히트율
  • 변동성 높은 시나리오에서는 성능 저하: 기존 고객 업그레이드(S9) 45%, 혼합 질의(S10) 55%

호환성 및 지원

• LLM: OpenAI, Anthropic, Gemini/Vertex AI, Ollama 지원 (기본 평가 모델은 GPT-4o-mini)
• 임베딩: OpenAI text-embedding-3-small (1536차원), Ollama 지원
• STT/TTS: Whisper(로컬 또는 OpenAI), Edge TTS, OpenAI TTS
• 벡터 스토어: FAISS, Qdrant 기본 지원
• 전체 코드가 오픈소스로 공개됨

기술 맥락: 왜 이 설계인가

• 핵심 트레이드오프: 음성 에이전트에서 RAG의 최대 병목은 네트워크 왕복 시간임. VoiceAgentRAG는 "모든 쿼리를 정확하게 검색"하는 대신 "대부분의 쿼리를 사전 예측으로 즉시 응답"하는 전략을 선택함
• 문서 임베딩 vs 쿼리 임베딩: 일반적인 시맨틱 캐시는 쿼리 임베딩으로 인덱싱하지만, 사용자 표현의 다양성 때문에 히트율이 떨어짐. 문서 임베딩 인덱싱은 "같은 정보를 다르게 물어도 동일 캐시 엔트리에 매칭"되는 장점이 있음
• τ=0.40의 의미: 쿼리와 문서 간 유사도는 동일 의미여도 0.4~0.6 수준이 일반적이므로, 임계값을 낮게 설정해 재현율(recall)을 확보하면서 LRU+TTL로 캐시 오염을 방지하는 구조임
• 비동기 이벤트 버스 선택: 포그라운드/백그라운드 에이전트를 동기 호출 대신 이벤트 기반으로 분리해, 프리페치 지연이 응답 지연에 영향을 주지 않도록 설계함