BC카드, 금융 문맥 잘 찾는 자체 임베딩 모델 공개

BC카드가 만든 건 ‘답변 모델’보다 앞단의 검색 모델

• BC카드가 금융 특화 생성형 AI용 임베딩 모델을 자체 개발해 공개함

  • 임베딩 모델은 질문과 문서를 AI가 이해할 수 있는 숫자 좌표로 바꿔주는 역할을 함
  • 의미가 비슷한 문서를 가까운 위치에 놓고, 질문과 가장 관련 있는 정보를 찾아 생성형 AI에 넘기는 구조임

• 예를 들어 사용자가 “해외결제 수수료는 얼마인가요?”라고 물으면, 모델은 표현이 다른 관련 문서까지 찾아야 함

  • ‘해외 이용 수수료’, ‘국제 브랜드 수수료’처럼 단어는 달라도 의미가 같은 문서를 잡아내야 함
  • 금융 AI에서 이 검색 단계가 삐끗하면 답변 모델이 아무리 좋아도 헛소리를 하기 쉬움

왜 범용 임베딩 모델로는 부족했나

• 기존 임베딩 모델은 국내 금융 문맥을 충분히 이해하지 못하는 한계가 있었다고 BC카드는 설명함

  • 가맹점, 카드 결제, 수수료, 약관처럼 금융권에서 자주 쓰는 표현은 일반 문서 검색과 결이 다름
  • 같은 의미라도 실제 고객 질문과 내부 문서 표현이 다를 수 있어서, 도메인 특화 학습이 중요함

• BC카드는 오픈소스 플랫폼에 공개했던 182만건 규모 데이터셋을 활용해 모델을 개발함

  • 금융 데이터와 문맥을 반영해 검색 정확도를 높이는 쪽에 초점을 맞춘 것임
  • 외부 AI 서비스에 금융 데이터를 넘기지 않고 자체 AI 서비스를 운영할 수 있는 기반을 마련했다는 점도 강조됨

모델은 경량형과 고품질형 두 가지

• 경량형 모델은 약 6억 파라미터 규모로 일반 CPU에서도 사용할 수 있음

  • 공개 직후 글로벌 벤치마크 SOTA 평가 항목에서 타 모델 대비 최대 15% 향상된 성능을 보이며 전 세계 1위를 기록했다고 밝힘
  • 빠른 응답이 필요한 서비스나 비용을 줄여야 하는 환경에 맞는 선택지임

• 고품질형 모델은 약 40억 파라미터 규모로 GPU 환경에서만 활용 가능함

  • 경량형보다 약 10%가량 성능이 뛰어나다고 설명됨
  • 정밀한 검색이 필요한 업무에는 고품질형을 쓰고, 응답 속도와 비용이 중요한 곳에는 경량형을 쓰는 식으로 나눌 수 있음

금융권 소버린 AI와 AX 흐름에도 걸려 있음

• BC카드는 이번 모델을 통해 금융 AI 서비스의 핵심 검색 기술을 자체 확보했다고 봄

  • 금융 데이터는 민감도가 높아서 외부 AI 서비스로 그대로 보내기 어려움
  • 자체 임베딩 모델이 있으면 내부 문서 검색과 생성형 AI 서비스를 더 통제된 환경에서 운영할 수 있음

• 모델은 허깅페이스를 통해 공개될 예정임

  • BC카드는 KT 그룹사 AI 서비스 적용을 시작으로 정부와 금융기관 대상 금융 AI 검색 플랫폼 사업도 확대할 계획임
  • 회사 측은 정부의 소버린 AI 기조, 금융위원회의 금융권 AX 가속화 정책과도 맞는다고 설명함

---

기술 맥락

• BC카드가 임베딩 모델에 투자한 이유는 생성형 AI 답변의 근거 문서를 제대로 찾기 위해서예요. 금융 서비스에서는 약관, 수수료, 가맹점 정책처럼 정확한 문서 매칭이 중요해서 검색 품질이 곧 신뢰도와 연결돼요.

• 범용 임베딩 모델이 부족한 이유는 도메인 언어 때문이에요. 고객은 “해외결제 수수료”라고 묻지만 내부 문서에는 “국제 브랜드 수수료”처럼 다른 표현이 들어갈 수 있거든요. 이 둘을 같은 의미로 묶어야 실제 서비스가 쓸 만해져요.

• 경량형과 고품질형을 나눈 건 운영상 꽤 현실적인 선택이에요. 모든 요청을 40억 파라미터 GPU 모델로 처리하면 비용이 커지니, 빠른 응답이 필요한 곳은 6억 파라미터 CPU 모델로 보내고 정밀 검색이 필요한 업무만 큰 모델을 쓰는 식으로 설계할 수 있어요.

• 자체 모델 확보는 데이터 거버넌스 측면에서도 의미가 있어요. 금융 데이터는 외부 API로 보내기 부담이 크기 때문에, 내부 통제 가능한 검색 모델을 갖추면 생성형 AI 도입 범위를 넓히기 쉬워져요.