BC카드, 레드햇 서밋에서 금융권 에이전틱 AI 운영 사례 공개

• BC카드가 레드햇 서밋 2026에서 금융권 에이전틱 AI 운영 사례를 공개함

  • 레드햇 서밋은 오픈소스, 클라우드, AI 기술을 다루는 글로벌 컨퍼런스임
  • BC카드는 국내 금융사 중 최초로 발표자로 초청받았다고 밝힘
  • 발표 장소는 미국 애틀랜타였고, 레드햇과 약 1년 동안 공동 구축한 플랫폼 사례를 처음 공개함

• 핵심은 “큰 모델 하나로 다 처리하지 말자”는 구조임

  • 기존 방식은 하나의 대규모 언어 모델(LLM)에 여러 업무를 맡기는 형태였음
  • BC카드의 에이전틱 AI 운영 플랫폼은 영역별로 특화된 여러 소형언어모델(SLM)을 군집화해 동시에 처리하는 방식임
  • 업무별로 가볍고 특화된 모델을 나눠 쓰면 비싼 GPU 자원을 더 효율적으로 배분할 수 있다는 계산임

• 발표에서 내세운 숫자는 꽤 세다

  • BC카드는 연간 100억 건 이상 결제 데이터를 처리하며 쌓은 운영 노하우를 AI 기술에 접목했다고 설명함
  • 이 과정에서 운영 비용을 크게 낮췄고, 서비스 속도는 3배 이상 끌어올렸다고 밝힘
  • 금융권처럼 데이터량, 보안, 응답 속도가 동시에 중요한 환경에서는 “AI 붙였다”보다 이런 운영 지표가 훨씬 중요함

• 실제 서비스 사례도 같이 소개됨

  • Eat.pl은 실시간 소비 패턴을 분석해 맛집을 추천하는 서비스임
  • BCGPT는 금융 특화 생성형 AI 플랫폼으로 임직원 업무를 지원함
  • MOAI는 여러 AI를 연결해 업무 자동화를 구현하는 서비스로 소개됨

• 오픈소스 생태계 기여도 강조함

  • BC카드는 자체 개발한 AI 모델과 한국 금융 특화 데이터셋을 허깅페이스(Hugging Face)에 공개해 왔음
  • 공개한 대규모 언어 모델(LLM)은 약 38개임
  • 월평균 다운로드는 10만여 건 수준이라고 밝힘
  • 회사는 국내 금융권 유일의 글로벌 LLM 컨트리뷰터로 활동 중이라고 설명함

---

기술 맥락

• BC카드 사례에서 중요한 선택은 하나의 큰 모델을 중앙에 두는 대신, 여러 소형언어모델을 업무별로 나눠 배치한 거예요. 금융 업무는 질의 유형이 다양하고 응답 속도도 중요해서, 모든 요청을 비싼 대형 모델로 보내면 비용과 지연시간이 금방 문제가 되거든요.

• 왜 소형언어모델이 등장하느냐면, 특정 업무에서는 작은 모델이 충분히 좋은 답을 더 싸게 낼 수 있기 때문이에요. 예를 들어 내부 업무 지원, 소비 패턴 분석, 자동화 흐름처럼 범위가 정해진 일은 범용 모델보다 특화 모델이 운영상 유리할 수 있어요.

• 에이전틱 AI 운영 플랫폼이라는 표현도 그냥 마케팅 단어로만 볼 건 아니에요. 여러 모델과 서비스를 연결해 어떤 작업은 분석 모델이, 어떤 작업은 생성형 모델이, 어떤 작업은 자동화 시스템이 맡도록 오케스트레이션해야 하기 때문이에요.

• 연간 100억 건 이상 결제 데이터를 다루는 회사가 이 구조를 발표했다는 점도 맥락이 있어요. 금융권 AI는 정확도만큼이나 비용, 응답 시간, 보안, 운영 안정성이 중요해서 실제 운영 데이터가 많은 조직일수록 모델 배치 전략이 더 민감해져요.