BC카드, 레드햇 서밋에서 금융용 에이전틱 AI 운영 플랫폼 공개

• BC카드가 레드햇 서밋 2026에서 국내 금융사 최초 발표자로 나서 에이전틱 AI 운영 플랫폼 사례를 공개함

  • 행사는 5월 11~14일 미국 애틀랜타에서 열렸고, 레드햇이 매년 여는 오픈소스·클라우드·AI 기술 컨퍼런스임
  • 레드햇 서밋은 2005년 미국 뉴올리언스에서 시작됐고, 전 세계 IT 리더와 개발자, 엔지니어 수만 명이 참석하는 행사로 소개됨
  • BC카드는 레드햇과 지난 1년여 동안 공동 구축한 플랫폼을 이번 무대에서 처음 공개함

• 핵심은 “큰 LLM 하나에 다 맡기지 말고, 업무별 SLM 여러 개를 군집화하자”는 구조임

  • 기존 방식은 하나의 대규모 언어 모델에 모든 업무를 의존하는 형태였음
  • BC카드는 영역별로 특화된 다수의 소형 언어 모델을 군집화해 동시에 처리하도록 만들었다고 설명함
  • LLM은 운영 비용이 높고 처리 속도가 느린 반면, SLM은 특정 업무에 최적화되면 안정적인 결과를 더 빠르게 낼 수 있다는 판단임

• 이 사례가 좀 더 실전적으로 보이는 이유는 BC카드가 원래 처리하는 데이터 규모가 크기 때문임

  • BC카드는 연간 100억 건 이상 결제 데이터를 처리하며 쌓은 운영 노하우를 AI 기술에 접목했다고 밝힘
  • 고가의 GPU 자원을 효율적으로 분산한 사례를 발표했고, 이 과정에서 운영 비용을 낮추고 서비스 속도도 3배 이상 끌어올렸다고 설명함
  • 금융권에서는 성능만큼 안정성, 비용, 통제 가능성이 중요해서 이런 인프라 설계가 꽤 현실적인 포인트임

• 공개된 서비스 사례도 단순 사내 챗봇 하나로 끝나지 않음

  • Eat.pl은 실시간 소비 패턴을 분석해 맛집을 추천하는 서비스임
  • BCGPT는 금융 특화 생성형 AI 플랫폼으로 임직원 업무 지원에 쓰임
  • MOAI는 여러 AI를 연결해 업무 자동화를 구현하는 서비스임
  • 즉, 모델을 만든 뒤 실제 고객 서비스와 내부 업무 흐름에 붙이는 쪽까지 확장하고 있음

• 오픈소스 생태계 기여도 같이 강조함

  • BC카드는 자체 개발한 AI 모델과 한국 금융 특화 데이터셋을 허깅페이스에 약 38개 LLM 형태로 공개함
  • 국내 금융권 유일의 글로벌 LLM 컨트리뷰터로 활동 중이라고 설명함
  • 월 평균 10만여 건 다운로드 성과도 냈다고 밝힘
  • 금융사가 AI를 “내부 도입”에서 끝내지 않고 개발자 생태계에 모델을 공개했다는 점은 꽤 드문 장면임

• 오성수 AI데이터본부장은 이번 발표가 BC카드의 에이전틱 AI 엔지니어링 역량을 글로벌 무대에서 인정받은 자리였다고 봄

  • 메시지는 단순 AI 도입사가 아니라 오픈소스 생태계에 기여하는 기술 주체로 남겠다는 쪽임
  • 한국 금융권에서 AI를 실제 운영 플랫폼으로 풀어낸 사례가 해외 개발자 행사에서 소개됐다는 점이 관전 포인트임

---

기술 맥락

• BC카드가 고른 방향은 큰 LLM 하나로 모든 업무를 처리하는 구조를 피하는 거예요. 금융 업무는 질의 유형이 다양하지만 반복적이고 도메인이 뚜렷한 작업도 많아서, 전부 범용 LLM에 태우면 비용과 지연 시간이 커지기 쉽거든요.

• 그래서 업무별 SLM을 여러 개 두고 군집화하는 선택이 나와요. 특정 업무에 맞춘 작은 모델은 범용성은 줄어들지만, 그만큼 추론이 빠르고 GPU 자원을 덜 먹을 수 있어요. 기사에서 나온 최대 3배 속도 향상, GPU 70% 절감이라는 숫자가 바로 이 선택의 근거예요.

• 이 구조는 단순 모델 교체가 아니라 운영 아키텍처 문제에 가까워요. 어떤 요청을 어떤 SLM으로 보낼지, 여러 모델 결과를 어떻게 묶을지, 장애가 났을 때 어떻게 우회할지 같은 운영 설계가 따라붙기 때문이에요.

• BC카드가 연간 100억 건 이상 결제 데이터를 처리해온 조직이라는 점도 중요해요. 데이터 처리량이 큰 금융사에서는 AI 기능 하나를 붙여도 GPU 비용, 응답 속도, 보안 통제가 바로 비용 문제로 이어지거든요.

• 허깅페이스에 38개 LLM을 공개한 것도 이 맥락에서 보면 단순 홍보가 아니에요. 한국 금융 도메인 데이터와 모델을 외부 개발자가 써볼 수 있게 만들면, 폐쇄적인 금융 AI를 조금이나마 검증 가능한 생태계 쪽으로 밀어낼 수 있어요.