--- title: "BC카드, 레드햇 서밋에서 금융용 에이전틱 AI 운영 플랫폼 공개" published: 2026-05-18T01:05:03.149Z canonical: https://jeff.news/article/2950 --- # BC카드, 레드햇 서밋에서 금융용 에이전틱 AI 운영 플랫폼 공개 BC카드가 레드햇 서밋 2026에서 국내 금융사 최초 발표자로 초청돼 에이전틱 AI 운영 플랫폼 사례를 공개했다. 하나의 LLM에 의존하는 대신 업무별 SLM을 군집화해 추론 속도를 최대 3배 높이고 GPU 자원을 최대 70% 절감했다는 점이 핵심이다. - BC카드가 레드햇 서밋 2026에서 국내 금융사 최초 발표자로 나서 에이전틱 AI 운영 플랫폼 사례를 공개함 - 행사는 5월 11~14일 미국 애틀랜타에서 열렸고, 레드햇이 매년 여는 오픈소스·클라우드·AI 기술 컨퍼런스임 - 레드햇 서밋은 2005년 미국 뉴올리언스에서 시작됐고, 전 세계 IT 리더와 개발자, 엔지니어 수만 명이 참석하는 행사로 소개됨 - BC카드는 레드햇과 지난 1년여 동안 공동 구축한 플랫폼을 이번 무대에서 처음 공개함 - 핵심은 “큰 LLM 하나에 다 맡기지 말고, 업무별 SLM 여러 개를 군집화하자”는 구조임 - 기존 방식은 하나의 대규모 언어 모델에 모든 업무를 의존하는 형태였음 - BC카드는 영역별로 특화된 다수의 소형 언어 모델을 군집화해 동시에 처리하도록 만들었다고 설명함 - LLM은 운영 비용이 높고 처리 속도가 느린 반면, SLM은 특정 업무에 최적화되면 안정적인 결과를 더 빠르게 낼 수 있다는 판단임 > [!IMPORTANT] > BC카드 설명 기준으로 SLM 구조는 추론 속도를 최대 3배 이상 높이고, GPU 자원을 최대 70%까지 절감함. 엔터프라이즈 AI에서 이 정도 수치는 그냥 “성능 개선”이 아니라 운영비 구조를 바꾸는 숫자임. - 이 사례가 좀 더 실전적으로 보이는 이유는 BC카드가 원래 처리하는 데이터 규모가 크기 때문임 - BC카드는 연간 100억 건 이상 결제 데이터를 처리하며 쌓은 운영 노하우를 AI 기술에 접목했다고 밝힘 - 고가의 GPU 자원을 효율적으로 분산한 사례를 발표했고, 이 과정에서 운영 비용을 낮추고 서비스 속도도 3배 이상 끌어올렸다고 설명함 - 금융권에서는 성능만큼 안정성, 비용, 통제 가능성이 중요해서 이런 인프라 설계가 꽤 현실적인 포인트임 - 공개된 서비스 사례도 단순 사내 챗봇 하나로 끝나지 않음 - Eat.pl은 실시간 소비 패턴을 분석해 맛집을 추천하는 서비스임 - BCGPT는 금융 특화 생성형 AI 플랫폼으로 임직원 업무 지원에 쓰임 - MOAI는 여러 AI를 연결해 업무 자동화를 구현하는 서비스임 - 즉, 모델을 만든 뒤 실제 고객 서비스와 내부 업무 흐름에 붙이는 쪽까지 확장하고 있음 - 오픈소스 생태계 기여도 같이 강조함 - BC카드는 자체 개발한 AI 모델과 한국 금융 특화 데이터셋을 허깅페이스에 약 38개 LLM 형태로 공개함 - 국내 금융권 유일의 글로벌 LLM 컨트리뷰터로 활동 중이라고 설명함 - 월 평균 10만여 건 다운로드 성과도 냈다고 밝힘 - 금융사가 AI를 “내부 도입”에서 끝내지 않고 개발자 생태계에 모델을 공개했다는 점은 꽤 드문 장면임 - 오성수 AI데이터본부장은 이번 발표가 BC카드의 에이전틱 AI 엔지니어링 역량을 글로벌 무대에서 인정받은 자리였다고 봄 - 메시지는 단순 AI 도입사가 아니라 오픈소스 생태계에 기여하는 기술 주체로 남겠다는 쪽임 - 한국 금융권에서 AI를 실제 운영 플랫폼으로 풀어낸 사례가 해외 개발자 행사에서 소개됐다는 점이 관전 포인트임 --- ## 기술 맥락 - BC카드가 고른 방향은 큰 LLM 하나로 모든 업무를 처리하는 구조를 피하는 거예요. 금융 업무는 질의 유형이 다양하지만 반복적이고 도메인이 뚜렷한 작업도 많아서, 전부 범용 LLM에 태우면 비용과 지연 시간이 커지기 쉽거든요. - 그래서 업무별 SLM을 여러 개 두고 군집화하는 선택이 나와요. 특정 업무에 맞춘 작은 모델은 범용성은 줄어들지만, 그만큼 추론이 빠르고 GPU 자원을 덜 먹을 수 있어요. 기사에서 나온 최대 3배 속도 향상, GPU 70% 절감이라는 숫자가 바로 이 선택의 근거예요. - 이 구조는 단순 모델 교체가 아니라 운영 아키텍처 문제에 가까워요. 어떤 요청을 어떤 SLM으로 보낼지, 여러 모델 결과를 어떻게 묶을지, 장애가 났을 때 어떻게 우회할지 같은 운영 설계가 따라붙기 때문이에요. - BC카드가 연간 100억 건 이상 결제 데이터를 처리해온 조직이라는 점도 중요해요. 데이터 처리량이 큰 금융사에서는 AI 기능 하나를 붙여도 GPU 비용, 응답 속도, 보안 통제가 바로 비용 문제로 이어지거든요. - 허깅페이스에 38개 LLM을 공개한 것도 이 맥락에서 보면 단순 홍보가 아니에요. 한국 금융 도메인 데이터와 모델을 외부 개발자가 써볼 수 있게 만들면, 폐쇄적인 금융 AI를 조금이나마 검증 가능한 생태계 쪽으로 밀어낼 수 있어요. ## 핵심 포인트 - BC카드는 레드햇과 1년여간 공동 구축한 에이전틱 AI 운영 플랫폼을 글로벌 무대에서 공개함 - 업무별 SLM을 군집화해 LLM 단일 의존 구조보다 속도와 비용 효율을 개선함 - 허깅페이스에 약 38개 LLM을 공개했고 월 평균 10만여 건 다운로드 성과를 냄 ## 인사이트 금융권 AI 사례에서 흔한 챗봇 도입 이야기가 아니라, 운영 비용과 GPU 자원까지 건드린 사례라 개발자 입장에서 볼 만함. 특히 SLM 군집화로 LLM 단일 구조를 대체했다는 대목은 엔터프라이즈 AI 아키텍처 논의에 바로 연결된다.