신한·우리·농협은행이 도입한 생성형 AI 신뢰성 평가 자동화

• 금융권에서 생성형 AI 도입이 빨라지면서 ‘AI 신뢰성 평가’가 새 인프라로 떠오르고 있음

  • 망분리 규제 완화 이후 은행들이 생성형 AI를 실제 업무에 붙이기 시작한 게 배경임
  • 이제 경쟁력은 AI를 도입했냐가 아니라, 그 AI가 제대로 작동하는지 계속 검증할 수 있냐로 옮겨가는 중임

• 셀렉트스타의 생성형 AI 신뢰성 검증 자동화 솔루션 다투모 이밸(DATUMO eval)이 주요 은행에 정식 도입됐음

  • 도입 은행은 신한은행, 우리은행, NH농협은행임
  • 기술검증(PoC)을 넘어서 금융권 실제 운영 단계에 들어간 첫 사례로 평가됨
  • 국내 금융 환경과 한국어 도메인을 반영한 평가 자동화라는 점이 포인트임

• 왜 지금 이게 중요하냐면, 금융 AI가 점점 ‘답변 도구’에서 ‘업무 보조자’로 넘어가고 있기 때문임

  • 대출 심사 보조, 이상거래 탐지, 고객 응대 자동화 같은 핵심 업무에 생성형 AI 적용이 늘고 있음
  • AI가 이상한 답을 하거나 잘못 판단하면 단순 품질 문제가 아니라 금융 사고나 고객 피해로 이어질 수 있음
  • 기존처럼 사람이 질문 만들고 응답을 하나씩 검수하는 방식은 서비스 수와 시나리오가 늘어나면 감당이 안 됨

• 다투모 이밸은 평가 질문 생성과 응답 평가를 자동화함

  • AI 에이전트 기술로 실제 고객 발화 패턴, 난이도, 금융 도메인 특성을 반영한 질문을 만든다고 설명됨
  • AI 서비스의 응답을 자동 평가·분석하고, 평가 지표 관리까지 지원함
  • 프롬프트 인젝션과 환각 같은 생성형 AI 취약점을 사전에 찾는 레드티밍 기능도 포함됨

• 신한은행 사례에서는 꽤 넓은 범위에 적용됐음

  • 금융 문서 이해 AI 모델 개발을 위한 데이터 구조화에 쓰임
  • 학습·평가용 데이터셋 설계와 평가 지표 관리에도 들어감
  • 자동 평가 환경 구축까지 포함됐기 때문에 단순 테스트 도구라기보다 평가 파이프라인에 가까움

• 해외에도 비슷한 흐름은 있음

  • 랭체인, 어라이즈AI, 스케일AI 등이 평가 관련 솔루션을 내놓고 있음
  • 다만 금융권의 규제 환경, 높은 정확성 요구, 한국어 금융 문맥까지 반영한 서비스는 제한적이었다는 게 기사 관점임
  • 그래서 국내 은행 레퍼런스를 만든 게 셀렉트스타 입장에선 꽤 큰 의미가 있음

• 보안 위협도 이 흐름을 밀어붙이는 요인임

  • 기사에서는 앤트로픽의 최신 AI 미토스(Mythos)를 예로 들며, AI가 스스로 취약점을 찾고 공격 시나리오까지 만들 수 있다는 위기감을 언급함
  • 공격도 AI화되는데 방어와 검증이 수작업이면 속도 차이가 너무 벌어짐
  • 결국 AI를 검증하는 AI, 평가를 자동화하는 인프라가 금융권 기본 장비가 되는 분위기임

• 셀렉트스타는 금융권을 넘어 제조, 공공, 엔터프라이즈로 확장하겠다는 계획임

  • 세계이동통신사업자연합회(GSMA)와 글로벌 AI 레드팀 챌린지를 공동 주관했고, 오픈 텔코 AI 파트너십도 체결함
  • 아직 글로벌 표준이 굳지 않은 AI 신뢰성 분야에서 금융권 레퍼런스를 기반으로 기준을 잡겠다는 전략임

---

기술 맥락

• 금융권이 AI 평가 자동화에 민감한 이유는 실패 비용이 크기 때문이에요. 고객 상담 답변 하나가 틀리는 수준을 넘어 대출, 이상거래, 문서 이해 같은 업무 판단에 영향을 줄 수 있거든요.

• 사람이 직접 평가 질문을 만들고 답변을 검수하는 방식은 초기 PoC에서는 가능해요. 하지만 AI 서비스가 여러 업무로 퍼지면 시나리오 수가 폭발해서 속도와 범위를 맞추기 어려워져요. 그래서 100만 개 이상 질문 자동 생성 같은 접근이 나오는 거예요.

• 다투모 이밸의 선택은 단순 정확도 평가가 아니라 금융 도메인형 레드티밍까지 포함하는 쪽이에요. 프롬프트 인젝션, 환각, 비정상 응답을 미리 찾아야 실제 운영에서 사고 확률을 낮출 수 있기 때문이에요.

• 한국어 금융 도메인이라는 점도 중요해요. 글로벌 평가 도구가 있어도 국내 은행의 문서, 상담 표현, 규제 맥락을 그대로 이해하긴 어려워요. 그래서 한국 금융권 레퍼런스가 생기면 다른 산업으로 확장할 때도 꽤 강한 근거가 돼요.