카차트AI, 스노우플레이크로 비용 78% 줄이고 쿼리 3.2배 빠르게 돌림

자동차 데이터 서비스가 겪던 병목

• CLM&S는 국내 자동차 등록·거래 데이터를 다루는 회사고, 카이즈유와 카차트AI의 기반이 되는 데이터 규모가 꽤 큼

  • 신차 등록, 이전, 말소, 매매 등 차량 생애주기 데이터를 다룸
  • 누적 자동차 빅데이터는 14년 이상, 약 1억5000만 건 수준
  • 고객은 완성차, 금융사, 리스·렌터카, 딜러, 온라인 플랫폼 같은 비투비 조직이 중심임

• 기존 플랫폼의 가장 큰 문제는 “서비스는 24시간인데 실제 사용은 들쭉날쭉”이라는 점이었음

  • 외부 고객용 비아이 차트 서비스라 클러스터를 계속 켜둬야 했고, 야간·주말 유휴 시간에도 비용이 나감
  • 5~10년치 장기 데이터를 조회하는 일부 쿼리는 최대 39초까지 걸림
  • 비용을 줄이려고 클러스터를 끄면 성능이 떨어지고, 성능을 유지하려면 돈이 계속 나가는 구조였음

• 여기에 자연어로 차량 데이터를 분석하는 인공지능 서비스까지 준비해야 했으니, 단순 성능 튜닝으로 끝날 문제가 아니었음

  • 데이터, 파이프라인, 인공지능 워크로드가 흩어져 있으면 서비스 확장이 느려짐
  • CLM&S는 저장·처리·분석·공유·인공지능을 한 플랫폼에서 묶는 방향을 택함

스노우플레이크로 바꾼 뒤 숫자가 꽤 세게 나옴

• 비용 절감 폭이 가장 눈에 띔. 연간 총소유비용이 약 3만2000달러에서 7000달러로 줄었음
  • 절감률은 78%
  • 자동 일시중지·재개 기능으로 쿼리가 없을 때 컴퓨팅 비용을 줄인 게 핵심
  • 완전관리형 서비스형 소프트웨어 모델이라 인프라 운영 부담도 같이 낮아짐

• 대표 비아이 쿼리 3건의 응답 시간도 꽤 선명하게 줄었음

  • 1.76초가 0.7초로 단축
  • 4.4초가 1.2초로 단축
  • 5.97초가 1.7초로 단축
  • 최소 2.5배, 최대 3.7배 개선이고 평균은 3.2배 수준

• 반복 조회가 많은 차트 서비스에는 결과 캐시가 잘 맞았음

  • 웨어하우스가 중지돼도 결과 캐시가 24시간 유지됨
  • 같은 차트나 통계를 반복 조회할 때 추가 컴퓨팅 비용 없이 즉시 응답할 수 있음
  • 비아이 대시보드처럼 사용 패턴이 반복적인 서비스에서는 이게 체감 성능과 비용 양쪽에 먹힘

아키텍처는 “복사 줄이고, 집계 미리 만들고, 같은 데이터로 인공지능까지” 쪽

• 데이터 흐름은 Oracle, AWS Glue, S3, Snowflake로 이어지는 단순한 파이프라인으로 정리됨

  • 여러 시스템에 흩어져 있던 파이프라인을 일원화한 셈
  • 원천 데이터는 STG 레이어에 빠르게 적재
  • 브랜드, 모델, 지역, 연료, 성별, 연령별 통계 같은 최종 집계는 Mart 레이어에 미리 계산해 저장

• 월 배치 파이프라인도 스노우플레이크 태스크와 노트북으로 자동화했음

  • 단일 호출 CALL run_pipeline('YYYYMM')로 적재부터 집계 테이블 생성까지 실행
  • 기존의 복잡한 SQL 패턴을 스노우플레이크 표준 문법으로 전환
  • 비아이 쿼리 약 90개를 최적화함

• 데이터 공유 기능으로 카차트 서비스와 카차트AI가 같은 최신 데이터를 보게 만든 점도 중요함

  • 데이터 계정과 인공지능 서비스 계정을 실시간으로 연결
  • 별도 복사나 추가 파이프라인 없이 웹 대시보드와 인공지능 에이전트가 같은 데이터를 사용
  • 운영 입장에서는 데이터 정합성 이슈가 줄어드는 구조임

sequenceDiagram
    participant 원천데이터 as Oracle 원천 데이터
    participant 적재 as Glue와 S3
    participant 분석 as Snowflake
    participant 차트 as 카차트 서비스
    participant 인공지능 as 카차트AI
    원천데이터->>적재: 월별 차량 데이터 추출
    적재->>분석: STG 레이어 적재
    분석->>분석: Mart 집계와 쿼리 최적화
    차트->>분석: 반복 통계 조회
    분석-->>차트: Result Cache 기반 응답
    인공지능->>분석: 자연어 질의 실행
    분석-->>인공지능: 최신 데이터 기반 분석 결과

카차트AI는 “SQL 모르는 실무자”를 겨냥함

• CLM&S는 Snowflake Intelligence와 시맨틱 뷰를 활용해 카차트AI를 론칭했음

  • 사용자는 복잡한 SQL 대신 자연어로 질문함
  • 예시는 “최근 3년간 부산시의 하이브리드 차량 판매 추이를 분석해줘” 같은 식
  • 시스템은 1억5000만 건 자동차 데이터에서 인사이트를 뽑아냄

• 보고서 자동 생성 기능도 실무 부담을 줄이는 방향으로 설계됨

  • 전략 기획이나 마케팅 담당자가 통계 기반 리포트 초안을 빠르게 만들 수 있음
  • Thinking Process 기능은 분석 과정을 실시간으로 보여줘 신뢰감을 높였다고 함
  • 도입 초기인데도 팀 전체 사용을 권장하는 고객사가 나올 만큼 반응이 빠르다고 소개됨

• 앞으로는 데이터 분류 자동화와 응답 품질 고도화가 다음 과제임
  • 신규 데이터 온보딩 시간을 더 줄이는 게 목표
  • 보험, 금융, 모빌리티 같은 인접 영역으로 확장할 계획도 있음

기술 맥락

• CLM&S가 고른 선택은 단순히 더 빠른 데이터베이스가 아니에요. 24시간 외부 고객에게 차트를 제공해야 하는데 실제 쿼리는 특정 시간에 몰리니, 컴퓨팅을 계속 켜두는 구조가 비용 낭비였거든요. 그래서 필요할 때만 켜지는 자동 일시중지·재개가 비용 절감의 핵심이 됐어요.

• Mart 레이어를 따로 둔 것도 이유가 있어요. 자동차 데이터는 브랜드, 모델, 지역, 연료, 성별, 연령처럼 반복 조회되는 축이 많기 때문에 매번 원천 데이터를 훑으면 느려져요. 자주 보는 통계를 미리 계산해두고 결과 캐시까지 붙이면, 비아이 차트 사용자 입장에서는 훨씬 빠르게 느껴져요.

• 카차트AI에서 시맨틱 뷰가 중요한 이유는 자연어 질문이 바로 SQL로 바뀌기 어렵기 때문이에요. “부산 하이브리드 판매 추이”라는 말이 어떤 테이블, 어떤 기간, 어떤 집계 기준을 뜻하는지 연결해줘야 하거든요. 이 의미 계층이 없으면 인공지능이 그럴듯하지만 틀린 답을 만들 가능성이 커져요.

• 데이터 공유를 쓴 건 운영 관점에서도 꽤 실용적이에요. 차트 서비스와 인공지능 서비스가 데이터를 복사해서 따로 들고 있으면 최신성, 권한, 정합성 문제가 생기기 쉬워요. 같은 데이터를 공유해서 보게 만들면 새 파이프라인을 덜 만들고도 서비스 확장이 가능해져요.