AI 비용 폭탄, 답은 더 큰 클라우드가 아니라 ‘로컬 우선 추론’일 수 있다

AI 파일럿 95%가 돈을 못 벌었다는 꽤 센 숫자

• MIT 연구진 분석에서 생성형 AI 시범사업의 95%가 손익에 측정 가능한 효과를 내지 못한 것으로 나옴

  • 공개 도입 사례 300건을 분석하고, 기업 임원·직원 수백 명을 조사한 결과
  • 전 세계 기업이 쓴 돈은 300억400억 달러, 원화로 약 41조55조 원 규모
  • 이 중 뚜렷한 성과를 낸 곳은 5%뿐이었다는 얘기라, “AI 하면 다 된다” 분위기에 찬물 제대로 끼얹는 숫자임

• 실패 원인이 모델이 멍청해서가 아니라는 점이 더 중요함

  • 연구진의 진단은 “모델 성능 부족”이 아니라 “업무 흐름에 녹이지 못한 구조”였음
  • 비싼 도구를 들여놨지만 실제 업무의 어느 지점에서 쓰고, 누가 검토하고, 비용을 어떻게 통제할지 설계가 없었다는 뜻

비용 폭탄은 대부분 ‘추론’에서 터짐

• AI 비용을 보려면 학습과 추론을 나눠서 봐야 함

  • 학습은 방대한 데이터로 모델을 가르치는 단계
  • 추론은 다 배운 모델에 실제 질문을 던져 답을 얻는 단계
  • 기업 서비스에서 매일 반복적으로 돈이 나가는 곳은 대체로 이 추론 쪽임

• 클라우드 추론은 토큰 단위로 요금이 쌓임

  • 토큰은 AI가 처리하는 글자 묶음 같은 단위
  • 질문 한 번, 답변 한 줄마다 비용이 붙음
  • 직원 몇 명이 쓰면 푼돈처럼 보여도, 고객 수만 명이 동시에 쓰고 한 작업에서 AI를 10번, 20번 부르면 청구서가 바로 커짐

• 지금의 AI API 가격이 영원히 싸다고 가정하는 것도 위험함

  • 오픈AI, 앤스로픽, 구글 같은 대형 AI 기업들이 추론 서비스를 원가보다 싸게 팔고 있다는 분석이 있음
  • 이용자를 끌어모으는 출혈 경쟁이라면, 나중에 가격 구조가 바뀔 가능성을 배제하기 어려움

• 속도도 비용임

  • 클라우드에 요청을 보내고 답을 받는 데 1~2초 지연이 생길 수 있음
  • 실시간 통역, 음성 비서처럼 즉각 반응해야 하는 서비스에서는 이 정도도 꽤 치명적
  • 사용자가 몰리는 시간대에는 호출 한도에 걸려 서비스가 막히는 문제도 생길 수 있음

그래서 나온 해법이 ‘로컬 우선 추론’

• 로컬 우선 추론은 모든 걸 비싼 클라우드 AI에 보내지 말자는 전략임

  • 기기나 회사 서버에서 처리 가능한 쉬운 일은 먼저 안에서 끝냄
  • 정말 어렵거나 애매한 일만 클라우드 모델로 넘김
  • 위험한 판단은 사람이 마지막에 검토하게 둬서 오류를 통제함

• 실제 사례에서는 숫자가 꽤 세게 나옴

  • 엔지니어링 도면 문서 4,700건을 처리하는 작업에서 전체의 70~80%를 기기 안에서 자동으로 걸러냄
  • 클라우드 AI가 필요 없는 명확한 문서를 먼저 로컬에서 처리한 것
  • 결과적으로 클라우드 호출 비용은 75%, 처리 시간은 55% 줄었음

• 중요한 건 “무조건 로컬”이 아니라 “일을 나눠 처리하는 설계”임
  • 로컬에서 AI를 돌리려면 하드웨어 구매 비용이 들어감
  • 시스템을 만들고 운영할 사람도 필요함
  • 거래량이 적거나 요청이 단순하지 않은 조직은 오히려 클라우드가 더 쌀 수 있음

개발자들이 이미 그쪽으로 움직이는 중

• 깃허브 인기 프로젝트 흐름에서도 비용 절감 쪽 관심이 보임

  • 5월 셋째 주 가장 빠르게 인기를 얻은 프로젝트 10개 중 일부는 거대 모델을 그대로 호출하는 도구가 아니었음
  • 세 개는 모든 처리를 기기 안에서 끝내는 방식
  • 다른 세 개는 토큰 소모 자체를 줄이는 데 초점을 맞췄음

• 스마트폰 기능에도 이 변화는 이미 들어와 있음

  • 통화 통역이나 사진 속 글자 인식처럼 즉각 처리되는 기능 상당수는 서버가 아니라 기기에서 돌아감
  • 사용자는 그냥 빠르다고 느끼지만, 뒤에서는 지연 시간과 비용, 개인정보 이동을 줄이는 구조가 깔려 있는 셈

한국 기업에는 꽤 현실적인 얘기

• 국내 중소기업과 소상공인에게 AI 도입의 가장 큰 장벽은 결국 비용임

  • 대형 클라우드 요금을 계속 감당하기 어려워 파일럿만 하다가 접는 경우가 많음
  • MIT가 말한 95% 실패가 남의 나라 얘기만은 아닌 이유

• 로컬 우선 전략은 비용과 개인정보 문제를 동시에 건드림

  • 고객 응대의 단골 질문은 기기나 자체 서버에서 처리
  • 까다로운 상담만 고성능 클라우드 AI에 넘김
  • 데이터가 회사 밖으로 덜 나가니 의료·금융처럼 민감한 분야에서는 개인정보 보호 측면에서도 의미가 큼

• 그렇다고 로컬 우선이 만능은 아님

  • 작은 기업이 자체 하드웨어와 기술 인력을 갖추는 건 또 다른 부담
  • 어떤 요청을 안에서 처리하고, 어떤 요청을 클라우드로 넘길지 가르는 설계 역량이 없으면 시스템만 복잡해짐
  • 살아남은 5%는 화려한 기능보다 “우리 업무의 어느 길목에 AI를 끼울 것인가”에 답한 쪽이었다는 게 핵심

• 비용 하락 전망도 단순하지 않음

  • 가트너는 1조 개 매개변수 규모 모델의 추론 비용이 2030년까지 90% 넘게 떨어질 수 있다고 봄
  • 기기용 칩과 모델 효율이 빠르게 좋아지고 있기 때문
  • 하지만 에이전트형 AI는 한 작업에서 훨씬 많은 토큰을 쓰기 때문에, 단가가 내려도 총비용은 생각만큼 안 줄 수 있음

• 결론은 꽤 명확함

  • AI 비용 논쟁의 무게중심은 “어떤 모델이 가장 똑똑한가”에서 “언제 그 모델을 부를 것인가”로 옮겨가고 있음
  • 제품팀과 개발팀은 모델 선택표만 볼 게 아니라 로컬 처리, 캐시, 라우팅, 사람 검토, 클라우드 호출 기준을 같이 설계해야 함

---

기술 맥락

• 로컬 우선 추론은 “클라우드 모델을 버리자”가 아니라 “비싼 모델을 마지막 카드로 쓰자”에 가까워요. 쉬운 분류나 명확한 문서 판별은 로컬에서 끝내고, 애매한 케이스만 클라우드로 보내야 비용이 통제되거든요.

• 이 전략이 중요한 이유는 추론 비용이 사용량에 비례해서 계속 쌓이기 때문이에요. 학습은 큰돈이 한 번 들어가는 성격이 강하지만, 추론은 사용자 요청이 생길 때마다 반복해서 비용이 발생해요.

• 기사 속 문서 4,700건 사례는 라우팅 설계의 의미를 잘 보여줘요. 70~80%를 로컬에서 먼저 걸러냈기 때문에 클라우드 호출 비용 75%, 처리 시간 55%를 줄일 수 있었어요.

• 개인정보 측면에서도 로컬 처리는 꽤 큰 장점이 있어요. 의료나 금융 데이터처럼 밖으로 보내기 부담스러운 정보는 가능하면 내부에서 처리하는 편이 규제와 신뢰 양쪽에서 유리하거든요.

• 다만 작은 조직이 무작정 자체 서버와 모델 운영을 시작하면 운영 비용이 새로 생겨요. 그래서 핵심은 로컬, 클라우드, 사람 검토를 어떤 기준으로 나눌지 먼저 정하는 거예요.