AI는 추론 시대라는데, 학습 수요도 2030년까지 40%는 간다

• AI 시장의 무게중심이 학습(Training)에서 추론(Inference)으로 옮겨가는 건 맞음. 근데 이게 곧 '학습 인프라 끝났다'는 얘기는 아님

  • 업계에서는 2030년까지도 학습 수요가 전체 AI 컴퓨팅 수요의 최대 40% 수준은 될 수 있다고 봄
  • 이유는 간단함. 모델이 아직 충분히 완성된 게 아니고, 기업·국가·산업별로 다시 맞춰야 할 데이터가 계속 나오기 때문임

• 지금 추론 비용이 뜨거운 이유는 에이전틱 AI 때문임

  • 예전 챗봇은 질문 하나에 답변 하나 만들면 끝나는 경우가 많았음
  • 에이전틱 AI는 검색, 판단, 도구 호출, 재검토를 여러 단계로 반복함
  • 그러면 한 번의 사용자 요청이 내부적으로 여러 번의 모델 호출로 쪼개지고, 결국 토큰당 비용이 서비스 원가를 바로 때림

• 그래서 구글, 아마존 같은 하이퍼스케일러는 GPU만 보는 게 아니라 자체 주문형반도체(ASIC) 기반 추론 최적화에도 속도를 내는 중임

  • 목표는 '달러 퍼 토큰', 즉 토큰 하나 만드는 비용을 낮추는 것
  • 모델 회사나 AI 에이전트 회사 입장에서는 같은 품질이면 더 싼 데이터센터를 고를 유인이 생김
  • 클라우드 사업자 입장에서는 추론 단가가 곧 고객 유치 경쟁력이 되는 셈임

• 그런데 학습 수요를 버틸 이유도 꽤 많음. 첫 번째는 모델 품질 자체가 아직 끝난 게임이 아니라는 점임

  • 생성형 AI 성능이 많이 오른 건 맞지만, 업계는 아직 상향 평준화로 보기엔 이르다고 봄
  • 답변 정확도, 신뢰성, 할루시네이션 감소는 계속 학습을 요구함
  • 특히 프론티어 모델은 여전히 성능 경쟁이 남아 있어서 큰 학습 클러스터 수요가 유지될 가능성이 큼

• 두 번째는 기업별 데이터와 소버린 AI 수요임

  • 범용 모델 하나로 제조, 금융, 공공, 의료 같은 도메인 요구를 다 맞추긴 어려움
  • 제조업만 해도 공정, 설비 구조, 작업 방식이 회사마다 달라서 현장 데이터를 반영한 맞춤형 AI가 필요함
  • 국가별 규제와 데이터 주권 요구까지 붙으면 사전학습 이후 파인튜닝이나 추가 학습이 계속 발생함

• 데이터가 부족해질 거라는 걱정도 있지만, 업계는 합성 데이터까지 보고 있음

  • 실제 데이터가 모자라면 가상의 데이터를 만들어 학습시키는 시도가 이어질 수 있음
  • 결국 핵심은 '데이터가 있냐 없냐'보다 '어떤 데이터를 어떤 목적에 맞게 다시 학습시킬 거냐'로 넘어가는 분위기임

• 세 번째는 월드모델(World Model)임. 언어 모델만 놓고 보면 어느 정도 비슷해졌다고 말할 수 있지만, 물리 세계는 아직 갈 길이 멂

  • 영상, 이미지, 센서, 행동 데이터까지 같이 학습해야 함
  • 로봇과 자율주행 같은 피지컬 AI에서는 실제 환경에서 쌓이는 행동 데이터가 성능을 좌우함
  • 텍스트보다 데이터 형태가 복잡하고 양도 커서 학습 수요가 더 커질 수 있음

• 앞으로의 AI 서비스는 '제일 큰 모델 하나로 다 처리'가 아니라 모델 라우팅 싸움에 가까워질 가능성이 큼

  • 프론티어 모델은 성능 중심으로 계속 커지고
  • 실제 서비스에서는 요청 난이도에 따라 경량 모델, 목적별 모델, 고성능 모델을 나눠 쓰는 전략이 확대될 수 있음
  • 결국 경쟁력은 모델을 얼마나 크게 만들었냐보다, 비용·속도·정확도를 맞춰 서비스에 얼마나 잘 꽂았냐에서 갈릴 듯

---

기술 맥락

• 여기서 중요한 선택은 학습 인프라와 추론 인프라를 완전히 분리해서 보는 게 아니라, 둘을 동시에 최적화해야 한다는 점이에요. 추론은 서비스 원가를 바로 건드리고, 학습은 모델 품질과 도메인 적합도를 계속 끌어올리거든요.

• 하이퍼스케일러가 ASIC을 보는 이유는 범용 GPU만으로는 대규모 추론 비용을 충분히 낮추기 어렵기 때문이에요. 에이전틱 AI는 한 번의 요청 안에서도 여러 번 모델을 호출하니까, 토큰당 비용이 조금만 내려가도 전체 서비스 마진에 크게 영향을 줘요.

• 기업 입장에서는 범용 모델을 그대로 쓰는 것과 내부 데이터로 파인튜닝하는 것 사이에서 선택해야 해요. 범용 모델은 빠르게 도입할 수 있지만 업무 맥락이 약하고, 맞춤형 학습은 비용이 들지만 제조 공정이나 규제 환경처럼 회사마다 다른 지식을 반영할 수 있어요.

• 월드모델 이야기가 나오는 이유는 AI가 텍스트 서비스에서 로봇, 자율주행, 물리 시뮬레이션으로 넘어갈 때 필요한 데이터가 완전히 달라지기 때문이에요. 이 레이어에서는 단순히 문장을 더 많이 읽히는 게 아니라 영상, 센서, 행동 데이터를 함께 학습해야 해서 컴퓨팅 요구가 더 커질 수밖에 없어요.