AI 컴퓨팅, 2033년부터 ‘학습’보다 ‘추론’이 더 커진다

• AI 인프라 시장의 중심이 ‘초거대 모델 학습’에서 ‘실제 서비스 추론’으로 넘어가고 있다는 분석이 나옴

  • 시장조사업체 ABI리서치가 AI 클라우드 워크로드 보고서에서 낸 전망임
  • 핵심 예측은 2033년에 추론 워크로드가 학습 워크로드를 처음 추월한다는 것

• 이유는 간단함. 학습은 한 번 크게 돌리는 일이지만, 추론은 사용자가 AI를 쓸 때마다 계속 돈과 전력을 먹음

  • GPT나 클로드 같은 대형 모델 개발 경쟁에서는 학습 인프라가 주인공이었음
  • 그런데 기업들이 AI를 실제 업무에 붙이기 시작하면, 매 요청마다 모델을 실행하는 추론 비용이 누적됨

• 추론 중에서도 코드 생성이 압도적으로 큰 비중을 차지할 전망임

  • 코드 생성 워크로드는 2035년 약 24기가와트까지 성장할 것으로 예상됨
  • 전체 추론 전력 소비의 절반 이상을 코드 생성이 먹는다는 계산임
  • 반면 텍스트 생성은 약 7기가와트 수준으로 분석됨

• 오디오 생성은 절대 규모는 작지만 성장률이 빠른 쪽으로 꼽힘

  • 연평균 42% 성장률을 기록할 것으로 예상됨
  • 다만 기사에서 가장 큰 전력 소비 축으로 제시된 건 코드 생성임

• ABI리서치 애널리스트는 다음 경쟁의 승자가 “대규모 추론을 잘 제공하는 사업자”가 될 거라고 봄

  • 단순히 성능만 좋으면 안 됨
  • 지연시간, 비용, 컴퓨팅 활용률까지 같이 맞춰야 함
  • 에이전트 시스템의 컴퓨팅 요구가 커지는 것도 추론 시장 성장의 주요 이유로 언급됨

• 학습 쪽 내부 구성도 바뀔 전망임

  • 파운데이션 모델 학습은 2035년 약 13기가와트 수준에 그칠 것으로 예상됨
  • 반면 기업이 기존 모델을 자기 데이터에 맞게 조정하는 파인튜닝은 21기가와트까지 커질 전망임
  • 즉, 모두가 새 대형 모델을 만드는 게 아니라 기존 모델을 업무별로 다듬는 수요가 커진다는 뜻임

• 클라우드 시장 경쟁 구도도 흔들릴 수 있음

  • 2035년 추론 용량 소비에서 기존 하이퍼스케일러는 16기가와트를 점유할 것으로 전망됨
  • AI 추론 특화 인프라를 내세운 네오클라우드 사업자들은 15기가와트까지 따라붙을 것으로 예상됨
  • 기존 클라우드만 이기는 판이 아니라, 추론 최적화 인프라 사업자가 치고 올라올 수 있다는 얘기임

---

기술 맥락

• 이 전망에서 중요한 선택은 학습 중심 인프라에서 추론 중심 인프라로 무게를 옮기는 거예요. 학습은 대형 모델을 만들 때 큰돈이 들지만, 추론은 서비스가 호출될 때마다 반복해서 비용이 발생하거든요.

• 코드 생성이 큰 비중으로 나온 것도 개발자 입장에선 꽤 현실적인 신호예요. 코드 보조 도구는 한 번 답하고 끝나는 챗봇보다 짧은 요청을 자주 처리하고, 에이전트가 붙으면 파일 읽기, 수정안 생성, 테스트 제안 같은 호출이 연쇄적으로 늘어나요.

• 파인튜닝 수요가 커진다는 건 기업들이 범용 모델을 그대로 쓰기보다 자기 데이터와 업무 흐름에 맞춰 조정하려 한다는 뜻이에요. 새 파운데이션 모델을 만드는 것보다 비용은 낮지만, 조직별로 계속 반복되니 전체 워크로드는 커질 수 있어요.

• 네오클라우드가 부상하는 이유도 여기 있어요. 기존 클라우드는 범용성이 강하지만, 추론 시장에서는 특정 모델 크기, 지연시간, 배치 처리, GPU 활용률에 맞춘 인프라가 비용 경쟁력을 만들 수 있거든요.

• 결국 AI 제품의 경쟁력은 모델 정확도만으로 결정되지 않아요. 같은 모델을 쓰더라도 누가 더 낮은 비용으로, 더 빠르게, 더 안정적으로 추론을 제공하느냐가 실제 서비스 품질을 가를 수 있어요.