AI 칩 원가의 거의 3분의 2가 메모리로 간다

• AI 칩 원가 구조에서 메모리 비중이 거의 3분의 2까지 올라왔음

  • Epoch AI는 엔비디아, AMD, 구글, 아마존이 설계한 AI 칩을 대상으로 부품 비용을 추정함
  • 분류는 HBM 메모리, 로직 다이, 고급 패키징 CoWoS, 보조 부품 4가지임
  • 2024년 1분기부터 2025년 4분기까지 분기별 생산량 추정치를 곱해 전체 부품 지출 비중을 계산함

• 핵심 숫자는 HBM 비중이 52%에서 63%로 뛰었다는 점임

  • 2024년 1분기에는 AI 칩 부품 비용의 52%가 메모리였음
  • 2025년 4분기에는 이 비중이 63%까지 올라감
  • “AI 칩은 GPU가 비싸다”는 말이 틀린 건 아니지만, 비용 관점에서는 메모리가 점점 더 주인공이 되는 그림임

• 다른 부품의 비중은 오히려 내려가거나 거의 그대로였음

  • 고급 패키징 CoWoS 비중은 19%에서 15%로 하락함
  • 보조 부품은 15%에서 9%로 내려감
  • 로직 다이는 13~14% 근처를 유지함. 연산 칩 자체의 비중이 폭증한 게 아니라는 점이 포인트임

• 이 데이터가 개발자에게도 중요한 이유는 AI 인프라 비용의 병목이 어디로 가는지 보여주기 때문임

  • 대규모 언어 모델(LLM) 학습과 추론은 연산량뿐 아니라 메모리 대역폭과 용량에 크게 묶임
  • HBM 가격과 공급이 빡빡해지면 클라우드 GPU 가격, 모델 학습 비용, 추론 단가까지 연쇄적으로 영향을 받을 수 있음
  • 국내에서도 AI 서비스 비용을 계산할 때 “GPU 몇 장”만 볼 게 아니라 HBM 세대와 메모리 구성이 점점 더 중요해짐

• Epoch AI의 분석은 완전한 실측 원가표라기보다 추정 기반 공급망 소비 데이터에 가까움

  • 칩별 부품 비용과 분기별 생산량을 추정해 카테고리별 총지출을 계산한 방식임
  • 그래서 개별 제품의 정확한 원가라기보다는 시장 전체에서 어떤 부품이 비용을 빨아들이는지 보는 데 더 적합함

---

기술 맥락

• 이 기사에서 중요한 선택은 AI 칩을 볼 때 연산 성능만이 아니라 메모리 구조를 같이 보는 거예요. 모델이 커질수록 텐서 코어가 아무리 빨라도 데이터를 제때 먹여주지 못하면 성능이 안 나오거든요.

• HBM 비중이 52%에서 63%로 오른 건 단순 원가 상승 얘기가 아니에요. AI 가속기의 가치가 “얼마나 많은 연산을 하느냐”에서 “얼마나 빠르게 거대한 파라미터와 중간값을 옮기느냐”로 더 강하게 이동하고 있다는 신호예요.

• CoWoS 같은 고급 패키징이 같이 언급되는 이유도 여기에 있어요. HBM은 그냥 메모리 칩을 많이 꽂는다고 해결되는 게 아니라, 로직 다이 가까이에 높은 대역폭으로 붙여야 해요. 그래서 패키징 생산능력과 HBM 공급이 AI 칩 출하량을 함께 제한해요.

• 개발자 입장에서는 이 흐름이 클라우드 비용으로 돌아와요. HBM이 비싸고 부족하면 최신 AI 인스턴스 가격이 쉽게 내려가기 어렵고, 모델 서빙에서도 메모리 대역폭을 덜 쓰는 구조나 작은 모델 선택이 더 현실적인 최적화가 될 수 있어요.