--- title: "AI 칩 원가의 거의 3분의 2가 메모리로 간다" published: 2026-05-24T16:31:29.000Z canonical: https://jeff.news/article/3228 --- # AI 칩 원가의 거의 3분의 2가 메모리로 간다 Epoch AI 분석에 따르면 엔비디아, AMD, 구글, 아마존 AI 칩의 부품 비용에서 HBM 메모리 비중이 2024년 1분기 52%에서 2025년 4분기 63%로 올랐다. 같은 기간 AI 칩 전체 부품 지출은 약 220억 달러에서 520억 달러로 늘었고, 증가분 중 약 200억 달러가 HBM 지출에서 나왔다. - AI 칩 원가 구조에서 메모리 비중이 거의 3분의 2까지 올라왔음 - Epoch AI는 엔비디아, AMD, 구글, 아마존이 설계한 AI 칩을 대상으로 부품 비용을 추정함 - 분류는 HBM 메모리, 로직 다이, 고급 패키징 CoWoS, 보조 부품 4가지임 - 2024년 1분기부터 2025년 4분기까지 분기별 생산량 추정치를 곱해 전체 부품 지출 비중을 계산함 - 핵심 숫자는 HBM 비중이 52%에서 63%로 뛰었다는 점임 - 2024년 1분기에는 AI 칩 부품 비용의 52%가 메모리였음 - 2025년 4분기에는 이 비중이 63%까지 올라감 - “AI 칩은 GPU가 비싸다”는 말이 틀린 건 아니지만, 비용 관점에서는 메모리가 점점 더 주인공이 되는 그림임 > [!IMPORTANT] > 2024년에서 2025년으로 AI 칩 전체 부품 지출이 약 220억 달러에서 520억 달러로 늘었고, 그 증가분 중 약 200억 달러가 HBM 지출에서 나옴. - 다른 부품의 비중은 오히려 내려가거나 거의 그대로였음 - 고급 패키징 CoWoS 비중은 19%에서 15%로 하락함 - 보조 부품은 15%에서 9%로 내려감 - 로직 다이는 13~14% 근처를 유지함. 연산 칩 자체의 비중이 폭증한 게 아니라는 점이 포인트임 - 이 데이터가 개발자에게도 중요한 이유는 AI 인프라 비용의 병목이 어디로 가는지 보여주기 때문임 - 대규모 언어 모델(LLM) 학습과 추론은 연산량뿐 아니라 메모리 대역폭과 용량에 크게 묶임 - HBM 가격과 공급이 빡빡해지면 클라우드 GPU 가격, 모델 학습 비용, 추론 단가까지 연쇄적으로 영향을 받을 수 있음 - 국내에서도 AI 서비스 비용을 계산할 때 “GPU 몇 장”만 볼 게 아니라 HBM 세대와 메모리 구성이 점점 더 중요해짐 - Epoch AI의 분석은 완전한 실측 원가표라기보다 추정 기반 공급망 소비 데이터에 가까움 - 칩별 부품 비용과 분기별 생산량을 추정해 카테고리별 총지출을 계산한 방식임 - 그래서 개별 제품의 정확한 원가라기보다는 시장 전체에서 어떤 부품이 비용을 빨아들이는지 보는 데 더 적합함 --- ## 기술 맥락 - 이 기사에서 중요한 선택은 AI 칩을 볼 때 연산 성능만이 아니라 메모리 구조를 같이 보는 거예요. 모델이 커질수록 텐서 코어가 아무리 빨라도 데이터를 제때 먹여주지 못하면 성능이 안 나오거든요. - HBM 비중이 52%에서 63%로 오른 건 단순 원가 상승 얘기가 아니에요. AI 가속기의 가치가 “얼마나 많은 연산을 하느냐”에서 “얼마나 빠르게 거대한 파라미터와 중간값을 옮기느냐”로 더 강하게 이동하고 있다는 신호예요. - CoWoS 같은 고급 패키징이 같이 언급되는 이유도 여기에 있어요. HBM은 그냥 메모리 칩을 많이 꽂는다고 해결되는 게 아니라, 로직 다이 가까이에 높은 대역폭으로 붙여야 해요. 그래서 패키징 생산능력과 HBM 공급이 AI 칩 출하량을 함께 제한해요. - 개발자 입장에서는 이 흐름이 클라우드 비용으로 돌아와요. HBM이 비싸고 부족하면 최신 AI 인스턴스 가격이 쉽게 내려가기 어렵고, 모델 서빙에서도 메모리 대역폭을 덜 쓰는 구조나 작은 모델 선택이 더 현실적인 최적화가 될 수 있어요. ## 핵심 포인트 - AI 칩 부품 비용에서 HBM 메모리 비중은 2024년 1분기 52%에서 2025년 4분기 63%로 상승 - 고급 패키징 CoWoS 비중은 19%에서 15%, 보조 부품은 15%에서 9%로 하락 - 로직 다이 비중은 13~14% 근처로 거의 유지 - AI 칩 전체 부품 지출은 2024년 약 220억 달러에서 2025년 약 520억 달러로 증가 ## 인사이트 AI 인프라 병목이 단순히 GPU 코어 수만의 문제가 아니라 HBM 공급과 비용 구조의 문제로 이동하고 있다는 신호다. 모델 학습과 추론 비용을 보는 개발자도 이제 메모리 대역폭과 패키징 공급망을 같이 봐야 함.