AI 추론 붐, 전 세계 D램 20%를 빨아들일 판

AI는 이제 그래픽처리장치만 먹는 게 아니라 메모리도 통째로 먹는 중

• 시장조사업체 트렌드포스 기준으로 2026년 클라우드 고속 메모리 소비량은 3엑사바이트까지 갈 전망임

  • 1엑사바이트는 100만 테라바이트라서, 숫자 감각이 살짝 망가지는 단위임
  • 고대역폭메모리와 그래픽용 디램까지 웨이퍼 환산으로 더하면 AI가 전 세계 디램 공급의 약 20%를 소진한다는 계산이 나옴

• 핵심 변화는 AI 인프라의 무게중심이 학습에서 추론으로 넘어가고 있다는 점임

  • 구글 제미나이, 아마존웹서비스 베드록, 오픈AI 챗GPT 같은 실시간 추론 플랫폼만 약 750페타바이트를 요구함
  • 실제 서비스 배치에 필요한 이중화와 안전 여유분까지 반영하면 이 수요가 약 1.5엑사바이트로 두 배가 됨
  • 메타와 애플 자체 클라우드, 중국 내수 시장까지 더하면 800페타바이트가 추가됨

학습 허브와 추론 거점은 먹는 메모리가 다름

• 학습 허브는 전력망 옆 벌판에 짓는 초대형 캠퍼스에 가까움

  • 액체냉각이 기본이고, 랙 한 대가 미국 가정 80채분 전력을 쓴다는 계산이 나옴
  • 엔비디아 GB300 NVL72 랙 한 대에는 그래픽처리장치 72개가 들어가고, 그래픽처리장치마다 288기가바이트 고대역폭메모리가 붙음
  • 랙 하나에만 고대역폭메모리 20.7테라바이트가 들어가는 셈임

• 1기가와트급 학습 허브로 키우면 단위가 더 무시무시해짐

  • 랙당 소비전력을 135킬로와트로 잡으면 약 7400대 랙이 들어감
  • 랙 값만 460억 달러, 원화로 약 70조 원이고 탑재 고대역폭메모리는 153페타바이트 수준임
  • 톰스하드웨어가 인용한 업계 견적 기준 GB300 NVL72 한 대 가격은 600만~650만 달러임

• 추론 거점은 성격이 다름. 학습이 끝난 모델 가중치 파일을 사용자 가까운 데이터센터에 뿌려 응답을 만드는 곳임

  • 규모는 보통 10~30메가와트급이라 학습 허브보다 훨씬 작음
  • 대신 사용자의 대화 맥락을 계속 붙잡는 키-값 캐시 때문에 범용 디램을 많이 먹음
  • 서버 한 대에 DDR5 512~768기가바이트를 얹고, AI 서버 한 대가 일반 서버의 약 8배 메모리를 씀

• 서버 2만 대짜리 추론 거점 하나만 해도 범용 디램 약 15페타바이트가 필요함

  • 에이전틱 인공지능처럼 긴 작업 흐름을 유지하는 서비스가 늘면 캐시 부담이 더 커짐
  • 그래서 단순히 모델 파일을 담는 저장장치가 아니라, 캐시 계층을 받아내는 기업용 저장장치 수요까지 같이 열릴 수 있음

데이터센터 숫자도 이미 미친 속도로 늘고 있음

• 시너지리서치그룹은 2025년 4분기 말 기준 전 세계 초대형 데이터센터를 1360곳으로 집계함

  • 알려진 건설 대기 물량만 800곳 가까이 있고, 이게 3년 만에 초대형 용량을 두 배로 늘릴 수 있다는 설명임
  • 초대형 사업자는 이미 전 세계 데이터센터 용량의 48%를 차지하고, 2031년에는 67%까지 오를 전망임

• 아마존, 마이크로소프트, 구글 세 곳이 초대형 용량의 58%를 쥐고 있음

  • 문제는 서버를 사고 싶다고 바로 꽂을 수 있는 게 아니라는 점임
  • 전력망, 초고압 변압기, 냉각수, 주민 반대가 병목으로 걸림
  • 해안 대도시에서 전력 인가가 막히면서 미국 내륙으로 투자가 이동하는 흐름도 보임

가격은 이미 슈퍼사이클을 넘어서는 분위기

• 범용 디램 평균판매단가는 기가비트당 1.20~1.30달러 구간에 접근 중임

  • 기사에서는 이 가격대가 현행 HBM3E 12단 가격대와 만나는 수준이라고 봄
  • 고급 메모리와 범용 메모리의 가격 격차가 아래쪽에서부터 무너지는 그림임

• 2025년부터 2027년까지 디램 가격 상승률은 약 275~300%로 추정됨

  • 2017~2018년 메모리 슈퍼사이클의 90% 상승률을 세 배 이상 웃도는 수치임
  • 매출 기반도 그때의 세 배라서, 반도체 회사 입장에서는 훨씬 큰 장임

• 공급이 바로 따라오지 못하는 이유는 반도체 공장 증설 시간이 너무 길기 때문임

  • 신규 공장 건설과 양산에는 보통 4~5년이 걸림
  • 메모리 3사가 증설에 나섰어도 대량 양산과 공급 안정은 2027년 말에서 2028년으로 넘어갈 가능성이 큼
  • 기사에서는 신규 웨이퍼가 본격 유입되는 2028년 상반기쯤 수급 균형을 예상함

그래도 리스크는 꽤 현실적임

• 투자은행들 사이에서도 해석이 갈림

  • 골드만삭스와 모건스탠리는 빅테크의 자본지출에 비해 구독료와 응용프로그램 인터페이스 매출화 속도가 느리다고 봄
  • JP모건은 생존 경쟁 때문에 투자가 쉽게 꺾이지 않고, 하드웨어 공급망의 이익 체력이 이미 숫자로 확인되고 있다고 반박함

• 첫 번째 리스크는 유령 수요임

  • 공급 부족 공포 때문에 여러 곳에 중복 주문이 들어가면 실제 수요보다 주문량이 부풀어 보임
  • 투자가 멈추는 순간 주문 취소와 단가 하락이 같이 올 수 있음

• 두 번째 리스크는 지능 정체임

  • 데이터를 더 넣어도 성능 개선 폭이 줄어드는 스케일링 법칙의 한계가 관측되고 있음
  • 빅테크 내부에서 투자 대비 성능 개선에 대한 회의론이 커지면 하드웨어 발주 속도에도 영향을 줄 수 있음

• 세 번째 리스크는 전력 병목임

  • 이미 미국에서 송전망 연결 대기가 수년 단위로 늘어나는 지역이 나옴
  • 신규 데이터센터 가동이 밀리면 장기계약 바깥의 DDR5와 기업용 저장장치 현물 물량부터 재고가 쌓일 수 있음
  • 지연이 길어지면 다음 장기공급계약 협상에서 물량 축소나 가격 인하 압박으로 이어질 수 있음

한국 메모리 회사가 빠지기 어려운 구조

• 빅테크가 엔비디아 의존도를 줄이려고 자체 가속기를 늘려도 메모리는 여전히 필요함

  • 구글, 아마존, 메타가 자체 칩을 써도 대역폭 확보용 고대역폭메모리와 고용량 서버 디램은 같이 들어감
  • 기사 기준 삼성전자와 SK하이닉스의 합산 디램 점유율은 2026년 1분기 67%임

• 과열과 냉각을 보려면 네 가지 지표를 같이 봐야 함

  • 미국 5대 빅테크의 매출 대비 분기 자본지출 비율
  • 대만 TSMC의 첨단 패키징 가동률과 납기
  • 서버용 DDR5와 기업용 저장장치의 분기 고정거래가 증가율
  • 주요 클라우드 사업자의 가속기 실가동률

• 특히 단가 증가율이 한 자릿수로 내려오거나 가속기 가동률이 70% 아래로 밀리면 분위기가 바뀌는 신호로 볼 수 있음

  • 공급자 우위의 가격 협상력이 약해지는 구간임
  • 계약 연기나 파기 조짐도 보통 이런 지점에서 먼저 드러남

---

기술 맥락

• 여기서 중요한 선택은 학습 인프라와 추론 인프라를 같은 덩어리로 보지 않는 거예요. 학습은 고대역폭메모리와 그래픽처리장치가 붙은 초대형 허브가 필요하고, 추론은 사용자 가까이 흩어진 거점에서 범용 디램을 많이 쓰거든요.

• 왜 디램이 갑자기 핵심 병목이 되냐면, 추론은 모델을 한 번 올려두는 걸로 끝나지 않기 때문이에요. 사용자가 대화를 이어갈수록 키-값 캐시가 쌓이고, 이 캐시는 접속자 수와 대화 길이에 따라 계속 커져요.

• 그래서 서버 설계도 바뀌어요. 일반 웹 서버처럼 중앙처리장치와 적당한 메모리만 두는 게 아니라, 추론 서버 한 대에 DDR5 512~768기가바이트를 얹는 구성이 자연스러워져요. 대규모 언어 모델 서비스가 많아질수록 메모리 비용이 클라우드 원가의 큰 축이 되는 이유예요.

• 한국 개발자에게도 남 얘기가 아닌 게, 이 변화는 클라우드 인스턴스 가격과 추론 응답 비용으로 내려올 가능성이 커요. 서비스에서 긴 컨텍스트, 에이전트, 실시간 응답을 많이 쓰면 결국 뒤에서는 메모리와 저장장치 비용을 누가 감당하느냐의 문제가 생겨요.