AMD ROCm 7.0, CUDA 락인 정면 돌파 — 추론 3.5배·오픈소스 100%·개발자 10만 명 돌파

• AMD가 ROCm 7.0과 개발자 생태계 전략으로 엔비디아 CUDA 아성에 정면 도전 — 핵심 무기는 '오픈소스 전면 개방 + 코드 수정 없는 호환성'
  • ROCm 7.0은 ROCm 6 대비 추론 성능 평균 3.5배, 훈련 성능 3배 향상 (MI300X 기준 AMD 자체 측정)
  • 주요 프레임워크(파이토치, JAX, vLLM, SGLang) 위에서 코드 수정 없이 AMD GPU 구동 가능
  • 개발자 클라우드 출범 10개월 만에 주간 활성 사용자 3.2만 명 확보, 누적 GPU 사용 시간 100만 시간 돌파

CUDA 락인을 깨는 HIP 전략

• ROCm의 핵심 프로그래밍 인터페이스 HIP(Heterogeneous Compute Interface)은 CUDA와 구문 수준 호환
  • 엔비디아 환경에서 짠 AI 코드를 AMD 하드웨어에서 다시 안 짜도 되는 '번역기' 역할
  • CUDA 핵심 코드가 폐쇄형인 것과 달리 ROCm은 100% 오픈소스 유지
• 업계 분석은 여전히 "ROCm이 CUDA 생태계를 따라잡는 단계"라는 시각이 주류
  • 다만 메모리 집약적/비용 민감 워크로드에서는 AMD가 현실적 대안으로 부상 중이라는 평가

추론 성능의 숨은 주역 — AITER

• AITER(AI Tensor Engine for ROCm)는 고성능 커널 라이브러리로 ROCm 7.0 성능 향상의 실질적 동력
  • 행렬 연산 최대 2배, MoE 연산 최대 3배, MLA 디코딩 최대 17배 향상 (AMD 내부 테스트)
  • vLLM·SGLang에 이미 통합되어 별도 설정 없이 사용 가능
• DeepSeek R1, GPT-OSS 등 MoE 구조 모델이 늘어나는 추세와 맞물려 AITER가 AMD GPU 추론 경쟁력의 핵심으로 부각

엔터프라이즈 패키지 — NIM에 대응하는 AIMs

• AIMs(AMD Interface Microservice)는 파인튜닝된 모델을 담은 컨테이너
  • vLLM/SGLang 기반 추론 서빙 + OpenAI 호환 API 포함
  • 엔비디아 NIM과 유사하지만 ROCm 오픈소스 스택 위에 구축된 게 차별점
• AMD 리소스 매니저(쿠버네티스·Slurm 오케스트레이션) + AMD AI 워크벤치(모델 배포·파인튜닝) 조합으로 엔터프라이즈 AI 스위트 구성
• MI355X 플랫폼은 SGLang 기반 DeepSeek R1 추론에서 엔비디아 B200 대비 1.3배 처리량 달성 (AMD 자체 테스트)

개발자 생태계 공세

• AMD 개발자 프로그램은 2025년 1월 출범 후 4개월 만에 등록 인원 10만 명 돌파
• 개발자 클라우드는 MI300X GPU에 하드웨어 투자 없이 접근 가능, 사전 설치된 도커 컨테이너와 주피터 노트북 환경 제공
  • 아시아 지역이 전체 사용량의 절반 이상 차지
• 100만 달러 규모 HIP 커널 해커톤으로 오픈소스 커널 대량 축적 — 라민 론 부사장은 "공개된 HIP 커널 수가 엔비디아 공개 CUDA 커널에 상응한다" 주장
  • 이 데이터가 GPT-OSS 등 LLM의 HIP 코드 생성 성능 개선에도 기여

데이터센터 너머 클라이언트 확장

• ROCm 지원 범위가 라이젠 AI 300/400 시리즈 노트북, 라이젠 AI 맥스, 스레드리퍼+라데온 AI 워크스테이션까지 확대
• 일본·프랑스·미국 로보틱 해커톤에서 '데이터센터 훈련 → 라이젠 AI 엣지 추론' 엔드투엔드 파이프라인 시연
• 아시아 파트너십 핵심 — 삼성, 업스테이지, KT 클라우드, 네이버 등 한국 기업과 전략적 협업 진행 중
• 4월 30일 샌프란시스코, 5월 19일 상하이 AMD 개발자 데이에서 추가 발표 예정

---

기술 맥락

AMD가 노리는 건 '성능 1등'이 아니라 'CUDA 락인을 깨는 소프트웨어 이식성'이에요. AI 인프라 의사결정에서 하드웨어 스펙은 이미 AMD가 할 말이 많은데, 개발자들이 선뜻 갈아타지 못했던 이유가 수백만 개 커널 코드와 수십만 숙련 개발자가 만든 CUDA 소프트웨어 락인이었거든요. HIP는 이 락인을 해체하는 가장 중요한 도구예요. 기존 CUDA 커널을 거의 그대로 AMD GPU에서 돌릴 수 있게 해주는 번역 레이어니까요.

왜 지금 이 전략이 통할 여지가 생겼냐면, 최근 프론티어 모델들이 대부분 MoE 구조로 가고 있어서예요. MoE는 활성 전문가만 연산하는 구조라 메모리 대역폭이 병목이 되기 쉬운데, AMD MI300X 계열은 HBM 용량·대역폭에서 강점이 있거든요. AITER의 MoE 연산 최대 3배, MLA 디코딩 최대 17배 향상 같은 수치가 현실적 설득력을 갖는 이유가 여기 있어요.

엔비디아 NIM과 AMD AIMs의 대결 구도도 눈여겨볼 만해요. 둘 다 "모델+서빙+API를 컨테이너 하나로 패키징"하는 엔터프라이즈 배포 유닛인데, NIM은 폐쇄형 스택 위에, AIMs는 오픈소스 vLLM/SGLang 위에 올라가요. 벤더 락인을 두려워하는 엔터프라이즈라면 AIMs가 협상 카드가 되거든요. 한국 기업 중에도 삼성, 업스테이지, KT 클라우드, 네이버가 파트너로 언급된 걸 보면, 국내에서도 이 구도를 쓰는 플레이어가 늘고 있다는 신호예요.