에이엠디 라이젠 AI 헤일로 리뷰 — 4천 달러짜리 로컬 AI 개발 키트의 진짜 가치는 소프트웨어

4천 달러짜리 작은 박스에 라이젠 AI 맥스 플러스 395를 넣음

• 에이엠디 라이젠 AI 헤일로는 로컬 AI 개발을 쉽게 시작하라고 만든 초소형 미니 PC임

  • 핵심 칩은 젠 5 기반 라이젠 AI 맥스 플러스 395로, 16코어 32스레드 구성임
  • 그래픽 연산은 라데온 8060S 내장 그래픽이 대부분 맡고, XDNA 2 신경망 처리 장치(NPU)도 들어 있음
  • 가격은 단일 구성 기준 3,999.99달러고, 윈도우 11 프로 또는 리눅스 사전 설치 버전으로 판매됨

• 하드웨어 구성은 꽤 빵빵하지만, 이미 시장에 비슷한 라이젠 AI 맥스 플러스 395 장비가 있음

  • 저장장치는 탈착 가능한 2테라바이트 M.2 SSD임
  • 메모리는 128기가바이트 LPDDR5x-8000 통합 메모리이고 대역폭은 256기가바이트/초임
  • 리뷰어가 받은 리눅스 버전은 데비안 13.4 기반의 커스텀 에이엠디 리눅스 배포판을 사용함

• 크기는 생각보다 훨씬 작음

  • 바닥 면적은 15센티미터 정사각형, 높이는 5센티미터 미만임
  • 무게는 1.2킬로그램이지만, 240와트 전원 어댑터까지 생각하면 백팩에 넣고 다니는 장비라기보다는 책상 위 개발 장비에 가까움
  • 후면에는 USB 3.2 타입 C 4개, HDMI 2.1, 10기가비트 이더넷이 있고, 무선은 와이파이 7과 블루투스 5.4를 지원함

성능은 ‘좋지만 압도적이진 않음’에 가까움

• 테스트는 llama.cpp에 포함된 llama-bench 중심으로 진행됨

  • llama.cpp는 GGUF 형식 대규모 언어 모델(LLM)을 다양한 하드웨어에서 실행하는 오픈소스 추론 엔진임
  • llama-bench는 크게 프롬프트 처리(pp, pre-fill)와 토큰 생성(tg, decoding)을 측정함
  • 기본 테스트는 사용자가 512토큰을 넣고 모델이 128토큰을 생성하는 pp512/tg128 구성이었음

• 비교 대상은 직접 경쟁 제품이라기보다 성능 맥락을 잡기 위한 장비들임

  • 라이젠 AI 헤일로, 프레임워크 데스크톱, M2 울트라 맥 스튜디오 128기가바이트, M3 울트라 맥 스튜디오 512기가바이트가 비교됨
  • 모델은 Qwen 3.6 35B A3B, Gemma 4 31B IT, GLM 4.7 Flash 같은 17~32기가바이트급 모델을 사용함
  • 라이젠 AI 맥스 플러스 395 장비에서는 ROCm/HIP와 Vulkan 백엔드를 모두 테스트함

• 애플 실리콘 맥 스튜디오가 전반적으로 앞섰고, 특히 토큰 생성에서 차이가 크게 남

  • 맥 스튜디오는 800기가바이트/초 메모리 대역폭을 갖고 있고, 라이젠 AI 맥스 플러스 395는 256기가바이트/초임
  • 프롬프트 처리는 계산량 영향이 커서 Gemma 4 같은 dense 모델에서는 격차가 상대적으로 덜 벌어졌다고 분석함
  • 토큰 생성은 메모리 대역폭 의존도가 커서, dense 모델 Gemma 4에서는 애플 실리콘이 2~3배 높은 토큰/초 성능을 보였음

컨텍스트가 길어질수록 에이전트 워크로드의 현실이 보임

• 리뷰는 에이전트형 사용을 흉내 내는 별도 llama-bench 테스트도 돌림

  • pp512/tg64 구성으로, 지시문을 주고 도구 호출이나 답변을 만드는 상황을 가정함
  • -d 옵션으로 모델의 기존 컨텍스트 크기를 바꿔가며 성능 저하를 관찰함
  • 배치와 마이크로배치는 2048로 두고, Flash Attention은 켜고, 모든 레이어를 GPU로 오프로딩하는 식으로 테스트함

• 결과는 예상대로 컨텍스트가 커질수록 성능이 꽤 떨어짐

  • 세 모델 모두 컨텍스트 크기가 증가하면서 프롬프트 처리와 토큰 생성 성능이 눈에 띄게 나빠짐
  • Gemma 4를 Vulkan 백엔드와 65,536토큰 컨텍스트로 돌린 경우는 30분 안에 완료되지 못함
  • 코딩 에이전트나 장기 대화형 로컬 LLM을 돌릴 때 컨텍스트 비용이 그냥 이론 문제가 아니라는 얘기임

전력과 발열은 작은 크기치고 꽤 잘 버팀

• 라이젠 AI 헤일로는 120와트 TDP, 최대 140와트 부스트를 감당해야 하는 작은 박스임

  • 리뷰어는 약 20분 동안 llama-bench prefill 테스트 20회를 돌리며 벽 전력과 패키지 전력, 온도를 확인함
  • 프레임워크 데스크톱의 같은 칩은 120와트 기준선을 꾸준히 유지하고 가끔 130와트까지 튀었음
  • 헤일로는 처음 5분 동안 140와트를 유지하다가 이후 120와트 TDP로 내려와 유지됨

• 냉각은 작은 블로워 팬 2개가 맡음

  • 상단과 측면에서 공기를 빨아들여 방열판을 지나 후면으로 배출함
  • 본체는 대체로 만졌을 때 차갑지만, 바닥은 열평형 상태에서 약 50도까지 올라감
  • 팬 소리는 커지긴 하지만 날카로운 고주파가 아니라 바람 소리에 가깝다고 평가함

• 전원은 전부 USB-C PD로 처리됨

  • 동봉 어댑터는 USB-C PD 확장 전력 범위(EPR)를 지원하고, 최대 48볼트 5암페어로 240와트 공급이 가능함
  • 실제 테스트에서는 헤일로가 전원 공급 장치에서 200와트를 넘겨 끌어간 적은 없었음
  • 장비는 처음 표준 전력 범위(SPR) 모드만 보이는 어댑터에 EPR 모드를 요청하고, 이후 48볼트 고정 출력 모드를 요청함

진짜 차별점은 하드웨어보다 ‘배터리 포함’ 소프트웨어임

• 라이젠 AI 맥스 플러스 395 미니 PC는 이미 여러 대안이 있음

  • 프레임워크 데스크톱, 비링크 GTR9 프로, X+ Rival, ACEMAGIC M1A PRO 같은 제품들이 언급됨
  • 그래서 헤일로의 핵심 가치는 칩 자체보다 에이엠디 라이젠 AI 개발자 센터, 검증된 구성(BKC), 지속적인 1차 지원 약속에 있음

• 검증된 구성(BKC)은 의존성 지옥을 줄이는 장치임

  • 에이엠디가 포함된 소프트웨어, 패키지, 드라이버가 서로 호환된다고 검증한 시작 상태를 제공함
  • 로컬 LLM 환경에서 드라이버, 런타임, 파이썬 패키지, 모델 버전이 꼬이면 몇 시간을 날리기 쉬운데, 그 출발선을 통제해 주는 셈임
  • 개발자 센터에는 시스템 리셋 버튼도 있어서 실험하다 망가진 환경을 되돌리기 쉬움

• AI 플레이북은 튜토리얼이라기보다 빠른 smoke test에 가까움

  • LM Studio, Lemonade, VSCode와 Qwen3-Coder, PyTorch LLM 실행과 파인튜닝 같은 흐름을 안내함
  • 단계는 보통 짧고, 각 스크립트가 왜 필요한지 깊게 파고들지는 않음
  • 대신 “일단 돌아간다”를 빠르게 확인하게 해 주는 데는 성공적이라고 평가함

드디어 NPU로 LLM을 돌린 사례가 나옴

• 리뷰에서 가장 흥미로운 대목은 XDNA 2 NPU를 실제로 썼다는 점임

  • 지금까지 많은 NPU 데모가 이름만 NPU고 실제 연산은 CPU나 GPU에서 돌아가는 경우가 많았다는 지적이 나옴
  • 에이엠디 Lemonade와 FastFlowLM(FLM)을 이용해 gpt-oss-20b-FLM 모델을 NPU에서 실행함
  • NPU 사용률 텔레메트리는 보이지 않았지만, CPU/GPU 사용률은 거의 0에 가깝고 패키지 전력은 최대 35와트까지 올라갔으며 약 20토큰/초를 생성함

• NPU는 ‘GPU보다 빠른 마법 칩’이 아니라 전력 효율 쪽 카드임

  • 보통 GPU보다 절대 연산 성능은 낮지만, 센서 처리나 저전력 추론처럼 CPU/GPU를 비워두고 싶은 작업에 유리함
  • 헤일로가 거대한 외장 GPU 대신 NPU 포함 라이젠 AI 맥스 플러스 395를 넣은 것도, 더 전력 효율적인 로컬 LLM 개발을 밀어보려는 방향으로 읽힘

• 결론적으로 헤일로는 성능만 보고 사는 장비는 아님

  • 애플 실리콘 맥 스튜디오처럼 메모리 대역폭으로 밀어붙이는 장비와 비교하면 토큰 생성 성능에서 밀리는 구간이 있음
  • 대신 에이엠디 하드웨어에서 ROCm, Vulkan, Lemonade, LM Studio, PyTorch, VSCode 에이전트 워크플로를 한 박스에서 검증해 보는 경험이 핵심임
  • 로컬 AI 개발을 하면서 “일단 드라이버부터 맞추자”에서 시간을 태우기 싫은 사람에게는 꽤 명확한 포지션이 있음

---

기술 맥락

• 라이젠 AI 헤일로의 선택은 “최고 성능 GPU를 넣자”가 아니라 “에이엠디 AI 개발 환경을 바로 시작하게 만들자”에 가까워요. 그래서 하드웨어 스펙보다 개발자 센터, 검증된 구성, 플레이북이 제품 설명의 중심에 있어요.

• 로컬 대규모 언어 모델(LLM)은 모델 파일만 내려받는다고 끝나지 않아요. ROCm, Vulkan, 드라이버, 런타임, 파이썬 패키지, 모델 포맷이 서로 맞아야 하고, 하나만 삐끗해도 원인을 찾는 데 시간이 많이 들거든요.

• 검증된 구성(BKC)이 중요한 이유가 여기 있어요. 에이엠디가 “이 조합은 같이 동작한다”고 확인한 출발점을 제공하면, 튜토리얼 작성자나 사용자 모두 같은 상태를 기준으로 문제를 좁힐 수 있어요.

• 성능 면에서는 메모리 대역폭이 큰 변수예요. 토큰 생성은 모델 가중치를 계속 읽어야 해서 256기가바이트/초 통합 메모리보다 800기가바이트/초급 애플 실리콘이 유리한 장면이 나오는 거예요.

• NPU 활용은 아직 초기 느낌이지만 의미는 있어요. GPU처럼 빠른 추론을 노리기보다, CPU와 GPU를 덜 쓰면서 전력 효율 좋은 로컬 추론 경로를 만드는 쪽이라서 노트북·미니 PC AI 워크로드에 더 잘 맞을 수 있어요.