본문으로 건너뛰기
J
0
r/jeffnews • HN • • 약 3분

llama.cpp, 드디어 리눅스에서도 시스템 RAM 통합 오프로딩 지원

ai-ml

요약

llama.cpp가 리눅스 커널 업데이트, NVIDIA 오픈 드라이버, CUDA 13의 조합으로 리눅스에서도 macOS 수준의 통합 메모리 관리를 지원하게 됐다. 게이밍 PC급 하드웨어로 로컬 AI 추론이 가능해진 셈.

기사 전체 정리

llama.cpp, 드디어 리눅스에서도 시스템 RAM 통합 오프로딩 지원

  • llama.cpp가 드디어 리눅스에서도 **통합/이기종 메모리 관리(Unified/Heterogeneous Memory Management)**를 지원하기 시작했음. 지금까지 이 기능은 Windows에서 GPU 공유 가상 메모리를 "혹사"시키는 방법으로만 가능했는데, 이제 리눅스에서도 된다는 거임

  • 이게 가능해진 건 세 가지가 동시에 맞물렸기 때문임: llama.cpp 코어 코드 변경 + 리눅스 커널 업데이트 + NVIDIA의 새 "오픈" 드라이버 및 CUDA 13 지원

  • 실질적으로 의미하는 건 macOS의 통합 메모리 같은 경험을 리눅스에서도 AI 추론에 활용할 수 있다는 것임

게이밍 PC 수준이면 충분함

  • 적절한 CLI 플래그 + 희소 활성화 모델(예: Qwen 3.5 35B A3B)을 조합하면, RTX 3060 / i5 또는 Ryzen 5 / 32GB RAM(DDR4든 DDR5든) / 500~700W 파워 정도의 "매장에서 팔리는 게이밍 PC" 수준으로 AI 추론이 돌아간다는 거임

  • llama.cpp 내장 서버나 직접 코드를 짜면, 사무실 구석 클로젯에 박스 하나 넣어두고 팀 전용 프라이빗 AI 허브를 운영할 수도 있음. 월 비용 $0

💡팁

> 주의사항: NVIDIA 설치 가이드가 Secure Boot를 고려하지 않음. Ubuntu/RHEL은 사전 서명된 드라이버가 있지만, 그 외 배포판은 리부팅 전에 mokutils를 꼭 실행해야 함. Ubuntu 26.04 LTS(2026년 4월 출시)에서는 CUDA 개발 환경 설치가 훨씬 쉬워질 예정

  • 글쓴이가 마지막에 "Sam, Elon, Mark, Dario 다 끝났다. AI가 해방됐다"고 선언하는데, 마침 같은 날 LiteLLM 추론 프레임워크 보안 침해 사건이 터졌다고 함. 온디바이스 추론의 보안 이점이 공교롭게 부각된 타이밍

핵심 포인트

  • 리눅스에서 Unified/Heterogeneous Memory Management 지원 시작
  • RTX 3060급 게이밍 PC로 AI 추론 가능
  • Qwen 3.5 35B A3B 같은 희소 활성화 모델과 조합 시 실용적
  • Ubuntu 26.04 LTS에서 CUDA 설치 간소화 예정

인사이트

월 $0로 팀 전용 프라이빗 AI 허브를 구축할 수 있다는 현실적 시나리오가 매력적. 같은 날 터진 LiteLLM 보안 사고와 대비되는 온디바이스 추론의 이점.

#llama-cpp#linux#nvidia#cuda#on-device-ai
원문 보기
댓글 뒤로가기
이전 기사 (p) 다음 기사 (n)

댓글

댓글

댓글을 불러오는 중...

관련 기사

ai-ml

ARC-AGI-3 등장: AI가 진짜 AGI인지 측정하는 새 벤치마크 나왔다

ARC Prize 팀이 ARC-AGI-3를 공개했는데, 기존 정적 퍼즐 풀기가 아니라 AI가 새로운 환경을 탐색하고 즉석에서 목표를 파악하는 '적응형 추론' 능력을 측정함. 인간 수준으로 게임을 클리어하면 100점인데, 아직 AI와 인간 사이에 격차가 있는 한 AGI가 아니라는 기준을 제시하는 거임.

ai-ml

구글 TurboQuant: AI 모델 압축의 판도를 바꾸는 기술 등장 (ICLR 2026)

구글 리서치가 AI 모델의 핵심 병목인 키-값 캐시(KV Cache) 문제를 해결하는 압축 알고리즘 TurboQuant를 공개했음. 학습 없이 KV 캐시를 3비트까지 줄이면서도 모델 정확도 손실 제로, H100 GPU에서 최대 8배 속도 향상이라는 미친 성능을 보여줌. PolarQuant, QJL과 함께 ICLR 2026에서 발표 예정.

ai-ml

Claude Code에 가장 잘 맞는 프로그래밍 언어는? — 15개 언어 벤치마크 실험

Ruby 커미터가 Claude Code로 간이 Git 구현을 15개 언어로 시켜본 벤치마크. Ruby, Python, JavaScript가 가장 빠르고 저렴하며 안정적이었고, 정적 타입 언어는 1.4~2.6배 느리고 비쌌다. 600회 실행 중 실패는 Rust 2건, Haskell 1건뿐.

ai-ml

PyTorch 2.11 릴리스

PyTorch 2.11이 2,723개 커밋, 432명 기여자 규모로 릴리스됨. FlashAttention-4 백엔드로 Hopper/Blackwell GPU에서 최대 3.2배 속도 향상, 분산 학습용 Differentiable Collectives, CUDA 13 기본 전환, TorchScript 공식 deprecated 등이 주요 변경사항임.

ai-ml

Claude Code한테 내 옛날 연구 코드 맡겨봤는데 하루만에 54% 성능 향상시킴 ㄷㄷ

Karpathy의 Autoresearch 방법론에서 영감 받아서, 저자가 자기 옛날 연구 코드(eCLIP)를 Claude Code한테 던져주고 빨래/장보기 하러 갔음. 돌아왔더니 42번 실험 돌리고 Mean Rank를 344→157로 54% 줄여놨다는 레전드 썰. 근데 버그 하나 고친 게 모든 아키텍처 개선 합친 것보다 효과가 컸다는 게 포인트 ㅋㅋ