본문으로 건너뛰기
피드

llama.cpp, 드디어 리눅스에서도 시스템 RAM 통합 오프로딩 지원

ai-ml 약 3분
vote
0
댓글
북마크

llama.cpp가 리눅스 커널 업데이트, NVIDIA 오픈 드라이버, CUDA 13의 조합으로 리눅스에서도 macOS 수준의 통합 메모리 관리를 지원하게 됐다. 게이밍 PC급 하드웨어로 로컬 AI 추론이 가능해진 셈.

  • 1

    리눅스에서 Unified/Heterogeneous Memory Management 지원 시작

  • 2

    RTX 3060급 게이밍 PC로 AI 추론 가능

  • 3

    Qwen 3.5 35B A3B 같은 희소 활성화 모델과 조합 시 실용적

  • 4

    Ubuntu 26.04 LTS에서 CUDA 설치 간소화 예정

  • llama.cpp가 드디어 리눅스에서도 통합/이기종 메모리 관리(Unified/Heterogeneous Memory Management)를 지원하기 시작했음. 지금까지 이 기능은 Windows에서 GPU 공유 가상 메모리를 "혹사"시키는 방법으로만 가능했는데, 이제 리눅스에서도 된다는 거임

  • 이게 가능해진 건 세 가지가 동시에 맞물렸기 때문임: llama.cpp 코어 코드 변경 + 리눅스 커널 업데이트 + NVIDIA의 새 "오픈" 드라이버 및 CUDA 13 지원

  • 실질적으로 의미하는 건 macOS의 통합 메모리 같은 경험을 리눅스에서도 AI 추론에 활용할 수 있다는 것임

게이밍 PC 수준이면 충분함

  • 적절한 CLI 플래그 + 희소 활성화 모델(예: Qwen 3.5 35B A3B)을 조합하면, RTX 3060 / i5 또는 Ryzen 5 / 32GB RAM(DDR4든 DDR5든) / 500~700W 파워 정도의 "매장에서 팔리는 게이밍 PC" 수준으로 AI 추론이 돌아간다는 거임

  • llama.cpp 내장 서버나 직접 코드를 짜면, 사무실 구석 클로젯에 박스 하나 넣어두고 팀 전용 프라이빗 AI 허브를 운영할 수도 있음. 월 비용 $0

💡

> 주의사항: NVIDIA 설치 가이드가 Secure Boot를 고려하지 않음. Ubuntu/RHEL은 사전 서명된 드라이버가 있지만, 그 외 배포판은 리부팅 전에 mokutils를 꼭 실행해야 함. Ubuntu 26.04 LTS(2026년 4월 출시)에서는 CUDA 개발 환경 설치가 훨씬 쉬워질 예정

  • 글쓴이가 마지막에 "Sam, Elon, Mark, Dario 다 끝났다. AI가 해방됐다"고 선언하는데, 마침 같은 날 LiteLLM 추론 프레임워크 보안 침해 사건이 터졌다고 함. 온디바이스 추론의 보안 이점이 공교롭게 부각된 타이밍

월 $0로 팀 전용 프라이빗 AI 허브를 구축할 수 있다는 현실적 시나리오가 매력적. 같은 날 터진 LiteLLM 보안 사고와 대비되는 온디바이스 추론의 이점.

댓글

댓글

댓글을 불러오는 중...

ai-ml

오픈AI, 브로드컴과 만든 첫 자체 추론 칩 ‘할라페뇨’ 공개

오픈AI가 브로드컴과 함께 만든 첫 자체 추론 프로세서 ‘할라페뇨’를 공개했다. 아직 테스트 단계지만, 실시간 코딩 모델 같은 추론 워크로드에서 기존 최고 수준 대안보다 전력 대비 성능이 크게 좋다는 초기 결과를 내세웠다.

ai-ml

가트너 “네오클라우드, 2030년 AI 클라우드 시장 20% 먹는다”

생성형 AI 확산으로 GPU 기반 고성능 컴퓨팅 수요가 폭증하면서 AI 전용 클라우드 사업자인 네오클라우드가 커지고 있다는 분석이 나왔어. 가트너는 2030년 약 2,670억 달러 규모 AI 클라우드 시장에서 네오클라우드가 20%를 차지할 수 있다고 봤어. GPU 확보, 가격 경쟁력, 데이터 주권 대응이 핵심 포인트야.

ai-ml

스페이스X, 오픈소스 AI 스타트업에 초대형 컴퓨팅 파워 판다

리플렉션 AI가 스페이스X의 대형 데이터센터 인프라를 쓰기 위해 2029년까지 최대 63억달러 규모 계약을 맺었다는 내용이다. 월 1억5000만달러를 내고 엔비디아 GB300 기반 컴퓨팅 자원을 확보하는 구조이며, 스페이스X는 남는 AI 인프라를 외부 고객에게 파는 플랫폼 사업으로 확장하려는 흐름을 보인다. 오픈소스 AI 모델을 내세우는 리플렉션 AI가 정부·안보 시장에서 빠르게 커지고 있다는 점도 포인트다.

ai-ml

AI가 청소년의 ‘생각 훈련’을 건너뛰게 만든다는 경고

이 글은 생성형 AI가 청소년과 주니어에게 편리한 도구를 넘어 사고력 발달을 약화시킬 수 있다는 우려를 다뤄. 핵심은 AI 사용 자체가 문제라기보다, AI가 단일한 관계와 정보 통로가 되고 글쓰기·판단·고민의 과정을 대신해버릴 때 인지 훈련 기회가 사라진다는 점이야.

ai-ml

성남시, AI로 고독사 위험과 고령자 주차 문제를 같이 실증한다

성남시니어산업혁신센터가 AI 돌봄 자동화 플랫폼과 AI 스마트 주차관리 시스템의 실증기관으로 선정됐어. 각각 14억2500만 원, 30억 원 규모 사업이고, 고령자 돌봄과 교통약자 주차 편의라는 생활밀착형 문제를 AI로 풀어보겠다는 내용이야.