본문으로 건너뛰기
피드

llama.cpp, 드디어 리눅스에서도 시스템 RAM 통합 오프로딩 지원

ai-ml 약 3분

llama.cpp가 리눅스 커널 업데이트, NVIDIA 오픈 드라이버, CUDA 13의 조합으로 리눅스에서도 macOS 수준의 통합 메모리 관리를 지원하게 됐다. 게이밍 PC급 하드웨어로 로컬 AI 추론이 가능해진 셈.

  • 1

    리눅스에서 Unified/Heterogeneous Memory Management 지원 시작

  • 2

    RTX 3060급 게이밍 PC로 AI 추론 가능

  • 3

    Qwen 3.5 35B A3B 같은 희소 활성화 모델과 조합 시 실용적

  • 4

    Ubuntu 26.04 LTS에서 CUDA 설치 간소화 예정

  • llama.cpp가 드디어 리눅스에서도 통합/이기종 메모리 관리(Unified/Heterogeneous Memory Management)를 지원하기 시작했음. 지금까지 이 기능은 Windows에서 GPU 공유 가상 메모리를 "혹사"시키는 방법으로만 가능했는데, 이제 리눅스에서도 된다는 거임

  • 이게 가능해진 건 세 가지가 동시에 맞물렸기 때문임: llama.cpp 코어 코드 변경 + 리눅스 커널 업데이트 + NVIDIA의 새 "오픈" 드라이버 및 CUDA 13 지원

  • 실질적으로 의미하는 건 macOS의 통합 메모리 같은 경험을 리눅스에서도 AI 추론에 활용할 수 있다는 것임

게이밍 PC 수준이면 충분함

  • 적절한 CLI 플래그 + 희소 활성화 모델(예: Qwen 3.5 35B A3B)을 조합하면, RTX 3060 / i5 또는 Ryzen 5 / 32GB RAM(DDR4든 DDR5든) / 500~700W 파워 정도의 "매장에서 팔리는 게이밍 PC" 수준으로 AI 추론이 돌아간다는 거임

  • llama.cpp 내장 서버나 직접 코드를 짜면, 사무실 구석 클로젯에 박스 하나 넣어두고 팀 전용 프라이빗 AI 허브를 운영할 수도 있음. 월 비용 $0

💡

> 주의사항: NVIDIA 설치 가이드가 Secure Boot를 고려하지 않음. Ubuntu/RHEL은 사전 서명된 드라이버가 있지만, 그 외 배포판은 리부팅 전에 mokutils를 꼭 실행해야 함. Ubuntu 26.04 LTS(2026년 4월 출시)에서는 CUDA 개발 환경 설치가 훨씬 쉬워질 예정

  • 글쓴이가 마지막에 "Sam, Elon, Mark, Dario 다 끝났다. AI가 해방됐다"고 선언하는데, 마침 같은 날 LiteLLM 추론 프레임워크 보안 침해 사건이 터졌다고 함. 온디바이스 추론의 보안 이점이 공교롭게 부각된 타이밍

월 $0로 팀 전용 프라이빗 AI 허브를 구축할 수 있다는 현실적 시나리오가 매력적. 같은 날 터진 LiteLLM 보안 사고와 대비되는 온디바이스 추론의 이점.

댓글

댓글

댓글을 불러오는 중...

ai-ml

제미나이 도구 호출 능력을 2,600만 파라미터 모델로 증류한 니들 공개

Cactus Compute가 Gemini 3.1의 도구 호출 능력을 2,600만 파라미터짜리 초소형 모델 Needle로 증류해 공개했다. 맥이나 PC에서 로컬 파인튜닝까지 가능하고, 프로덕션 환경에서는 프리필 6,000 토큰/초, 디코드 1,200 토큰/초를 낸다고 주장한다. 개인용 AI 기기에서 함수 호출만 빠르게 처리하는 작은 모델 실험으로 보면 꽤 흥미로운 공개다.

ai-ml

딥시크 V4 인덱서, 6기가바이트 메모리로 백만 토큰까지 밀어붙인 논문

딥시크 V3.2와 V4의 압축 희소 어텐션에서 병목이 되는 인덱서 단계를 스트리밍 방식으로 바꿔, 기존 구현이 6만5536 토큰에서 메모리 부족으로 죽던 문제를 104만8576 토큰까지 확장했다. 핵심은 전체 점수 텐서를 만들지 않고 청크 단위로 top-k를 나눠 계산한 뒤 병합하는 방식이며, 단일 엔비디아 H200에서 피크 메모리 6.21기가바이트를 기록했다. 다만 논문은 인덱서 단계만 다루며, 실제 체크포인트 기반 종단간 성능이나 더 빠른 어텐션 커널을 주장하진 않는다.

ai-ml

챗지피티가 학습에 좋다던 유명 논문, 결국 철회됨

챗지피티가 학생 학습 성과에 큰 도움이 된다고 주장했던 논문이 출판 약 1년 만에 철회됐어. 스프링거 네이처는 분석의 불일치와 결론 신뢰 부족을 이유로 들었고, 문제의 논문은 이미 500회 넘게 인용된 뒤였어.

ai-ml

샘 올트먼, 법정에서 “머스크가 오픈AI 지배권을 자녀에게 넘기려 했다”고 증언

샘 올트먼이 캘리포니아 오클랜드 연방법원 배심원 앞에서 일론 머스크가 오픈AI의 장기 지배권을 원했고, 사망 후엔 자녀에게 넘기는 방안까지 언급했다고 증언했다. 머스크는 오픈AI가 비영리로 출발했는데도 영리화됐다고 소송을 제기했지만, 올트먼은 오히려 머스크가 영리 전환과 테슬라 편입을 밀었다는 취지로 반박했다.

ai-ml

혜전대, AI로 스마트팜 생산·가공·유통 교육 모델 만든다

혜전대가 2026년 교육부·한국연구재단의 AID 전환 중점 전문대학 지원사업에 충남 지역 연합형 사업단으로 선정됐다. 연암대와 역할을 나눠 스마트팜 생산부터 가공·유통까지 전주기를 디지털화하는 교육 모델을 만들겠다는 내용이다.