본문으로 건너뛰기
피드

llmfit - 내 PC 사양에 맞는 LLM 모델 자동 추천 터미널 도구

open-source 약 4분
vote
0
댓글
북마크

시스템의 RAM, CPU, GPU를 자동 감지해서 돌릴 수 있는 LLM 모델을 추천해주는 Rust 기반 터미널 도구. 품질, 속도, 적합도, 컨텍스트 4개 차원으로 점수를 매기고, Ollama/llama.cpp/MLX 등 주요 로컬 런타임과 통합되어 TUI에서 바로 모델 다운로드까지 가능함.

  • 1

    RAM/CPU/GPU 자동 감지 후 4차원 점수(품질·속도·적합도·컨텍스트)로 모델 랭킹

  • 2

    MoE 아키텍처 자동 감지, 동적 양자화 선택, 메모리 대역폭 기반 속도 추정

  • 3

    Ollama, llama.cpp, MLX, Docker Model Runner, LM Studio 통합 지원

  • 4

    NVIDIA, AMD, Intel Arc, Apple Silicon, Ascend NPU 등 폭넓은 하드웨어 지원

  • 5

    Plan 모드로 특정 모델에 필요한 하드웨어 사양 역산 가능

  • 시스템의 RAM, CPU, GPU를 자동 감지해서 돌릴 수 있는 LLM 모델을 추천해주는 Rust 기반 CLI/TUI 도구임. "이 모델 내 컴퓨터에서 돌아갈까?" 고민을 한방에 해결해줌
  • 품질(Quality), 속도(Speed), 적합도(Fit), 컨텍스트(Context) 4개 차원으로 0~100점 매겨서 종합 점수로 랭킹을 보여줌. 용도별(코딩, 추론, 채팅 등)로 가중치가 달라짐
  • 속도 추정은 LLM 추론이 메모리 대역폭(memory bandwidth) 바운드라는 점을 이용함. GPU 약 80종의 대역폭 테이블을 내장하고 있어서 실제 벤치마크 없이도 tok/s를 꽤 정확하게 예측함
  • MoE(Mixture-of-Experts) 아키텍처 자동 감지 지원. Mixtral 8x7B 같은 모델은 전체 46.7B 파라미터 중 토큰당 12.9B만 활성화되니까 VRAM 요구량이 23.9GB가 아니라 ~6.6GB로 계산됨
  • 동적 양자화(dynamic quantization) 선택 기능이 있어서 Q8_0부터 Q2_K까지 내 하드웨어에 맞는 최고 품질 양자화를 자동으로 골라줌. 풀 컨텍스트로 안 되면 절반으로 재시도함
  • Ollama, llama.cpp, MLX, Docker Model Runner, LM Studio 등 주요 로컬 런타임 프로바이더 통합 지원. TUI에서 'd' 키 누르면 바로 모델 다운로드 가능
  • NVIDIA, AMD, Intel Arc, Apple Silicon, Ascend NPU까지 멀티 GPU 포함 폭넓은 하드웨어 감지 지원. 자동 감지 실패 시 --memory 플래그로 수동 지정 가능
  • Plan 모드가 재밌는데, 평소와 반대로 "이 모델을 돌리려면 어떤 하드웨어가 필요한가"를 알려줌. 업그레이드 계획 세울 때 유용함
  • HuggingFace API에서 수백 개 모델 정보를 스크래핑해서 컴파일 타임에 바이너리에 임베딩하는 구조. 10가지 컬러 테마, 웹 대시보드, HTTP API 서버 모드까지 갖추고 있음
  • 비슷한 도구로 llm-checker(Node.js)가 있는데, 이쪽은 실제로 모델을 돌려서 벤치마크하는 방식. llmfit은 스펙 기반 추정이라 모델 안 받아도 바로 비교 가능한 게 장점임

로컬 LLM 입문자에게 특히 유용한 도구. 모델을 실제로 받기 전에 스펙 기반으로 빠르게 비교할 수 있다는 게 핵심 장점임.

댓글

댓글

댓글을 불러오는 중...

open-source

차세대 데이터 파일 포맷 F3, 디코더를 Wasm으로 파일 안에 넣자는 실험

F3는 Parquet, ORC 같은 기존 컬럼형 파일 포맷의 한계를 줄이기 위해 제안된 오픈소스 연구 프로토타입이다. 핵심 아이디어는 데이터와 메타데이터뿐 아니라 WebAssembly(Wasm) 디코더까지 파일에 함께 넣어, 새 인코딩 방식이 나와도 플랫폼 호환성을 유지하자는 것이다.

open-source

에코백스, 1,134만원짜리 오픈소스 가정용 로봇 ‘빠졔’ 판매 시작

중국 청소 로봇 기업 에코백스가 첫 오픈소스 로봇 ‘빠졔’를 정식 판매하기 시작했음. 가정용 로봇을 개발자가 직접 조율하고 프로그래밍하고 2차 개발할 수 있게 만든 플랫폼이고, 가격은 4만9990위안, 약 1,134만원 수준임.

open-source

BMW·폭스바겐·스텔란티스, 자동차 소프트웨어 오픈소스 동맹 키운다

BMW, 폭스바겐그룹, 스텔란티스 등 유럽 완성차 업체들이 소프트웨어 정의 자동차(SDV) 경쟁력 강화를 위해 오픈소스 공동 개발에 나서고 있다. 독일자동차산업협회 주도 프로젝트에는 완성차, 부품사, 반도체 기업 등 30개 이상 기업이 참여하며 차량 OS, 미들웨어, 통신 소프트웨어 같은 공통 영역을 함께 만든다. 기대 효과는 개발·유지 비용 최대 40% 절감, 차량 개발 기간 최대 30% 단축이다.

open-source

AI 시대 오픈소스, ‘공개됐으니 막 써도 됨’은 진짜 위험한 착각

생성형 AI 서비스가 오픈소스 코드, 모델, 데이터셋, 외부 API를 섞어 쓰면서 라이선스와 이용 조건 관리가 훨씬 복잡해졌다는 내용이다. 공개된 기술이라도 저작권과 사용 조건은 남아 있고, 기업은 제품 안에 무엇이 들어갔는지 지속적으로 추적해야 한다.

open-source

에코백스, 1,134만원짜리 오픈소스 가정용 로봇 ‘빠졔’ 출시

중국 청소 로봇 기업 에코백스가 첫 오픈소스 로봇 ‘빠졔’를 판매하기 시작했다. 개발자가 로봇의 동작, 조작, 환경 인식 기능을 기반으로 임바디드 인텔리전스 애플리케이션을 만들고 상용화할 수 있게 하겠다는 전략이다.