본문으로 건너뛰기
J
피드

llmfit - 내 PC 사양에 맞는 LLM 모델 자동 추천 터미널 도구

open-source 약 4분
tags
#llm#cli#rust#ollama#hardware
vote
0
댓글
북마크
원문 보기

시스템의 RAM, CPU, GPU를 자동 감지해서 돌릴 수 있는 LLM 모델을 추천해주는 Rust 기반 터미널 도구. 품질, 속도, 적합도, 컨텍스트 4개 차원으로 점수를 매기고, Ollama/llama.cpp/MLX 등 주요 로컬 런타임과 통합되어 TUI에서 바로 모델 다운로드까지 가능함.

  • 1

    RAM/CPU/GPU 자동 감지 후 4차원 점수(품질·속도·적합도·컨텍스트)로 모델 랭킹

  • 2

    MoE 아키텍처 자동 감지, 동적 양자화 선택, 메모리 대역폭 기반 속도 추정

  • 3

    Ollama, llama.cpp, MLX, Docker Model Runner, LM Studio 통합 지원

  • 4

    NVIDIA, AMD, Intel Arc, Apple Silicon, Ascend NPU 등 폭넓은 하드웨어 지원

  • 5

    Plan 모드로 특정 모델에 필요한 하드웨어 사양 역산 가능

  • 시스템의 RAM, CPU, GPU를 자동 감지해서 돌릴 수 있는 LLM 모델을 추천해주는 Rust 기반 CLI/TUI 도구임. "이 모델 내 컴퓨터에서 돌아갈까?" 고민을 한방에 해결해줌
  • 품질(Quality), 속도(Speed), 적합도(Fit), 컨텍스트(Context) 4개 차원으로 0~100점 매겨서 종합 점수로 랭킹을 보여줌. 용도별(코딩, 추론, 채팅 등)로 가중치가 달라짐
  • 속도 추정은 LLM 추론이 메모리 대역폭(memory bandwidth) 바운드라는 점을 이용함. GPU 약 80종의 대역폭 테이블을 내장하고 있어서 실제 벤치마크 없이도 tok/s를 꽤 정확하게 예측함
  • MoE(Mixture-of-Experts) 아키텍처 자동 감지 지원. Mixtral 8x7B 같은 모델은 전체 46.7B 파라미터 중 토큰당 12.9B만 활성화되니까 VRAM 요구량이 23.9GB가 아니라 ~6.6GB로 계산됨
  • 동적 양자화(dynamic quantization) 선택 기능이 있어서 Q8_0부터 Q2_K까지 내 하드웨어에 맞는 최고 품질 양자화를 자동으로 골라줌. 풀 컨텍스트로 안 되면 절반으로 재시도함
  • Ollama, llama.cpp, MLX, Docker Model Runner, LM Studio 등 주요 로컬 런타임 프로바이더 통합 지원. TUI에서 'd' 키 누르면 바로 모델 다운로드 가능
  • NVIDIA, AMD, Intel Arc, Apple Silicon, Ascend NPU까지 멀티 GPU 포함 폭넓은 하드웨어 감지 지원. 자동 감지 실패 시 --memory 플래그로 수동 지정 가능
  • Plan 모드가 재밌는데, 평소와 반대로 "이 모델을 돌리려면 어떤 하드웨어가 필요한가"를 알려줌. 업그레이드 계획 세울 때 유용함
  • HuggingFace API에서 수백 개 모델 정보를 스크래핑해서 컴파일 타임에 바이너리에 임베딩하는 구조. 10가지 컬러 테마, 웹 대시보드, HTTP API 서버 모드까지 갖추고 있음
  • 비슷한 도구로 llm-checker(Node.js)가 있는데, 이쪽은 실제로 모델을 돌려서 벤치마크하는 방식. llmfit은 스펙 기반 추정이라 모델 안 받아도 바로 비교 가능한 게 장점임

로컬 LLM 입문자에게 특히 유용한 도구. 모델을 실제로 받기 전에 스펙 기반으로 빠르게 비교할 수 있다는 게 핵심 장점임.

next

다음 기사 (N)

댓글

댓글

댓글을 불러오는 중...

관련 기사

open-source

뱀부랩, 오픈소스 슬라이서 개발자에게 법적 압박 걸었다가 역풍 맞음

3D 프린터 제조사 뱀부랩이 OrcaSlicer-BambuLab 개발자에게 중단 요구서를 보내면서 오픈소스와 수리권 커뮤니티의 반발을 샀다. GamersNexus와 Louis Rossmann은 개발자의 허락을 받아 소프트웨어를 다시 호스팅하고, 소송이 걸리면 각각 1만 달러씩 법률 지원을 하겠다고 나섰다.

open-source

OrcaSlicer 포크, Bambu Lab 프린터의 인터넷 연결 기능 되살림

FULU Foundation의 OrcaSlicer-bambulab 포크가 Bambu Lab 프린터에서 LAN 전용 제한 없이 BambuNetwork 기반 인터넷 연결을 다시 지원한다고 밝힘. Windows에서는 WSL 2 설정이 필요하고, Linux에서는 일반 설치만으로 충분하다고 안내함.

open-source

코넬대가 공개한 정확히 2,000줄짜리 교육용 운영체제

코넬대 기반 프로젝트인 egos-2000은 학생이 교육용 운영체제 전체 코드를 직접 읽을 수 있게 만드는 걸 목표로 한다. C, 헤더, 어셈블리, make 파일을 합쳐 정확히 2,000줄이며, QEMU와 RISC-V 보드에서 동작하고 9개 코스 프로젝트가 붙어 있다. 운영체제 수업에서 ‘작지만 전체 구조가 보이는 코드베이스’가 필요했던 사람에게 꽤 반가운 자료다.

open-source

이맥스가 Git 대신 Bazaar를 붙잡았던 6년짜리 오픈소스 드라마

이맥스는 2008년 CVS에서 벗어나면서 Git 대신 GNU 프로젝트인 Bazaar를 선택했고, 이 결정은 성능 벤치마크와 개발자 반발을 압도한 정치적 판단에 가까웠다. Bazaar는 느리고 유지보수도 흔들렸지만, GNU 패키지는 GNU 도구를 써야 한다는 원칙 때문에 전환은 2014년까지 미뤄졌다. 결국 ELPA 브랜치 문제와 Bazaar 개발 중단, 변환 스크립트 준비 끝에 이맥스는 Git으로 옮겨갔다.

open-source

현대차·기아, 오픈소스 특허 방어망 넓혀 소프트웨어 중심 차량 전환 준비

현대차·기아가 오픈소스 소프트웨어 특허 분쟁을 줄이기 위해 글로벌 특허 네트워크 OIN 2.0에 가입했다. 소프트웨어 중심 차량, 클라우드, 커넥티드 서비스처럼 오픈소스 의존도가 큰 영역에서 법적 리스크를 미리 관리하려는 움직임이다.