손으로 돌려야 답하는 크랭크GPT, 로컬 AI의 전력 감각을 몸으로 보여주다

• 손으로 직접 전기를 만들어야 답해주는 AI 비서, 이름부터 대놓고 크랭크GPT(CrankGPT)임

  • 컴퓨터 과학자 카트린 토마넥과 전 구글 ATAP 리더 알렉스 카우프만이 공개한 수동 크랭크 구동식 음성 AI 장치임
  • 사용자는 손잡이를 돌려 전력을 공급해야 하고, 크랭크를 멈추면 내부 콘덴서에 저장된 전력으로 약 20초 정도만 버팀
  • AI와 통신을 시작하려면 처음에 30초 동안 꾸준히 크랭크를 돌려야 함. 말 그대로 “답변 받고 싶으면 운동부터”인 셈

• 이 프로젝트의 핵심 메시지는 “모든 일에 거대한 LLM을 쓰는 게 맞냐”는 문제 제기임

  • 카우프만은 Claude에게 숫자 두 개를 더해달라고 시키는 걸 “파리 잡으려고 철거용 공을 동원하는 것”에 비유함
  • 작은 문제, 개인화된 문제, 오프라인에 가까운 문제라면 작고 저렴한 하드웨어에서 돌아가는 특화 모델이 더 적절할 수 있다는 주장임
  • 그래서 이들이 세운 스타트업 스퀴즈(Squeez)도 에너지와 인터넷 연결을 최소화한 엣지 AI 가능성을 실험하는 쪽에 초점을 둠

• 하드웨어 구성은 꽤 현실적인 오픈소스 메이커 프로젝트 느낌임

  • 본체는 3D 프린터로 만들었고, 핵심 컴퓨팅 장치는 8GB RAM과 냉각 팬 HAT을 붙인 기본형 라즈베리 파이 5(Raspberry Pi 5)임
  • 오디오 입출력은 라즈베리 파이 기반 음성 비서용 I/O HAT이 맡음
  • 전력은 시중에서 구할 수 있는 비상용 USB 충전용 20W 수동 크랭크 유닛으로 만들고, 직접 제작한 콘덴서 유닛에 임시 저장하는 구조임

• 재밌는 포인트는 AI가 바쁠수록 손잡이가 더 무거워진다는 점임

  • 카우프만 설명에 따르면 보드가 수행하는 작업량에 따라 크랭크 저항이 달라짐
  • 단어를 생성하는 등 모델이 활발히 돌아갈 때는 돌리기 훨씬 힘들고, 사용자의 말을 기다릴 때는 상대적으로 수월함
  • 평소에는 숫자로만 보던 추론 비용, 전력 소비, 하드웨어 부하가 물리적 감각으로 바뀌는 장면이라 꽤 강렬함

• 소프트웨어 스택도 “가볍게, 로컬에서, 외부 의존성 줄이기” 쪽으로 맞춰져 있음

  • 운영체제는 3초 만에 부팅 가능한 초경량 리눅스 배포판 다이어트파이(DietPi)의 최적화 버전을 사용함
  • 음성 에이전트 시스템은 외부 의존성을 줄이려고 처음부터 끝까지 직접 구축함
  • 음성 인식(STT)은 빠른 문샤인(Moonshine), 텍스트 음성 변환(TTS)은 저자원 환경에 맞춘 파이퍼(Piper)를 사용함

• 모델은 오픈소스 소형 모델 조합으로 구성됨

  • 핵심 AI 모델은 리퀴드 LFM2 1.2B이고, 번역은 젬마 3(Gemma 3) 1B가 담당함
  • 본체 측면 버튼으로 번역 모드와 여러 프롬프트 모드를 고를 수 있음
  • 개발진은 별도 미세 조정 없이 두 줄짜리 시스템 프롬프트만으로도 다양한 언어 번역이 잘 됐다고 평가함
  • 작은 이미지 생성, 썩 훌륭하진 않은 시 작성, 코드 생성도 성공했다고 함

• 상용 제품으로 대량 생산할 계획은 없지만, 오픈소스 프로젝트로는 꽤 매력 있음

  • 현재 소스코드는 깃허브에 올라와 있고, 하드웨어 설계도와 회로도도 조만간 공개할 예정임
  • 직접 만들 때 까다로운 부분은 라즈베리 파이 같은 싱글보드 컴퓨터가 순간적으로 전류를 많이 먹어 소형 발전기의 과전류 보호 장치가 작동할 수 있다는 점임
  • 제작 비용은 원자재와 RAM 가격 상승 때문에 지난해 150달러에서 현재 300달러, 한국 돈으로 약 46만 원 수준까지 올라감

• 결국 이건 “재난 상황에서도 돌아가는 마이크로 LLM” 같은 상상까지 열어두는 프로젝트임

  • 전력망이 끊기고 인터넷도 불안정한 상황에서 클라우드 AI는 사실상 무력함
  • 반대로 작고 특화된 로컬 AI는 성능은 제한적이어도 독립성과 개인정보 보호 측면에서 장점이 있음
  • 개발자 입장에선 “LLM을 얼마나 크게 만들까”뿐 아니라 “어디까지 작게 줄여도 쓸 만할까”를 생각하게 만드는 사례임

---

기술 맥락

• 크랭크GPT의 기술적 선택은 거대한 클라우드 모델 대신, 라즈베리 파이 5 위에서 돌아가는 소형 모델과 경량 음성 스택을 묶은 거예요. 왜냐하면 이 프로젝트의 목적이 최고 성능이 아니라, 제한된 전력 안에서 AI 기능을 어디까지 유지할 수 있는지 보여주는 데 있기 때문이에요.

• 여기서 중요한 건 모델 크기만 줄인 게 아니라 입력부터 출력까지 전체 파이프라인을 가볍게 만든 점이에요. STT는 Moonshine, TTS는 Piper, 운영체제는 DietPi를 썼는데, 크랭크로 만든 전력만으로 버텨야 하니 부팅 시간과 백그라운드 의존성까지 줄여야 했거든요.

• Liquid LFM2 1.2B와 Gemma 3 1B를 고른 것도 같은 맥락이에요. 범용 대형 모델만큼 똑똑하진 않아도 번역, 짧은 응답, 간단한 코드 생성처럼 제한된 작업에는 충분할 수 있고, 로컬에서 돌릴 수 있다는 장점이 훨씬 크게 작동해요.

• 개발자에게 이 사례가 재밌는 이유는 AI 비용을 API 요금이나 GPU 사용률이 아니라 손잡이 저항으로 체감하게 만든다는 점이에요. 추론이 바빠질수록 크랭크가 무거워진다는 건, 모델 최적화와 전력 효율이 추상적인 최적화 과제가 아니라 사용자 경험 자체가 될 수 있다는 뜻이에요.