2026년에 로컬 AI 워크스테이션 돌리는 사람들의 현실

• HN "Ask HN" 스레드에서 로컬 AI 워크스테이션을 실제로 운용 중인 사람들의 경험담이 올라왔음. 클라우드 API 대신 온프레미스로 모델을 돌리는 이유와 현실적인 트레이드오프가 생생하게 드러남

실제 활용 사례들

• 3090 24GB + 듀얼 제온 64GB RAM 구성으로 서버룸에서 Qwen 기반 로컬 AI를 돌리는 유저가 여럿 있었음
  • 인보이스 OCR: PDF → 이미지 → Excel 변환. 일반 OCR보다 인보이스 맥락을 이해해서 특정 데이터만 추출하는 게 훨씬 나았다고 함. 외부로 데이터 보낼 필요 없다는 게 핵심 이유
  • 식품 포장 사진 분석: 성분표 촬영 → 예상 성분과 대조. 다만 사진 하나에 2분 걸려서 이건 외부 API로 넘길까 고민 중
  • 성분 분류기: 동물성(어떤 종인지까지), 채식, 비건, 할랄, 코셔, 알코올, 견과류 등 분류. 외부로 보낼 이유가 전혀 없는 케이스
• 가장 애용하는 건 Whisper. 거의 모든 타이핑을 음성→텍스트로 대체했다고 함. Nvidia Orin Nano를 사서 차에서 운전 중 음성 받아쓰기도 할 계획

Mac vs Nvidia 논쟁

• "Mac 칩이 학습/추론에서 심하게 저평가됨"이라는 의견이 나옴. 클라우드 Nvidia GPU 서버와 M칩 로컬 비교했을 때 Apple이 꽤 선전한다는 것
• 여러 대 체이닝하면 최대급 오픈소스 모델도 돌릴 수 있지만, 비용이 만만치 않음
• llama.cpp 직접 사용을 추천하는 분위기. Ollama는 시작하기엔 좋지만, 모델을 직접 다운받아서 레이어와 헤드 구조를 이해하는 게 낫다는 조언

현실적인 한계와 비용

• 로컬 AI의 가장 큰 문제는 속도. 최근 작업 하나가 로컬에서 3시간 걸렸는데 Claude API로는 2분이면 끝났다고 함
• 4×V100 32GB SXM2 서버를 쓰는 유저도 있었는데, 중고로 RAM 포함 $10,000~$12,000 선. 추론 용도로는 OK라는 평가
• 이 유저는 70B 급 모델 아니면 로컬의 의미가 없다고 봄. 특정 태스크 전용 모델이 아닌 이상 작은 모델은 클라우드가 나음
• AMD GPU + OpenGL/Vulkan 셰이더로 ROCm 없이 직접 돌리겠다는 야심찬 계획을 세운 유저도 있었음. Nvidia 종속을 벗어나고 싶다는 동기