4만8000달러짜리 개인 GPU 서버, 클라우드보다 이득이었을까?

• FAANG을 그만두고 독립 연구자가 된 글쓴이가 6개 GPU짜리 개인 서버를 직접 맞춘 이야기임

  • 서버 이름은 grumbl, 구성은 RTX 6000 Ada GPU 6장
  • 총 비용은 4만8000달러, 대충 원화로 6000만 원대 중후반급 장비
  • 목표는 돈을 아끼는 것만이 아니라, 대규모 언어 모델(LLM) 실험을 계속 굴릴 수 있는 개인 연구 환경을 만드는 거였음

• GPU 선택은 A100, H100, RTX 6000 Ada 사이에서 가격 대비 처리량으로 갈림

  • A100은 FP8을 지원하지 않고 최신 GPU보다 추론 성능이 느려서 제외
  • H100은 강력하지만 가격 부담이 컸고, RTX 6000 Ada가 가격 대비 처리량에서 더 맞았다고 판단
  • 글쓴이의 주 작업이 강화학습(RL) 기반 추론이라, 학습 한 방보다 많은 실험을 계속 돌리는 쪽이 중요했음

• 제일 현실적인 문제는 성능이 아니라 전기였음

  • 아파트 회로 하나로 GPU 6장을 감당하기 어려워서 전원 공급 장치 2개를 서로 다른 회로의 콘센트에 나눠 꽂는 구성을 짰음
  • 이런 구성은 검색만 해도 위험하다는 경고가 잔뜩 나오기 때문에, 전문 PC 빌더를 고용해서 안전성을 확인함
  • 웃픈 포인트는 전력 제약 때문에 빌드를 그렇게 설계했는데, 나중엔 부모님 지하실로 서버를 옮겨서 회로 업그레이드가 가능해졌다는 점

• 클라우드와 비교하려고 감이 아니라 실제 사용량을 기록함

  • 각 GPU가 하루에 몇 시간이라도 사용됐는지 1분 단위로 로그를 남김
  • 전력 사용량도 와트 단위로 기록해서 전기요금까지 계산
  • 클라우드 비교는 온디맨드 가격 기준으로 했고, 예약 인스턴스는 서버를 사는 것과 가격 차이가 작다고 봐서 제외

• 사용률은 생각보다 낮았지만 그래도 꽤 높았음

  • 전체 기간 평균 GPU 사용률은 76%
  • 2025년 1월 1일 이후로만 계산하면 85%
  • 글쓴이는 실험을 24시간 돌리고 대기열도 항상 있었기 때문에 95% 이상을 기대했지만, 실제로는 개발 시간, 실패한 실험, 유지보수 다운타임 때문에 그렇게까지 안 나옴

• 2025년 6월 이후부터는 사용률이 확 뛰었다고 함

  • 그 전에는 작은 실험이 많아서 개발 시간과 실험 시간이 비슷했고, 실험 사이 공백도 있었음
  • 이후 더 많은 연산이 필요한 프로젝트를 시작하면서 대부분의 GPU를 계속 실험에 투입하고, 1-2개만 개발용으로 남기는 패턴이 됨

• 돈 계산만 보면 일단 이겼음

  • 2026년 3월 13일 기준, 같은 연산량을 클라우드에서 빌렸다면 약 6만8000달러가 들었을 것으로 추산
  • 서버 구매 비용 4만8000달러와 전기료 약 3000달러를 빼면 지금까지 약 1만7000달러 절약
  • 현재 시장 가격 기준으로는 앞으로 하루에 90-105달러씩 아끼는 셈이라고 계산함

• 하지만 직접 구축의 대가는 꽤 비쌌음

  • 서버가 부팅되지 않을 때 라이저 하나가 죽은 건지, GPU 전체가 망가진 건지 모르는 스트레스가 큼
  • 실제로 여러 장애가 PCIe 라이저 문제였고, 디버깅에 많은 시간이 들어감
  • 직접 구축과 유지보수에 쓴 시간 비용은 이번 계산에 포함되지 않았음

• 커스텀 빌드의 가장 큰 후회는 느린 GPU 인터커넥트였음

  • 아파트 전력 제약 때문에 표준 데이터센터 서버 대신 특수 구성을 골랐고, 그 결과 GPU 간 연결이 느린 메인보드를 쓰게 됨
  • 여러 작은 실험을 병렬로 돌리는 글쓴이의 주 용도에는 괜찮았음
  • 하지만 모델을 여러 GPU에 쪼개 올리는 작업에는 최악에 가깝다고 평가함

• 소유와 임대는 비용보다 마음가짐이 다르다는 대목이 꽤 핵심임

  • 클라우드를 빌릴 때는 실험 하나마다 “이 비용을 낼 가치가 있나?”를 계속 따지게 됨
  • GPU를 소유하면 반대로 “안 돌리는 시간이 손해”처럼 느껴져서 실험을 더 공격적으로 돌리게 됨
  • 클라우드 인스턴스를 켜고 끄는 귀찮음이 사라지는 것도 생각보다 큰 장점이라고 함

• 글쓴이의 결론은 “나한텐 맞았지만 모두에게 추천하진 않는다”에 가까움

  • 본인은 몇 년 동안 돈을 모았고, 수상한 재무 리스크를 감수할 수 있는 운 좋은 상황이었다고 선을 그음
  • Google Colab, 저렴한 클라우드 GPU, 작은 개인 장비로도 좋은 연구는 충분히 가능하다고 말함
  • 다시 한다면 이런 커스텀 빌드 대신 표준 데이터센터 서버를 사고 코로케이션 센터에 넣겠다고 함

---

기술 맥락

• 이 글의 선택은 “클라우드 GPU를 빌릴까, 로컬 GPU 서버를 살까”예요. 단순 구매기가 아니라, 독립 연구자가 실험 처리량을 자기 일정의 병목으로 봤기 때문에 4만8000달러짜리 장비를 산 케이스예요.

• 왜 RTX 6000 Ada였냐면, 글쓴이의 작업이 큰 학습 한 번보다 추론과 강화학습 실험을 많이 돌리는 쪽이었거든요. 그래서 A100의 FP8 미지원과 느린 추론 성능은 약점이었고, H100은 성능은 좋아도 가격 대비 처리량에서 부담이 컸어요.

• 손익 계산에서 중요한 건 구매가가 아니라 사용률이에요. 이 서버는 전체 평균 76%, 2025년 이후 85%를 찍었기 때문에 클라우드 온디맨드 대비 이득이 났어요. 반대로 실험 대기열이 없거나 개발 시간이 길면 같은 계산이 바로 무너져요.

• 아키텍처 쪽 트레이드오프도 꽤 큽니다. 아파트 전력 제약 때문에 전원 공급과 메인보드 선택이 꼬였고, 그 결과 GPU 간 통신이 느린 구성이 됐어요. 작은 실험 여러 개를 병렬로 돌릴 때는 괜찮지만, 큰 모델을 여러 GPU에 나누는 워크로드에는 불리해요.

• 그래서 최종 교훈은 “개인 GPU 서버가 싸다”가 아니라 “워크로드, 전력, 장애 대응, 보험, 설치 장소까지 맞아야 싸진다”예요. 한국 개발자 입장에서도 회사 밖에서 AI 연구나 사이드 프로젝트를 크게 돌릴 계획이라면, 클라우드 요금표만 보지 말고 실제 사용률부터 계산해야 해요.