그록, 6억5천만 달러 조달하고 ‘AI 추론 클라우드’ 운영사로 피벗

AI 인프라의 전장이 학습에서 추론으로 이동 중

• 그록은 AI 시장의 무게중심이 학습(training)에서 추론(inference)으로 빠르게 옮겨가고 있다고 봄

  • 모델을 만드는 학습보다, 이미 만들어진 모델을 실제 서비스에서 계속 돌리는 추론이 훨씬 큰 시장이라는 판단임
  • 업계에서는 추론이 학습보다 15~20배 많은 컴퓨팅을 필요로 할 것으로 본다고 기사에서 설명함

• 문제는 지금의 AI 클라우드 대부분이 학습 중심으로 설계됐다는 점임

  • 대규모 학습 클러스터와 실시간 추론 서비스는 요구사항이 다름
  • 추론은 지연 시간, 비용, 토큰 처리량, 지역별 배치 같은 운영 요소가 훨씬 민감함
  • 그래서 ‘추론 전용 클라우드’ 시장에 아직 확실한 1등이 없다는 게 그록의 기회임

그록은 칩 회사에서 추론 클라우드 회사로 방향을 틀었음

• 그록은 2016년 구글의 AI 칩 TPU 개발에 참여한 엔지니어가 세운 회사임

  • 추론에 특화한 전용 칩 LPU(Language Processing Unit)를 선보였음
  • 이를 클라우드로 제공하는 그록클라우드(GroqCloud)를 운영해왔음

• 현재 운영 규모도 꽤 큼

  • 북미, 유럽, 중동, 아시아태평양에 13개 데이터센터를 두고 있음
  • 500만 명이 넘는 개발자에게 매주 수조 개의 토큰을 처리해준다고 밝힘

• 진짜 반전은 엔비디아와의 거래임

  • 기사에 따르면 2025년 12월 엔비디아가 그록의 자산을 약 200억 달러에 사들이고 기술을 비독점으로 라이선스하기로 했음
  • 엔비디아 역사상 최대 규모의 거래였다고 소개됨
  • 엔비디아는 올해 GTC에서 그록의 추론 기술을 담은 차세대 LPX 플랫폼을 공개함

• 이 거래 이후 그록의 정체성은 더 선명해짐

  • 칩 기술을 사실상 엔비디아에 넘긴 뒤, 그록은 엔비디아 LPX까지 활용해 추론 클라우드 운영에 집중하기로 함
  • 하드웨어를 직접 파는 회사라기보다, 추론 인프라를 굴리는 클라우드 사업자로 재정렬한 셈임

6억5천만 달러는 데이터센터 확장에 들어감

• 그록은 신규 성장 자본 6억5천만 달러를 유치했다고 발표함

  • 라운드는 기존 투자자이자 이사회에 참여한 디스럽티브와 인피니텀이 주도함
  • 재투자를 선택한 기존 투자자들도 참여함
  • 이번 라운드의 기업가치는 공개하지 않았음

• 직전 라운드와 비교하면 덩치가 이미 꽤 컸음

  • 지난해 9월에는 7억5천만 달러를 유치했음
  • 당시 기업가치는 69억 달러였음

• 새로 확보한 자금의 용도는 명확함

  • 기존 13개 데이터센터를 그록의 최신 추론 기술과 엔비디아 LPX 시스템으로 채우는 데 투입함
  • 2027년 말까지 용량을 200MW 규모로 키울 계획임

경쟁자도 이미 줄 서 있음

• 추론 전용 클라우드 시장을 노리는 회사는 빠르게 늘고 있음

  • 베이스텐은 요청을 가장 적합한 모델로 라우팅해 추론 비용을 낮추는 플랫폼을 내세움
  • 최근 130억 달러 가치에 15억 달러 조달을 추진 중이라고 기사에서 언급됨

• 서버리스 추론 쪽도 커지고 있음

  • 모달랩스는 서버리스 방식으로 46억5천만 달러 가치에 3억5천5백만 달러를 유치함
  • ARR은 3억 달러를 넘겼다고 함

• 칩 기반 경쟁도 계속됨

  • 세레브라스는 그록처럼 추론 전용 칩을 만드는 회사로 언급됨
  • 상장으로 55억 달러를 조달했고, 상장 첫날 주가가 두 배로 뛰었다고 함
  • AMD 칩을 앞세운 텐서웨이브도 3억5천만 달러 시리즈B로 유니콘이 됨

• 신생 주자도 들어오는 중임

  • 제너럴 컴퓨트는 ‘추론 특화 네오클라우드’를 표방하며 시장에 뛰어들었음
  • 결국 추론 클라우드는 칩, 라우팅, 서버리스, 데이터센터 운영이 한꺼번에 붙는 복합 경쟁장이 되고 있음

---

기술 맥락

• 그록이 추론에 집중하는 이유는 AI 서비스의 비용 구조가 바뀌고 있기 때문이에요. 모델을 한 번 학습시키는 것도 비싸지만, 실제 서비스에서는 사용자 요청이 들어올 때마다 계속 추론 비용이 발생하거든요.

• 학습용 클러스터와 추론용 클라우드는 최적화 포인트가 달라요. 학습은 대규모 배치 처리와 긴 실행 시간이 중요하지만, 추론은 지연 시간, 토큰 처리량, 요청 라우팅, 지역별 응답성이 더 중요해요.

• 그록이 칩 기술을 엔비디아에 넘기고 클라우드 운영으로 방향을 튼 것도 이 맥락이에요. 자체 칩만으로 시장을 키우기보다, 엔비디아 LPX 같은 더 넓은 공급망을 활용해 데이터센터 용량과 서비스 운영에 집중하는 쪽이 확장성이 크다고 본 거예요.

• 2027년 말 200MW 목표는 기술 선택이 전력과 인프라 선택으로 이어진다는 뜻이에요. 추론 클라우드는 API만 잘 만든다고 되는 게 아니라, 데이터센터 전력, 가속기 배치, 네트워크, 비용 제어가 같이 맞아야 해요.

• 경쟁사들이 라우팅, 서버리스, 전용 칩, 네오클라우드처럼 서로 다른 각도에서 들어오는 것도 자연스러워요. 추론 비용을 낮추는 방법이 하나가 아니라, 모델 선택부터 하드웨어 효율, 배포 방식까지 여러 층에 걸쳐 있기 때문이에요.