아마존 CTO “기업들, AI 비용 때문에 더 싼 오픈소스 모델로 이동 중”

AI 도입의 다음 병목은 성능이 아니라 비용임

• 아마존 CTO 베르너 보겔스가 기업들의 AI 모델 선택 흐름이 바뀌고 있다고 말함

  • 유엔 ‘AI 포 굿’ 정상회의 인터뷰에서 “더 저렴한 오픈소스 모델과 더 크고 비싼 모델 사이에서 변화가 일어나고 있다”고 언급함
  • 한마디로, 무조건 최고급 프런티어 모델을 붙이는 단계에서 비용 대비 효과를 따지는 단계로 넘어가는 중임

• 기업들이 겁먹는 이유는 토큰 비용이 진짜로 폭주할 수 있기 때문임

  • 토큰은 AI 모델이 처리하는 데이터 단위이고, 영어 기준 약 1.5단어 정도로 설명됨
  • 우버는 2026년 AI 예산 전체를 4개월 만에 소진했다고 밝힘
  • 한 기업은 직원들의 AI 사용량에 상한을 두지 못해 한 달 만에 5억 달러를 쓴 것으로 알려짐. 이건 그냥 예산 사고 수준임

• 그래서 기업들이 프런티어 모델을 어디에 쓸지 다시 나누기 시작함

  • 오픈AI, 앤스로픽, 구글 딥마인드의 대형 모델은 대체로 최고 수준 성능을 제공함
  • 대신 대규모 배포에서는 운영비가 훨씬 비싸짐
  • 오픈소스 또는 오픈웨이트 모델은 보통 무료로 내려받을 수 있지만, 실행에 필요한 클라우드 컴퓨팅 비용은 사용자가 직접 부담해야 함
  • 그래도 많은 경우 독점 프런티어 모델을 계속 호출하는 것보다 싸게 먹힘

• 보겔스는 비용을 아키텍처의 핵심 요소로 봐야 한다고 못 박음

  • “비용은 아키텍처에서 매우 중요한 부분이며 반드시 고려해야 한다”고 말함
  • 이제 AI 시스템 설계는 모델 정확도만 보는 게 아니라, 호출량·응답 길이·캐싱·모델 라우팅·인프라 비용까지 같이 봐야 함

투명성과 신뢰도 같이 중요해지는 중

• 비용 때문에 오픈소스 모델로 이동하는 흐름과 별개로, 기업들은 모델의 투명성도 더 강하게 요구하고 있음

  • 보겔스는 “사람들은 어떤 데이터가 들어갔는지 알고 싶어 한다”고 말함
  • 특히 의료, 정부, 인도주의 활동처럼 취약한 공동체를 지원하는 영역에서는 성능만큼 신뢰가 중요함

• 오픈소스 모델이 이 지점에서 더 매력적으로 보일 수 있음

  • 개발자가 코드를 들여다보고 수정할 수 있음
  • 자체 데이터로 미세조정하기도 상대적으로 쉬움
  • 다만 대부분의 오픈웨이트 모델 제공사도 최초 학습 데이터 전체를 완전히 공개하지는 않음. “오픈”이라고 해서 모든 게 투명한 건 아님

아마존은 과학 데이터 검색용 오픈소스 AI 도구도 공개함

• 보겔스는 연구자들이 과학 데이터셋을 더 빨리 찾도록 돕는 아마존 오픈소스 AI 도구도 공개함

  • 이 시스템은 AWS 오픈데이터 레지스트리에 등록된 1100개 이상 데이터셋을 AI 어시스턴트와 연결함
  • NASA, NOAA, NIH 같은 기관의 데이터셋이 포함됨

• 사용자는 복잡한 데이터 카탈로그를 직접 뒤지지 않고 자연어로 검색할 수 있음

  • 예를 들어 특정 라이선스 조건을 가진 위성 이미지나 유전체 데이터셋을 요청하는 식임
  • 기존에는 수시간 걸릴 수 있던 탐색 작업을 줄이는 게 목표임
  • 자원이 부족한 기관의 과학자들에게는 기후과학, 공중보건 같은 분야에서 진입 장벽을 낮추는 효과가 있을 수 있음

---

기술 맥락

• 이 기사에서 제일 중요한 선택은 “모든 요청을 최고급 프런티어 모델로 보내지 않는다”는 거예요. 모델 성능이 좋을수록 비용도 커지기 때문에, 업무별로 필요한 성능 수준을 나눠야 하거든요. 간단한 분류나 요약까지 비싼 모델에 태우면 예산이 먼저 터져요.

• 오픈소스·오픈웨이트 모델은 무료처럼 보이지만 실제로는 인프라 비용이 따라와요. 그래도 호출량이 크고 사용 패턴이 안정적이면 직접 운영하는 쪽이 더 싸질 수 있어요. 그래서 기업 입장에서는 모델 가격표뿐 아니라 GPU, 운영 인력, 지연시간, 장애 대응까지 같이 계산해야 해요.

• 투명성이 같이 언급된 것도 중요해요. 의료나 정부 같은 분야에서는 답이 맞는지만큼 “왜 그런 답이 나왔는지”, “어떤 데이터로 학습됐는지”가 중요하거든요. 오픈웨이트 모델은 통제권을 늘려주지만, 학습 데이터가 완전히 공개되지 않는 경우도 많아서 별도 검증이 필요해요.

• 아마존의 데이터셋 검색 도구는 검색 증강 생성(RAG) 계열 문제에 가까워요. 모델이 모든 과학 데이터를 외우는 게 아니라, 공개 데이터 카탈로그에서 조건에 맞는 데이터셋을 찾아주는 방식이거든요. 그래서 비용 효율과 신뢰성을 동시에 챙기려는 흐름과도 이어져요.