이노그리드, EBS AI 펭톡 클라우드 운영 맡는다…AI 서비스 경쟁이 이제 운영력 싸움으로 감

• 이노그리드가 EBS ‘AI 펭톡’ 클라우드 운영을 맡게 됨

  • EBS가 발주한 47억 원 규모 ‘AI 기반 영어 말하기 학습지원 서비스 운영사업’에서 클라우드 인프라 운영·관리 부문 사업자로 선정됨
  • 운영 기간은 내년 12월까지 약 21개월임
  • 대상은 AI 펭톡을 포함한 AI 학습지원 서비스를 민간 클라우드 환경에서 안정적으로 굴리는 프로젝트임

• AI 펭톡은 초등학생 대상 영어 말하기 학습 서비스라 트래픽 패턴이 꽤 까다로움

  • 발음 진단과 피드백을 제공하는 공교육 대표 AI 서비스임
  • 학교 수업 시간과 방과 후 학습 시간에 사용자가 몰리는 특성이 있음
  • 그러니까 평소엔 조용하다가 특정 시간대에 확 튀는 부하를 감당해야 하는 서비스인 셈임

• 이노그리드는 실시간 모니터링, 부하 분산, 오토스케일링을 적용할 계획임

  • 트래픽이 급증하면 필요한 자원을 자동으로 확장함
  • 이용량 변화에 따라 자원을 조정해서 안정성과 비용 효율을 같이 잡겠다는 방향임
  • 공공·교육 서비스는 장애가 나면 바로 민원이 되는 영역이라, 이런 운영 자동화가 그냥 부가 기능이 아니라 핵심임

• 단순 관제보다 ‘통합 관리 체계’에 더 무게를 두고 있음

  • 이노그리드는 지능형 멀티 클라우드 관리 플랫폼을 기반으로 클라우드 자원 현황을 통합 모니터링한다고 밝힘
  • 자원, 워크로드, 운영 상태를 한 체계에서 관리해 서비스 연속성과 운영 효율성을 높이겠다는 목표임
  • AI 서비스가 많아질수록 운영팀 입장에선 모델별·서비스별·클라우드별로 흩어진 자원을 한눈에 보는 게 꽤 중요해짐

• 이노그리드의 올해 전략인 ‘xPU에서 AI 플랫폼으로’와도 맞물려 있음

  • 회사는 GPU, NPU, CPU 같은 다양한 연산 자원과 AI 서비스를 단일 제어 체계로 연결하는 기술을 고도화 중임
  • 이번 EBS 사업은 그 방향성을 공교육 AI 서비스 운영 환경에서 검증하는 사례로 볼 수 있음
  • 생성형 AI와 AI 에이전트가 퍼질수록, 모델 자체보다 운영 플랫폼이 병목이 되는 장면이 더 자주 나올 가능성이 큼

• 국내 개발자 입장에서도 꽤 현실적인 뉴스임

  • AI 서비스를 PoC에서 프로덕션으로 넘길 때 제일 자주 터지는 게 트래픽 급증, 비용 폭주, 리소스 관리 문제임
  • 특히 공공·교육처럼 사용자가 많고 시간대가 뚜렷한 서비스는 오토스케일링과 부하 분산 설계가 서비스 품질을 바로 좌우함
  • 결국 AI 서비스 경쟁력은 모델 정확도만이 아니라, 그 모델을 얼마나 안정적이고 싸게 굴리느냐까지 포함하게 됨

---

기술 맥락

• AI 펭톡 같은 서비스에서 오토스케일링이 중요한 이유는 트래픽이 균일하지 않기 때문이에요. 학교 수업 시간이나 방과 후 학습 시간에 사용자가 몰리면, 평소 기준으로 잡아둔 인프라로는 병목이 생기기 쉬워요.

• 이노그리드가 맡은 일은 모델 개발이 아니라 운영이에요. 그런데 AI 서비스에서는 운영이 가볍지 않아요. 발음 진단이나 피드백처럼 요청마다 연산이 들어가는 기능은 자원 사용량이 크고, 응답 지연이 생기면 학습 경험이 바로 망가지거든요.

• 멀티 클라우드 관리 플랫폼을 내세우는 것도 그래서예요. 자원, 워크로드, 운영 상태가 따로 놀면 장애 원인 파악도 늦고 비용 통제도 어려워져요. 한 체계에서 모니터링하고 조정해야 서비스 연속성을 유지하기 쉬워요.

• xPU 전략은 AI 인프라가 GPU 하나로 끝나지 않는다는 전제에서 나와요. CPU, GPU, NPU를 서비스 특성에 맞게 조합하고 제어해야 비용과 성능을 맞출 수 있어요. 이번 사업은 그 운영 모델을 공교육 서비스에서 시험하는 케이스에 가까워요.