틱톡이 말하는 AI 실전 운영: 큰 모델보다 최적화가 진짜 승부처

범용 모델은 출발점일 뿐이라는 얘기

• 틱톡은 AI 경쟁의 핵심이 ‘누가 더 큰 모델을 갖고 있냐’가 아니라, 그 모델을 실제 서비스에 맞게 얼마나 잘 최적화하느냐라고 봄

  • 칸찬 사르카르 틱톡 엔지니어링 매니저가 서울 코엑스에서 열린 메타콘 2026에서 밝힌 내용임
  • 발표 주제는 틱톡이 AI 시대의 시장을 어떻게 움직이는가였고, 핵심 메시지는 꽤 현실적이었음

• 연구용 모델과 서비스용 모델은 목표가 다름

  • 연구 모델은 보통 정확도 최대화가 목표지만, 서비스에서는 초당 수천 건의 요청(QPS), 지연시간, 비용, 적대적 공격, 도메인 특화 문제까지 같이 봐야 함
  • 공개 모델이나 범용 모델을 그대로 붙이면 기대한 성능이 안 나오는 경우가 많고, 결국 서비스 환경에 맞춘 최적화가 필요하다는 얘기임

교사 모델과 학생 모델로 비용을 줄이는 방식

• 틱톡은 대형 교사(Teacher) 모델과 경량 학생(Student) 모델 구조를 활용한다고 설명함

  • 교사 모델은 실제 환경을 더 정확하게 이해하지만 느리고 비쌈
  • 학생 모델은 교사 모델이 배운 지식을 넘겨받아 실제 서비스에 투입되는 쪽에 가까움

• 이 구조를 쓰면 운영 비용 차이가 꽤 크게 남

  • 범용 모델을 교사 모델로 활용한 뒤, 특징 증류(Feature Distillation), 소프트 러닝(Soft Learning), 작업별 미세조정(Task-specific Fine-tuning)을 거쳐 학생 모델을 만듦
  • 사르카르에 따르면 학생 모델은 교사 모델 수준에 가까운 성능을 내면서도 실제 서비스에서는 약 10~15배 저렴하게 운영할 수 있음

• 오픈소스 모델이든 폐쇄형 모델이든 그대로는 부족하다는 입장도 분명히 함

  • 산업과 서비스에 맞는 도메인 특화 작업이 필요하고, 파인튜닝, 강화학습, 검색증강생성(RAG) 같은 방식으로 서비스 품질을 맞춰야 한다는 것
  • 텍스트, 음성, 이미지 중 어떤 모달리티를 쓸지도 과제마다 달라짐

sequenceDiagram
    participant 범용모델 as 범용 모델
    participant 교사모델 as 교사 모델
    participant 학생모델 as 학생 모델
    participant 서비스 as 실제 서비스
    participant 사용자 as 사용자 트래픽
    범용모델->>교사모델: 서비스 과제에 맞게 기준 모델 구성
    교사모델->>학생모델: 지식 증류와 작업별 미세조정
    학생모델->>서비스: 저비용 추론 모델로 배포
    사용자->>서비스: 실제 요청 유입
    서비스->>서비스: 지연시간과 비용 측정
    서비스->>학생모델: A/B 테스트 결과로 개선

공개 벤치마크보다 실제 트래픽이 더 중요함

• 틱톡은 인프라 제약도 모델 설계의 일부로 봄

  • 모델 압축(Model Compression), 지식 증류, 하드웨어 가속(Hardware Acceleration)을 함께 고려해야 함
  • GPU 비용, 지연시간, 처리량을 무시한 모델은 서비스에 올리기 어렵다는 현실론임

• 특히 공개 데이터셋 점수만 믿으면 위험하다고 봄

  • 사르카르는 “온라인 테스트만이 유일한 검증 방법”이라고까지 말함
  • 공개 데이터셋에서 좋아 보여도 실제 사용자 행동, 도메인 데이터, 공격 패턴이 들어오면 결과가 달라질 수 있어서 A/B 테스트가 필수라는 것

아직 남은 숙제도 많음

• 틱톡은 앞으로 AI 서비스가 풀어야 할 과제로 여섯 가지를 제시함

  • 지속 학습(Continual Learning): 사용자 행동과 서비스 환경이 계속 변하니 모델도 계속 업데이트돼야 함
  • 장문 맥락 이해(Long Context Vision): 긴 영상이나 장문 문서를 제대로 처리해야 함
  • 논리적 추론(Logical Reasoning): 환각과 부정확한 판단을 줄여야 함
  • 에이전트 AI 확장성: 여러 에이전트가 협업하는 시스템을 안정적으로 굴려야 함
  • 설계 단계부터 규제 준수(Compliance by Design): 국가별 AI 규제에 대응해야 함
  • 멀티모달 추론(Multimodal Reasoning): 공간과 시간 정보까지 함께 이해해야 함

• 결국 틱톡의 메시지는 ‘AI 모델 도입’보다 ‘AI 운영 체계’가 중요하다는 쪽에 가까움

  • 모델 선택, 경량화, 배포, 모니터링, 온라인 검증, 규제 대응까지 이어지는 전체 파이프라인이 경쟁력이라는 얘기임
  • 대규모 서비스를 운영하는 팀이라면 꽤 뼈아프게 들릴 만한 포인트임

기술 맥락

• 틱톡이 교사 모델과 학생 모델을 나눠 쓰는 이유는 대형 모델을 그대로 서비스에 올리면 비용과 지연시간이 너무 커지기 때문이에요. 특히 틱톡처럼 요청량이 큰 서비스에서는 모델 정확도만 좋아서는 부족하고, 초당 요청 수와 응답 시간을 같이 맞춰야 하거든요.

• 지식 증류는 여기서 현실적인 타협점이에요. 교사 모델이 더 풍부한 판단을 만들고, 학생 모델은 그 판단 방식을 배워서 훨씬 싼 비용으로 비슷한 결과를 내는 구조예요. 발표에서 나온 10~15배 비용 절감도 이 맥락에서 나온 수치예요.

• 양자화와 모델 압축도 같은 방향의 선택이에요. 모델을 작게 만들면 GPU 메모리를 덜 쓰고 추론 속도도 빨라지지만, 정확도가 떨어질 수 있어서 실제 트래픽으로 검증해야 해요. 그래서 공개 벤치마크보다 A/B 테스트가 더 중요하다는 말이 나오는 거예요.

• RAG나 파인튜닝을 같이 언급한 것도 범용 모델이 서비스 도메인의 맥락을 자동으로 이해하지 못하기 때문이에요. 쇼트폼 영상, 광고, 추천, 안전성 같은 문제는 데이터와 사용자 행동이 특수해서 서비스별 보정이 필요해요.