Google TimesFM 2.5 — 200M 파라미터로 16K 컨텍스트 시계열 예측

• Google Research가 시계열 예측 파운데이션 모델 TimesFM 2.5를 공개함
  • 200M 파라미터 — 이전 버전(2.0)의 500M에서 60% 줄였는데 성능은 올라감
  • 컨텍스트 길이 16,384로 확장 (2.0은 2,048) — 8배 늘어난 입력 윈도우
  • 최대 1,000 스텝 호리즌까지 연속 분위수 예측(quantile forecast) 지원 (별도 30M 헤드)
• ICML 2024 논문 기반의 디코더 전용(decoder-only) 아키텍처
  • LLM과 동일한 디코더 전용 구조를 시계열에 적용한 게 특징
  • 기존 버전에 있던 주파수 표시기(frequency indicator)를 제거함 — 모델이 알아서 주기성을 학습
• 실무 통합이 잘 돼 있음
  • BigQuery에서 공식 Google 프로덕트로 바로 사용 가능
  • Hugging Face에 모든 체크포인트 공개, pip install로 바로 설치
  • PyTorch와 Flax(JAX) 백엔드 모두 지원, uv로 환경 구성

• 2026년 3월 업데이트로 공변량(covariate) 지원이 XReg를 통해 복귀
  • 외부 변수를 함께 넣어서 예측 정확도를 높일 수 있음
  • Flax 버전 추론 가속화도 예고됨

---

기술 맥락

• 시계열 파운데이션 모델이라는 개념 자체가 비교적 새로운 접근이에요. 기존에는 ARIMA, Prophet 같은 통계 모델이나 태스크별로 학습한 딥러닝 모델을 썼는데, TimesFM은 LLM처럼 대규모 사전학습 후 제로샷(zero-shot)으로 다양한 시계열에 적용하는 방식이거든요
• 디코더 전용 구조를 시계열에 쓴 건 GPT가 텍스트를 "다음 토큰 예측"으로 푸는 것과 같은 발상이에요. 과거 시계열 값들을 보고 미래 값을 자기회귀적으로 예측하는 구조라서, 트랜스포머의 인과적 어텐션(causal attention)이 자연스럽게 맞아떨어지거든요
• 파라미터를 500M에서 200M으로 줄이면서 컨텍스트를 8배 늘린 건 트레이드오프가 아니라 아키텍처 개선의 결과예요. 더 효율적인 어텐션 메커니즘이나 양자화 기법을 적용했을 가능성이 높고, 실무에서는 추론 비용 절감과 더 긴 이력 활용이라는 두 가지 이점을 동시에 얻게 돼요
• BigQuery 통합이 의미 있는 이유는, 시계열 예측이 필요한 실무 시나리오(수요 예측, 이상 탐지 등)에서 데이터가 이미 BigQuery에 있는 경우가 많기 때문이에요. 모델을 따로 서빙할 필요 없이 SQL 한 줄로 예측을 돌릴 수 있다는 거죠