- 구글 리서치에서 개발한 시계열 예측용 파운데이션 모델
- 1,000억 개의 실제 시계열 데이터 포인트로 사전 학습
- 다양한 공개 벤치마크에서 뛰어난 제로 샷 성능을 보임
- 도메인과 시간 단위가 다양한 데이터셋에 적용 가능함
- 시계열 예측은 소매, 금융, 제조, 의료, 자연과학 등 다양한 분야에서 널리 활용됨
- 예를 들어, 소매 분야에서 수요 예측 정확도 향상은 재고 비용 절감과 수익 증대에 기여함
- 딥러닝 모델의 부상
- 다양한 설정에서 우수한 성능을 입증한 딥러닝 모델이 시계열 예측에 널리 사용됨
- M5 경진대회에서도 딥러닝 모델이 좋은 성적을 거둠
- 대규모 언어 모델의 발전
- 번역, 검색 기반 생성, 코드 완성 등 자연어 처리 작업에 사용되는 대규모 언어 모델이 빠르게 발전함
- 대량의 텍스트 데이터로 학습하여 언어 패턴을 식별하는 능력을 갖춤
- 검색과 결합하여 현재 이벤트에 대한 질문에 답하고 요약할 수 있는 강력한 제로샷 도구로 활용됨
- 딥러닝 기반 예측 모델의 한계
- 전통적인 방법보다 우수한 성능을 보이지만, 학습과 추론 비용 감소에 어려움이 있음
- 새로운 시계열 데이터에 대해 모델을 테스트하기 전에 긴 학습 및 검증 주기가 필요함
- TimesFM은 시계열 예측을 위한 디코더 전용 파운데이션 모델
- 1,000억 개의 실제 시계열 데이터로 사전 학습된 단일 예측 모델
- 최신 대규모 언어 모델보다 훨씬 작은 200만 개의 파라미터를 가짐
- 다양한 도메인과 시간 단위의 데이터셋에 대해 제로샷으로 최첨단 지도 학습 접근 방식에 근접한 성능을 보임
- 추가 학습 없이 기존에 보지 못한 시계열 데이터에 대해 즉시 적절한 예측을 제공함
- 사용자가 소매 수요 계획과 같은 실제 다운스트림 작업에 대한 예측을 개선하는 데 집중할 수 있게 해줌
- 논문: "A decoder-only foundation model for time-series forecasting", ICML 2024에 발표 예정
GN⁺의 의견
- 유망해 보이는 새로운 시계열 예측 모델이지만, 아직 다양한 실제 사용 사례에 대한 검증이 필요해 보임. 특히 확률적 예측을 아직 지원하지 않는 것은 실용성 측면에서 아쉬움
- 입력으로 제공하는 주파수 값이 실제 시계열 데이터의 주파수를 반영하지 않고 임의로 조정 가능하다는 점이 흥미로우나, 어떤 값이 최적일지는 각 데이터와 사용 사례에 맞게 실험해봐야 할 것 같음
- 공개된 첫 번째 체크포인트가 단변량에 초점을 맞추고 있어, 다변량 예측이 가능한 버전도 기대됨. 다변량 시계열 예측 벤치마크 데이터셋에서의 성능 비교도 필요할 것으로 보임
- 이 모델 도입 시에는 예측 대상 시계열의 속성(길이, 분포, 계절성, 주파수 등)과 요구되는 예측 호라이즌에 맞게 모델을 선택하고 튜닝할 수 있는 전문 인력이 필요할 것. end-to-end 추론 API 제공으로 활용이 쉬워 보이나, 블랙박스 모델의 한계도 고려해야 함
- 유사한 다른 시계열 예측 라이브러리로는 Meta의 Kats, GluonTS, Darts, sktime 등이 있음. 각 라이브러리의 특징과 장단점을 비교 검토 후 실제 데이터에 가장 적합한 모델을 선택하는 것이 바람직함