xLSTMTime: Long-term Time Series Forecasting With xLSTM
- 최근 몇 년간, 변환기 기반 모델은 다변량 장기 시계열 예측(LTSF)에서 두드러진 성과를 보였음. 그러나 높은 계산 요구, 시간적 역학 포착의 어려움, 장기 종속성 관리 등의 문제에 직면해 있음
- 단순한 선형 구조를 가진 LTSF-Linear의 등장으로 변환기 기반 모델을 능가하는 성과를 보였으며, 이는 시계열 예측에서 변환기의 유용성을 재평가하게 만듦
- 이에 대응하여, 이 논문은 최근의 아키텍처인 확장 LSTM(xLSTM)을 LTSF에 적용한 결과를 제시함. xLSTM은 지수 게이팅과 더 높은 용량의 수정된 메모리 구조를 포함하여 LTSF에 적합한 잠재력을 가짐
- 우리가 채택한 LTSF 아키텍처인 xLSTMTime은 현재 접근 방식을 능가함. 여러 실제 데이터셋에서 다양한 최신 모델과 xLSTMTime의 성능을 비교한 결과, 우수한 예측 능력을 입증함
- 우리의 연구 결과는 정제된 순환 아키텍처가 LTSF 작업에서 변환기 기반 모델에 대한 경쟁력 있는 대안을 제공할 수 있으며, 시계열 예측의 지형을 재정의할 가능성을 시사함
GN⁺의 정리
- 이 논문은 변환기 기반 모델의 한계를 극복하고자 xLSTM을 도입하여 장기 시계열 예측에서 우수한 성능을 보임
- xLSTMTime은 지수 게이팅과 수정된 메모리 구조를 통해 기존 모델을 능가하는 예측 능력을 입증함
- 이 연구는 시계열 예측에서 순환 아키텍처의 가능성을 재조명하며, 변환기 기반 모델에 대한 새로운 대안을 제시함
- 유사한 기능을 가진 프로젝트로는 Facebook의 Prophet, Amazon의 DeepAR 등이 있음