TimeGPT-1

• TimeGPT는 추가 학습 없이 여러 도메인의 시계열 데이터를 예측하는 시계열 파운데이션 모델임
• 기존 통계·머신러닝·딥러닝 방식과 비교해, 제로샷 추론에서 성능·효율·단순성을 함께 개선하는 접근을 내세움
• 시계열 예측은 금융, 의료, 기상, 사회과학, 전력 수요, 서버·노동자·기계 용량 계획처럼 미래 의사결정이 필요한 영역의 핵심 기반임
• 기존 시계열 예측 분야는 딥러닝 효과에 대한 실무 합의가 약하고, 언어나 지각 영역만큼 널리 인정받는 범용 사전학습 모델이 부족했음
• 범용 사전학습 모델이 정밀한 예측의 접근성을 높이고, 시간과 계산 복잡도를 줄일 수 있다는 가능성을 제시함

---

TimeGPT가 내세우는 모델 방향

• TimeGPT는 학습 중 보지 못한 다양한 데이터셋에서도 예측을 생성할 수 있는 시계열용 파운데이션 모델임
• 핵심은 여러 도메인과 애플리케이션에 대해 추가 학습 없이 예측을 수행하는 제로샷 추론임
• 사전학습된 범용 모델은 시계열 예측 실무를 더 접근 가능하고 정확하며, 시간 소모와 계산 복잡도를 크게 줄이는 방향으로 바꿀 수 있음

시계열 예측이 쓰이는 영역

• 시계열은 시간순으로 정렬된 데이터이며, 시스템·기업·기관에서 미래 상태를 판단하는 기반 데이터로 활용됨
• 적용 사례는 여러 영역에 걸쳐 있음
  • 경제 사이클과 추세 이해
  • 소비자 소비 패턴 파악
  • 전력 생산과 전력망 관리를 위한 전력 수요 최적화
  • 서버, 노동자, 기계의 용량과 인프라 조정
  • 해양 조수 측정과 Dow Jones 일일 종가 추적
• 금융, 의료, 기상, 사회과학에서는 시간 패턴, 추세, 주기적 변동을 파악하는 일이 미래 값 예측과 의사결정에 중요함

기존 예측 방식의 한계

• 시계열 예측 분야는 언어와 지각 영역의 생성 모델처럼 널리 인정받는 수준의 합의에 도달하지 못함
• 예측 작업에서 딥러닝의 효능을 두고 실무자 평가가 여전히 나뉨
• 기존 예측 연구는 진정한 범용 사전학습 모델이 약속하는 수준을 충분히 충족하지 못한 상태임

평가 결과와 시사점

• TimeGPT는 기존 통계 모델, 머신러닝 모델, 딥러닝 모델과 비교 평가됨
• 평가 결과, 사전학습된 TimeGPT의 제로샷 추론은 성능, 효율, 단순성 측면에서 우수한 것으로 정리됨
• 다른 AI 영역의 발전에서 얻은 통찰을 시계열 분석에도 적용할 수 있다는 근거로 활용됨
• 대규모 시계열 모델은 더 정밀한 예측에 대한 접근성을 높이고, 불확실성을 줄이는 기회가 될 수 있음

[GN⁺]

Hacker News 의견들

• 시계열 예측을 꽤 오래 해봤지만, 이런 시계열 특화 딥러닝 모델의 쓸모를 아직 찾지 못했음
  매우 고차원 데이터에서는, 예를 들어 카드 결제 처리 회사에서 사기 탐지 모델링을 했을 때처럼, 딥러닝이 우세함. 하지만 시간을 다른 특성과 다르게 취급하는 별도 “시계열” 모델을 쓸 이점은 거의 없었음
  최신 성능이라고 주장하는 N-BEATS, N-HiTS, 트랜스포머 이전에 유행했던 거의 모든 RNN 변형을 써봤지만, 지연값을 특성으로 넣은 MLP를 이기지 못했음. 예측 분야의 다른 사람들과 이야기해도 같은 결과를 봤다고 함
  중간 차원 데이터에서는 LightGBM/XGBoost가 압도적으로 좋고, 보통 어떤 딥러닝 모델과 같거나 더 나은 성능을 내면서도 미세조정이 훨씬 적고 계산 시간도 극히 적게 듦
  저차원 데이터에서는 충분한 데이터가 없으므로 사람의 직관으로 구조를 잡아야 해서, 여전히 (V)ARIMA/ETS/요인 모델이 최강임
  그래서 범용적으로 높은 성능을 내는 “시계열” 모델이라는 주장에는 매우 회의적임. 언어 모델과 달리 시계열로 학습해도 세상이 작동하는 근본 구조를 모델이 이해하는 폭은 제한적이라, 일반화 능력도 매우 제한될 수밖에 없음

  • 훌륭한 정리임. 고차원/중간 차원/저차원 데이터를 가르는 대략적인 기준이 있는지 궁금함
    그리고 여러 시점 앞을 예측해야 하는 다단계 예측에서는 XGBoost 같은 모델을 어떻게 쓰는지도 궁금함
  • 이 정리 덕분에 시계열 트랜스포머에 대해 헷갈렸던 부분이 많이 풀림
    MLP에 지연 특성을 넣는 방식은 트랜스포머의 어텐션에서 더 긴 시퀀스 길이를 쓰는 것과 비교해 어떤가? 순전파 신경망에 128개 시점 지연값을 넣어도 좋은 결과가 나오는지 궁금함
  • 전통적인 수치 예측은 트랜스포머나 LLM 같은 최신 접근에서 큰 이득을 얻기 어렵다는 데 동의함
    여러 기계학습 알고리즘을 실험하며 지능형 트레이딩 봇 https://github.com/asavinov/intelligent-trading-bot을 만들 때도 그런 결론에 도달했음
    다만 트랜스포머가 큰 이점을 줄 수 있는 경우도 있음. 수치 예측에 이산 사건 분석을 결합하고 사건 순서가 중요한 경우, 또는 기술적 분석에서 찾는 특정 패턴이 중요한 경우에는 유용할 수 있음. 이런 경우에는 훨씬 더 많은 데이터가 필요함
  • “시계열” 특화 딥러닝 모델의 쓸모를 아직 못 찾았다는 말에 공감함
    GPT 기반 시장 예측을 판다고 차트 분석가들이 몰려나올 건 확실함
  • 기초 모델은 지금까지 “사람의 직관이 필요하다”고 여겨졌던 영역에서도 작동할 수 있음
    충분히 큰 학습 말뭉치를 가진 시계열 모델이라면 계절성, 충격, 이상치 같은 전형적인 특이점을 꽤 잘 다룰 수도 있다고 봄
    지금까지의 상황에 대해서는 전적으로 동의하지만, 여기서 제시된 것 같은 모델을 실무자들이 시험해보는 건 기대됨. 정말 통할 수도 있음

• 아니, 트랜스포머는 만능 해결책이 아님
  트랜스포머가 최첨단 범용 함수 근사기처럼 느껴지더라도, 왜 언어와 비전에서 그렇게 잘 작동하는지 이해해야 함
  트랜스포머는 병렬화가 매우 잘 되고, 정교한 중간 표현을 학습함. 공간상에서 의미 개념들이 깔끔하게 분리되기 시작하고, 구분자 탐지도 자연스럽게 하며, 선·곡선·색·개 귀 같은 요소를 다루는 법도 배움. 마지막 층은 이런 정교한 개념들을 조합해 개/고양이/블로그 같은 고수준 개념을 학습함
  하지만 트랜스포머, 더 넓게는 딥러닝 방법 전반은 시계열 데이터에서 아직 새로운 중간 표현을 뽑아내지 못했기 때문에 잘 작동하지 않음
  겉으로만 봐도 “토큰 창”을 어떻게 다뤄야 하는가? 가장 단순하게 말하면 시계열 모델링은 세상에 대한 특정 관측을 조건으로, 서로 매우 다른 생명주기의 반복 패턴을 식별하는 일임. 애초에 문제를 다루려면 모델이 년·일·초 단위를 동시에 자연스럽게 추론할 수 있어야 함. 우습게도 지난주 MIT의 스트리밍 LLM 논문이 여기에는 도움이 될지도 모름
  둘째, 개선 폭이 좋아야 미미해 보임. 거대한 아키텍처 변경을 제안하면서 관측 가능성과 설명 가능성을 없앤다면, 정말 압도적인 결과가 있어야 함
  사실 시계열 예측에서 획기적인 기법을 찾은 사람이 있다면, 시장에서 첫 10억 달러를 벌기 전에 남에게 말하는 건 바보 같은 짓임. 10억 달러에서 멈추는 것도 바보 같다고 봄. 시계열 예측은 풀 수 있다면 금전적으로 가장 큰 보상을 주는 문제임. 논문으로 공개됐다면, 그 자체로 실망스러울 거라고 예상함

  • 시계열 예측의 획기적 기법은 사실 아주 간단함
    입력 테이프가 가능한 모든 수집 데이터와 관심 시계열을 이어 붙인 것으로 구성된 모든 단조 범용 튜링 기계를 순회하면 됨. 너무 오래 걸리는 프로그램은 건너뛰고, 입력 시퀀스를 재현하는 나머지 프로그램만 남긴 뒤, 다음 출력 비트에 대한 확률분포를 프로그램 크기의 2^-가중치로 만들면 됨
    뭐가 그렇게 어렵다는 건가?
  • 시계열 예측에서 획기적인 기법을 찾았다면, 시장에서 첫 10억 달러를 벌기 전에 공개하지 않을 거라는 말은 맞음
    고빈도매매 업계에서는 이미 시장 데이터에 딥러닝을 꽤 오래 성공적으로 적용해왔음. 패킷 캡처와 틱부터 캔들까지 전부 다룸
    50명의 퀀트/소프트웨어 엔지니어/트레이더 팀이 연 10억 달러 이상의 이익을 내는 방법을 왜 공개하겠는가?
  • 시계열 예측은 항상 자기 시계열 분포의 구체적인 특성을 활용하는 일임
    표준적인 시계열 예측에서 그 특성은 대개 “주기적 패턴은 이어진다”거나 “성장 패턴은 이어진다” 같은 것임
    언어 데이터로 학습된 트랜스포머는 본질적으로, 이어질 내용에 영향을 주는 복잡한 특성이 매우 다양하게 등장하는 시계열 예측을 학습하는 셈임. 언어 데이터는 너무 복잡하고 다양해서 텍스트를 이어 쓰려면 문맥 내 학습이 필요함. 어떤 종류의 기호 문자열에서도 공통 특성을 찾아내고 이를 이용해 이어 쓰는 능력임
    언어 데이터 안에는 주가나 날씨 기록 같은 다양한 데이터가 담긴 거대한 엑셀 표도 들어갈 수 있음. 그래서 문맥 내 학습이 매우 강력해져, 제로샷 시계열 이어 쓰기까지 할 수 있다는 건 그럴듯함
    더 나아가 언어 데이터와 트랜스포머 아키텍처는 문맥 내 학습 덕분에 진짜 일반 지능 같은 행동을 얻을 잠재력이 있다고 봄. 일반 패턴 인식임. 언어 데이터는 충분히 복잡해서 확률적 경사 하강법이 일반 패턴 인식과 이어 쓰기로 이어질 수밖에 없음
    우리는 아직 초입에 있고, 지금은 문맥 내 학습을 망가뜨리는 미세조정에 집중하고 있음. 하지만 곧 모든 양식, 찾을 수 있는 모든 기호 문자열로 거대 트랜스포머를 학습하게 될 것임
  • 시장은 예측할 수 없음. 할 수 있는 건 “굉장한 AI”를 내세워 호구들을 끌어들이고, 그들의 손실에는 노출되지 않은 채 이익 일부를 가져가는 것뿐임
  • 언어와 비전에서 트랜스포머가 왜 잘 작동하는지 이해해야 한다는 말에는 전체적으로 동의함
    다만 영상은 결국 층이 쌓인 비전처럼 보임. 프레임들의 비전도 비전과 비슷하게 작동할 수 없는 이유가 뭘까? 현재 답은 작동하지 않는다는 것이지만, 신경망이 못 하는 건지 아니면 아직 올바른 모델링 방식을 찾지 못한 건지 궁금함

• “Prophet [Taylor and Letham, 2018]과 ARIMA 같은 인기 모델은 계산 요구량이 과도하고 학습 시간이 길어 분석에서 제외했다”는 대목이 이해되지 않음
  시계열 예측을 많이 해본 사람이 더 자세히 설명해줄 수 있는지 궁금함
  ARIMA는 간단한 일에 써본 적이 있음. 왜 트랜스포머 모델보다 학습과 실행 비용이 더 비싼지 모르겠고, 설령 사실이라도 ARIMA는 워낙 널리 쓰이므로 자원과 시간을 비교하면 유익했을 것임
  그렇지 않으면 영업용 문구처럼 들리고, “내가 전문가다, abc xyz 업계 약어”식 마케팅을 위해 난해한 약어를 던지는 것처럼 보임

  • 우리는 ARIMA를 좋아함. 그래서 Python에서 빠르고 확장 가능한 Arima와 AutoArima를 만드는 데 많은 노력을 들였음 https://nixtla.github.io/statsforecast/docs/models/arima.htm...
    타당한 우려에 답하자면 계산 비용이 높은 이유는 여러 가지임. 첫째, ARIMA와 다른 “통계적” 방법은 지역 모델이라 각 시계열마다 서로 다른 모델을 하나씩 학습해야 함. 반면 기계학습과 딥러닝 모델은 전역 모델이라 모든 시계열에 대해 “하나의” 모델을 씀
    둘째, ARIMA는 이번 실험처럼 다양한 시계열 집합에서는 보통 성능이 좋지 않음. AutoARIMA가 더 나은 선택지지만, 시계열의 개수와 길이를 고려하면 학습 시간이 훨씬 길어짐. 또한 AutoARIMA는 긴 시계열에서 매우 느려지는 경향이 있음
    요약하면 벤치마크에 사용한 50만 개 시계열에 ARIMA를 적용하면 말 그대로 몇 주가 걸리고 비용도 매우 컸을 것임
    그래서 Theta와 CES처럼 성능이 좋은 여러 지역 “통계적” 모델을 포함했음. 모든 기준선에는 StatsForecast, MLForecast, Neuralforecast를 포함한 우리의 오픈소스 생태계 구현을 사용했음. 더 작은 부분집합에서 재현 가능한 실험 세트를 곧 공개할 예정임
  • 나도 바로 ARIMA와 비교를 찾았고, 없어서 실망했음
    1970년대 예측 기법을 “학습 시간이 길다”는 이유로 제외한다면 이 논문을 진지하게 받아들이기 어려움
  • 나도 놀랐음
    ARIMA를 제외할 핑계는 몇 가지 찾을 수 있음. 실제로 제대로 작동하게 하려면 시계열에 대한 중요한 사전 정보, 예를 들어 주기성이나 전환점 보정 같은 것을 넣어야 하기 때문임
    하지만 “과도한 계산량과 긴 학습 시간”은 적용되지 않는 말임
    그 부분은 좀 허세처럼 보이지만, 논문의 나머지, 특히 제로샷 능력은 확인된다면 매우 흥미로움. “문의하세요”식 API보다 더 접근 가능해져서 직접 ARIMA 등과 비교해볼 수 있기를 기대함
  • Prophet과 ARIMA를 제외하면 진지하게 보기 어려움. 둘 다 엄청나게 널리 쓰임
  • 시계열 예측을 직업적으로 해왔음. ARIMA는 학습과 추론 모두에서 계산 비용이 가장 낮은 예측 모델 중 하나임
    여러 결함과 한계가 있지만, 계산 효율성은 문제가 아님

• 이 논문은 내용이 극도로 빈약함. 중요한 것에 대한 정보가 사실상 거의 없고, 아키텍처와 데이터에 대해 손짓만 할 뿐임
  대신 MAE 공식이나 학습과 추론 개념을 그린 도표 같은 데 지면을 씀. 곳곳이 위험 신호임

  • “접근 권한을 요청하려면 nixtla.io를 방문하라”는 문구를 보면, 이건 Arxiv에 올린 광고임

• Nixtla의 Max임. 이렇게 많은 관심을 받을 줄은 몰랐고, 긍정적 반응과 비판적 반응 모두 기쁘게 보고 있음
  몇 가지 중요한 점을 분명히 하고 싶음
  이 논문 첫 버전의 주된 목표는 TimeGPT-1을 소개하고, 대규모 실험의 예비 결과를 보여주면서 시계열에서도 이 규모의 전이 학습이 실제로 가능하다는 점을 보이는 것임. 논문에서 언급했듯이, 사전학습 모델은 많은 애플리케이션에서 계산 자원 측면으로 매우 비용 효율적인 해법이 될 수 있다고 깊이 믿고 있음. 또한 이 버전은 사전출판본임. 데이터 일부에 대해 재현 가능한 실험 세트를 공개하려고 작업 중이니 기다려주면 좋겠음
  Nixtla의 이전 작업은 모두 오픈소스였고, TimeGPT는 실무자에게 예측과 이상 탐지를 즉시 제공하는 실행 가능한 상용 제품이 될 수 있다고 봄. 일부 흥미로운 세부사항은 회사 성장에 활용하고, 더 나은 솔루션을 제공하며 생태계를 계속 구축하기 위한 경쟁 우위에 해당해 생략했음
  이 스레드의 다른 사람들이 말했듯, 가능한 한 많은 사람을 무료 체험에 온보딩해 더 많은 독립 실무자가 자신의 사용 사례에서 정확도를 검증할 수 있도록 작업 중임. Prophet 제작자의 초기 인상 https://x.com/seanjtaylor/status/1694745912776749296?s=20과 GluonTS 제작자의 반응 https://www.linkedin.com/posts/tim-januschowski_foundational..., H20 사람들이 진행한 초기 테스트 https://youtu.be/N0gyDVUFPlg?si=xH8oy5cjgLm-o_WD&t=457도 볼 수 있음. 곧 더 많은 독립 벤치마크가 나오길 기대함

• 학계에서 “동료 심사가 중요하다”, “해당 분야 전문가가 아니면 arxiv 사전출판본을 읽지 말라”고 경고할 때 바로 이런 걸 말하는 것임

• “불확실성은 삶의 본질적 측면이며, 인간이 지치지 않고 헤쳐 나가고 이해하려 해온 상수다”라는 문장은 좀 그렇다
  진심으로 뭔가를 하는 건 좋지만, 그럴 거면 적어도 BBC 다큐멘터리보다 더 시적이어야 함

• 관련 있어 보임?
  Inverted Transformers Are Effective for Time Series Forecasting
  https://news.ycombinator.com/item?id=37848321

• 이건 제품 https://www.nixtla.io/을 위한 마케팅 자료처럼 보임

• 틀렸다면 좋겠지만, Seasonal Naive 모델보다 대략 20~30% 좋아 보이는 정도임. 그 정도면 그렇게 유용해 보이지 않음
  제로샷이라는 점은 확실히 인상적이지만, 실제로 그걸로 뭔가 많이 할 수 있을 것 같지는 않음