Silurian (YC S24) 출시 – 지구 시뮬레이션 기술

• Silurian은 지구 시뮬레이션용 파운데이션 모델을 만들고 있으며, 첫 적용 분야로 하루라도 빠른 예측 가치가 큰 날씨 예보를 선택함
• 기존 날씨 예측은 대략 10년마다 1일씩 개선돼 왔지만, 최근 GPU와 현대 딥러닝이 그 속도를 끌어올림
• 2022년 이후 NVIDIA, Google DeepMind, Huawei, Microsoft 등에서 딥러닝 기반 날씨 예측 연구가 활발해졌고, 데이터 기반 모델이 전통적 대기 물리 시뮬레이션보다 나은 결과를 낼 수 있음
• Microsoft의 ClimaX와 Aurora 경험을 바탕으로 만든 GFT(Generative Forecasting Transformer) 는 최대 14일 전 세계 날씨를 약 11km 해상도로 시뮬레이션함
• 장기 목표는 에너지 그리드, 농업, 물류, 국방처럼 날씨 영향을 받는 인프라까지 모델링하는 것이며, 현재는 2024년 허리케인 경로 예측을 공개 중임

---

지구 시뮬레이션을 날씨 예측에서 시작

• Silurian은 Jayesh, Cris, Nikhil이 만든 팀으로, 지구 시뮬레이션용 파운데이션 모델을 개발함
• 첫 적용 대상은 날씨 예측이며, 최근 허리케인 예측 결과는 hurricanes2024.silurian.ai에서 볼 수 있음
• 목표는 모델을 확장해 물리적으로 예측 가능한 한계까지 밀어붙이는 것임
• 장기적으로는 날씨 영향을 받는 인프라까지 모델링하려 함
  • 에너지 그리드
  • 농업
  • 물류
  • 국방

딥러닝 예보와 GFT의 현재 성능

• 전통적 예측 시스템은 10년마다 1일 정도 성능이 개선돼 왔으며, 오늘의 6일 예보가 10년 전 5일 예보만큼 정확해지는 식의 속도였음
• 2022년 이후 NVIDIA, Google DeepMind, Huawei, Microsoft 등에서 날씨 딥러닝 시스템 연구가 빠르게 늘어남
• 이 모델들은 내장된 물리 법칙이 거의 없거나 전혀 없고, 데이터만으로 예측을 학습함
• Jayesh와 Cris는 Microsoft에서 각각 ClimaX와 Aurora 프로젝트를 이끌며 이 기술의 잠재력을 직접 경험함
  • 해당 파운데이션 모델들은 날씨 예측의 표준으로 여겨지는 ECMWF 예측보다 개선된 결과를 냄
  • 사용한 학습 데이터는 가용 데이터의 일부에 불과했음
• Silurian은 이번 여름 자체 파운데이션 모델 GFT(Generative Forecasting Transformer) 를 구축함
  • 15억 개 파라미터를 가진 프런티어 모델임
  • 전 세계 날씨를 최대 14일 앞까지 시뮬레이션함
  • 해상도는 약 11km임
• 과거 기록에는 극한 기상 데이터가 적지만, GFT는 2024년 허리케인 경로 예측에서 매우 좋은 성능을 보인 상태임
• 허리케인 예측은 hurricanes2024.silurian.ai에서 직접 확인할 수 있음
• 시각화에는 오픈소스 날씨 시각화 도구 cambecc/earth를 사용함

[GN⁺]

Hacker News 의견

• 열대성 저기압의 앙상블 예측을 할 수 있게 되어 기쁨

  • ML 모델과 ECMWF의 HRES 모델을 비교하는 것에 실망
  • HRES는 평균 날씨의 최적 추정이 아닌 가능한 날씨의 단일 실현임
  • NeuralGCM이 WeatherBench 리더보드에서 상위에 있음
  • 모델의 성능을 WeatherBench에서 비교하고 싶음

• 물리학을 내장하지 않은 모델이 데이터만으로 더 나은 예측을 함

  • "언어학자를 해고할 때마다 성능이 올라간다"는 NLP 격언이 물리학자에게도 적용됨

• Silurian이 지구를 시뮬레이션하는 기초 모델을 구축함

  • 성공하면 무엇을 더 시뮬레이션하고 싶은지 궁금함

• ClimaX의 상업적 잠재력에 대해 흥분함

  • 특정 산업이 상업적 잠재력에 대해 연락했는지 궁금함 (예: 천연 자원 탐사)

• 비영리 단체로서 토지에 대한 유사 모델을 구축함

  • 토지 마스크를 토지 임베딩으로 대체하는 데 도움을 주고 싶음
  • 이는 지역 효과를 다운스케일링하는 데 크게 도움이 될 것임

• Google이 작년에 출시한 GraphCast와 비교해 어떻게 다른지 궁금함

• 날씨 모델이 혼란스러움

  • ML 방법이 물리 기반 시뮬레이션보다 수치적으로 안정적인지 궁금함
  • 계산 요구 사항 측면에서 어떻게 비교되는지 궁금함
  • 과거에 FORTRAN에서 Verilog로 모델을 변환한 경험이 있음

• 예측 불가능한 지진에 이 접근법을 적용해본 적이 있는지 궁금함

• 이 접근법이 "The Bitter Lesson"의 또 다른 사례인 것 같음

• 미래에 무엇을 더 시뮬레이션할지 궁금함

  • 샌프란시스코에서 자연어로 객체를 검색할 수 있는 데모를 구축함
  • Clay 임베딩을 사용해봤지만 CLIP으로 미세 조정된 OSM 캡션 임베딩보다 성능이 떨어짐