GN⁺: 실루리안 (YC S24) 출시 – 지구 시뮬레이션 기술

• 우리는 Jayesh, Cris, Nikhil이며, Silurian 팀의 일원임. Silurian은 지구를 시뮬레이션하는 기초 모델을 구축하며, 날씨 예측을 시작으로 하고 있음. 최근 허리케인 예측 결과는 여기에서 시각화할 수 있음

• 날씨 예측을 하루 더 일찍 알 수 있다면 그 가치는 얼마나 될까? 전통적인 예측 시스템은 10년마다 하루씩 예측 정확도가 향상되고 있음. 하지만 최근 몇 년간 GPU와 현대 딥러닝 기술 덕분에 이 속도가 빨라지고 있음

• 2022년 이후 NVIDIA, Google DeepMind, Huawei, Microsoft 등에서 날씨 딥러닝 시스템 연구가 활발히 진행되고 있음. 이 모델들은 물리학을 거의 내장하지 않고 데이터만으로 예측을 학습함. 놀랍게도, 이 접근 방식이 전통적인 대기 물리학 시뮬레이션보다 더 나은 예측을 제공함

• Jayesh와 Cris는 각각 Microsoft의 ClimaX와 Aurora 프로젝트를 이끌면서 이 기술의 잠재력을 직접 경험함. 그들이 구축한 기초 모델은 날씨 예측의 금표준으로 여겨지는 ECMWF의 예측을 개선했으며, 사용된 훈련 데이터는 극히 일부였음. Silurian의 목표는 이 모델들을 최대한 확장하고 물리적 예측의 한계까지 밀어붙이는 것임. 궁극적으로는 에너지 그리드, 농업, 물류, 국방 등 날씨에 영향을 받는 모든 인프라를 모델링하는 것임. 즉, 지구를 시뮬레이션하는 것임

• 이번 여름, 우리는 GFT (Generative Forecasting Transformer)라는 1.5B 파라미터 프론티어 모델을 구축했음. 이 모델은 약 11km 해상도로 최대 14일간의 글로벌 날씨를 시뮬레이션함. 역사적 기록에 극단적인 날씨 데이터가 부족함에도 불구하고, GFT는 2024년 허리케인 경로 예측에서 매우 뛰어난 성과를 보이고 있음. 여기에서 우리의 허리케인 예측을 확인할 수 있음. 우리는 cambecc/earth라는 오픈 소스 날씨 시각화 도구를 사용하여 이를 시각화함

• HN에서의 출시에 매우 흥분되며, 여러분의 의견을 듣고 싶음

GN⁺의 정리

• Silurian은 날씨 예측을 시작으로 지구를 시뮬레이션하는 기초 모델을 구축하는 회사임
• 최근 몇 년간 딥러닝 기술의 발전으로 날씨 예측의 정확도가 크게 향상되고 있음
• Silurian의 GFT 모델은 극단적인 날씨 데이터가 부족함에도 불구하고 뛰어난 예측 성과를 보이고 있음
• 이 기술은 에너지, 농업, 물류 등 다양한 인프라에 적용될 수 있는 잠재력을 가짐
• 유사한 기능을 가진 프로젝트로는 NVIDIA와 Google DeepMind의 날씨 딥러닝 시스템이 있음

[neo]

Hacker News 의견

• 열대성 저기압의 앙상블 예측을 할 수 있게 되어 기쁨

  • ML 모델과 ECMWF의 HRES 모델을 비교하는 것에 실망
  • HRES는 평균 날씨의 최적 추정이 아닌 가능한 날씨의 단일 실현임
  • NeuralGCM이 WeatherBench 리더보드에서 상위에 있음
  • 모델의 성능을 WeatherBench에서 비교하고 싶음

• 물리학을 내장하지 않은 모델이 데이터만으로 더 나은 예측을 함

  • "언어학자를 해고할 때마다 성능이 올라간다"는 NLP 격언이 물리학자에게도 적용됨

• Silurian이 지구를 시뮬레이션하는 기초 모델을 구축함

  • 성공하면 무엇을 더 시뮬레이션하고 싶은지 궁금함

• ClimaX의 상업적 잠재력에 대해 흥분함

  • 특정 산업이 상업적 잠재력에 대해 연락했는지 궁금함 (예: 천연 자원 탐사)

• 비영리 단체로서 토지에 대한 유사 모델을 구축함

  • 토지 마스크를 토지 임베딩으로 대체하는 데 도움을 주고 싶음
  • 이는 지역 효과를 다운스케일링하는 데 크게 도움이 될 것임

• Google이 작년에 출시한 GraphCast와 비교해 어떻게 다른지 궁금함

• 날씨 모델이 혼란스러움

  • ML 방법이 물리 기반 시뮬레이션보다 수치적으로 안정적인지 궁금함
  • 계산 요구 사항 측면에서 어떻게 비교되는지 궁금함
  • 과거에 FORTRAN에서 Verilog로 모델을 변환한 경험이 있음

• 예측 불가능한 지진에 이 접근법을 적용해본 적이 있는지 궁금함

• 이 접근법이 "The Bitter Lesson"의 또 다른 사례인 것 같음

• 미래에 무엇을 더 시뮬레이션할지 궁금함

  • 샌프란시스코에서 자연어로 객체를 검색할 수 있는 데모를 구축함
  • Clay 임베딩을 사용해봤지만 CLIP으로 미세 조정된 OSM 캡션 임베딩보다 성능이 떨어짐