1P by GN⁺ | ★ favorite | 댓글 1개
  • Alan Turing Institute는 University of Cambridge의 작업을 이어받아 Aardvark를 추진하며, 기존 수치예보와 1세대 AI 예보보다 빠르고 유연하며 계산 비용이 낮은 날씨 예측을 목표로 함
  • 기존 예보는 관측 데이터 통합, 대기 모델 시뮬레이션, 지역별 후처리로 이어지는 3단계 파이프라인에 의존해 슈퍼컴퓨터와 대규모 운영팀이 필요함
  • Aardvark는 이 과정을 단일 AI 모델로 대체해 데스크톱 컴퓨터에서 학습·실행할 수 있고, 위성·기상 관측소·기상 풍선 데이터를 받아 최대 10일 전 세계 예보를 생성함
  • 현재 사용 가능한 데이터의 약 10%만 사용하면서도 전 세계 기준으로 미국 Global Forecast System(GFS) 수준의 정확도를 보이며, 훈련 후 예보 생성 시간은 수 시간에서 수 분으로 줄어듦
  • 허리케인·홍수 같은 희귀한 극한 기상과 변화하는 기후는 여전히 어려운 과제이며, 과거 데이터로 학습한 모델에는 장기간의 엄격한 평가와 개선이 필요함

Aardvark가 겨냥하는 예보 병목

  • 정확한 날씨 예측은 농업, 운송, 에너지 의사결정뿐 아니라 홍수와 폭염에 직면한 지역사회 경보에도 직접 영향을 줌
  • 기후 변화에 적응해야 하는 상황에서 정기 예보의 중요성은 더 커지고 있음
  • AI 날씨 예측 분야에서는 Huawei의 Pangu-Weather, Google DeepMind의 GenCast 같은 시도가 주목받고 있음
  • Alan Turing Institute는 Environment and Sustainability grand challenge의 핵심 축으로 AI 기반 날씨 예측을 추진하며, University of Cambridge에서 개발된 작업을 바탕으로 Aardvark 팀을 구성함

기존 수치예보가 무거운 이유

  • 전 세계 기상 서비스는 오래된 방식인 수치예보를 사용하며, 예보는 보통 세 단계로 만들어짐
    • 위성, 기상 관측소, 기상 풍선, 보트, 부표, 선박, 항공기 데이터를 최근 예보와 결합해 현재 대기 상태를 추정함
    • 복잡한 대기 계산 모델이 현재 상태를 시간상으로 전개해 날씨 예보를 만듦
    • 특정 위치에서 바로 쓸 수 있도록 편향 보정, 공간 해상도 증가, 인간 예보관 입력을 거쳐 후처리함
  • 이 파이프라인은 대형 슈퍼컴퓨터, 복잡한 소프트웨어, 대규모 지원팀을 요구함
  • 영국 같은 국가는 이를 운영할 수 있지만, 사하라 이남 아프리카 같은 개발 지역에서는 계산 자원 요구가 커서 수치예보 시스템이 덜 실용적일 수 있음
  • 최근 2년 동안 기술 기업과 기상 서비스는 두 번째 단계인 대기 모델 시뮬레이션을 AI 모델로 대체해 속도와 정확도를 높여 왔음
  • 첫 번째 단계는 아직 AI로 대체되지 않았고 이 단계도 두 번째 단계만큼 비용이 커서, 1세대 AI 예보 모델도 여전히 슈퍼컴퓨터와 대규모 팀의 지원이 필요함

단일 모델로 바꾸는 Aardvark

  • Aardvark는 날씨 예측 파이프라인의 모든 단계를 단일 AI 모델로 대체하는 첫 시스템임
  • 모델은 데스크톱 컴퓨터에서 학습하고 실행할 수 있음
  • 기존 전통적 예보 시스템과 AI 기반 예보 시스템보다 수천 배 빠른 예보 생성을 목표로 함
  • 입력은 위성, 기상 관측소, 기상 풍선에서 오는 다중 모달 데이터
  • 출력은 최대 10일 전 세계 예보
  • 관측 데이터는 특정 지역과 서로 다른 시점에서 생성되고 결측 패턴도 복잡해, 이를 처리하기 위한 새로운 딥러닝 아키텍처가 필요함
  • 이 아키텍처는 대규모 과거 데이터셋으로 최대 10일 뒤 날씨를 예측하도록 학습됨

속도·정확도·접근성의 변화

  • Aardvark는 훈련 후 데스크톱 컴퓨터에서 수 분 내 예보를 만들 수 있음
  • 전통적 예보는 슈퍼컴퓨터에서도 생성에 수 시간이 걸릴 수 있음
  • 전 세계 기준으로 Aardvark는 이미 미국 Global Forecast System(GFS) 만큼 정확함
  • 현재는 사용 가능한 데이터의 약 10% 만 예보에 활용하므로, 더 많은 데이터와 엔드투엔드 최적화를 통해 정확도를 추가로 높일 여지가 있음
  • 개발도상국에서는 Aardvark가 전통적 수치예보 방식을 대체할 새 패러다임이 될 수 있음
  • 더 적은 계산 자원 요구는 개발 지역이나 데이터가 적은 국가가 고급 예보 도구에 접근하고, 맞춤형 예보 시스템을 구축하는 데 도움이 됨
  • 날씨 예측의 상당한 탄소 발자국을 줄일 가능성도 있음

아직 남은 한계와 검증 과제

  • 머신러닝 기반 날씨 도구는 빠르게 발전하고 있지만, Aardvark는 아직 실험적 기술이라 장기간의 엄격한 평가가 필요함
  • 날씨 예측 도구는 모든 유형의 날씨를 정확히 예측해야 함
  • 허리케인과 홍수 같은 극한 기상은 특히 중요함
  • 이런 희귀 사건은 훈련 데이터에 적게 나타나기 때문에 AI 시스템이 더 어려움을 겪을 수 있음
  • 변화하는 기후도 변수로 남아 있으며, 과거 데이터로 학습한 모델은 정확도가 낮아질 수 있음
  • 초기 신호는 이런 도전에 대응할 가능성을 보여줌

다음 개발 방향

  • Aardvark의 아이디어는 Turing의 고정밀 환경 예측 작업을 날씨, 해양, 해빙 분야로 확장하는 데 쓰일 예정임
  • 구체적 목표 중 하나는 Global South와 Arctic 지역사회 같은 개발도상국의 생계를 지원하는 것임
  • 연구진은 추가 데이터를 통합하고 정확도를 높이면서 Aardvark 기능을 계속 개선할 예정임
  • 특히 허리케인, 홍수 같은 사건 예측과 계절·장기 예보 같은 특수 작업을 개선하려 함
  • 계절·장기 예보는 정부와 기업의 더 장기적인 계획을 돕는 데 쓰일 수 있음
  • Aardvark에 대한 자세한 내용은 프로젝트의 새 Nature 논문에서 확인할 수 있음

댓글과 토론

Hacker News 의견들
  • 부표, 기상관측기구, 관측소 같은 입력 데이터와 기존 기상 모델의 과거 일일 예보가 수십 년치 저장되어 있어서, 이 AI 알고리즘이나 앞으로 나올 알고리즘을 과거 데이터에 돌려 기존 방식과 성능 비교할 수 있는지 궁금함
    핀테크 알고리즘을 과거 주식시장 데이터에 돌려 평가하는 것처럼, 이런 데이터를 모아둔 큰 청산소/허브가 있는지도 궁금함

    • 큰 데이터 허브 하나가 있다기보다는, NOAA와 그 아카이브 데이터에 많은 상업 서비스와 제3국 정부가 의존하고, EU는 EUMETSAT 데이터군을 운영하며, 각국 기상 서비스까지 더해져 데이터셋이 매우 많아짐
      NOAA 데이터셋은 퍼블릭 도메인이고 https://www.ncei.noaa.gov/archive, EUMETSAT은 대부분 출처 표기만 요구함 https://user.eumetsat.int/resources/user-guides/data-registr...
      여기에 EU의 Climate Data Store https://cds.climate.copernicus.eu/, ECMWF https://www.ecmwf.int/en/forecasts/datasets, ECA&D https://www.ecad.eu/dailydata/도 있음
      많은 민간 기상 서비스는 공개 데이터셋을 모아 가중치를 주고, 일부는 자체 지상 관측소 데이터, 정부 서비스의 상업 라이선스 실시간 데이터, 자체 모델까지 더함
      흥미로운 건 DOGE가 NOAA를 어떻게 할지인데, NOAA가 폐쇄되거나 유료 모델로 바뀌거나 민간 서비스로 대체되거나, 아예 부주의하게 사라질 가능성이 점점 커지고 있음
    • 세계기상기구(WMO)는 각국 기상청이 예보를 만들기 위해 교환하는 데이터를 갖고 있고, 그 외에는 국가별로 따로 봐야 함
      예를 들어 프랑스의 Météo-France는 2024년 1월에 과거 데이터를 모두 공개했음: https://www.data.gouv.fr/fr/organizations/meteo-france/#/dat...
    • 과거 데이터로 알고리즘을 검증하는 건 백테스팅이라고 부름
    • 스마트폰도 생각해볼 만함. 기압계 데이터가 있고 기기별 편차는 있겠지만, 칼만 필터와 과거 데이터를 결합하면 뭔가 할 수 있을 것 같음
      “정지해 있는” 휴대폰들의 데이터를 모아 기상위성 데이터와 실제 지상 관측소의 기준값과 상관시킨 뒤, 30~60분 전이나 하루 전으로 되돌려 보면 어떤 결과가 나오는지 볼 수 있음
    • 짧게 답하면 그런 큰 통합 청산소는 없음. 다만 Brightband의 “NNJA-AI” 같은 프로젝트가 커뮤니티 연구 역량을 모으기 위해 그런 허브를 만들려 하고 있음
      https://www.brightband.com/data/nnja-ai
  • 이 모델에 도전 과제를 주고 싶음: Kansas City 광역권에 대해 이틀 넘게 앞선 날씨를 화씨 3도 이내로 정확히 예측하기
    2024년 기준으로 이런 예측은 드물게만 맞았음 https://www.washingtonpost.com/climate-environment/interacti...

    • 냄새 테스트를 해보면, 오래된 Type K 열전대의 ASTM E230 표준 허용오차도 ±2.2°C 또는 ±0.75% 중 큰 값임
      어느 광역권 전체 부피를 대표하는 단일 숫자가 임의 시점에 그 정도 정확도를 의미 있게 달성한다고 기대한다면, 하물며 이틀 뒤라면 기대치를 재조정해야 함
    • 그렇게 긴 시간 범위에서 그런 수준의 정확도가 필요한 사용 사례가 뭔지 궁금함
    • 지난 1년의 실제 기상 관측값과 지난 1주의 실제 관측값을 가져와서, 이 1주치 관측을 지난 1년 데이터 위에 겹쳐 밀어가며 “가장 잘 맞는” 구간을 찾으면 됨
      그런 다음 그 구간 바로 다음 날의 날씨가 그대로 나타난다고 예측하거나, 값을 조금 보정해볼 수 있음
      이 방식이 얼마나 형편없이 작동할지, 그리고 여러 해치 과거를 보면 얼마나 도움이 될지 궁금함
    • 논문에 따르면 모델 격자 해상도는 1.5도임. 특정 위치의 정확한 날씨를 예측할 수 있다고 보기는 어렵고, 전 지구적 날씨 추세를 보여주는 모델에 가까움
    • Kansas City 쪽은 확실히 날씨가 빡세긴 함. 그래도 그 긴장감은 좋고, HN에서 이런 정서를 보니 재미있음
  • 미래의 가상 범용 인공지능 에이전트가 이런 능력을 학습한다면, 사람이 날아가는 공을 보고 본능적으로 어디로 갈지 대략 아는 것과 비슷해질지 궁금함
    우리는 그 순간 뇌가 어떻게 계산하는지 의식적으로 이해하지 못하지만 결과는 신뢰함
    미래의 AI도 내일 기온이 79도이고 바람이 시속 7마일이라고 “그냥 알지만”, 그 지식이 어떻게 나왔는지는 정확히 이해하지 못할 수 있을까 궁금함

    • 사람이 공을 잡을 때 실제로는 공이 어디 떨어질지 예측하는 게 아니라, 움직임의 각도가 일정하게 유지되도록 이동한다고 배운 기억이 있음
      그래서 야구 경기처럼 어느 정도 거리를 달려 공을 잡을 때, 사람은 공이 떨어질 지점으로 직선 이동하지 않고 곡선 경로를 따라 달림. 이는 공의 목적지를 직관적으로 안다는 증거와는 다름
    • 어느 정도까지는 맞지만, 그 한계는 사람이 회전하는 테니스 라켓을 더 이상 잡지 못하는 지점과 비슷함
      질량중심의 중력 포물선 궤적은 이해하지만, 테니스 라켓 질량분포의 저차원 혼돈적 회전은 예측하지 못함
      다른 나비효과들은 더 예측하기 어렵고, 위태롭게 균형 잡힌 바위 더미의 댐을 무너뜨리는 낙타 등 위의 나비 같은 경우는 특히 골치 아픔
      https://en.wikipedia.org/wiki/Tennis_racket_theorem
      Dzhanibekov effect demonstration in microgravity: https://www.youtube.com/watch?v=1x5UiwEEvpQ
      https://en.wikipedia.org/wiki/Horseshoe_map
    • “사고 과정(chain-of-thought)” LLM에 Python 같은 도구를 붙이면 이미 두 종류의 “생각”을 보여준다고 봄
      “strawberry에 r이 몇 개 있나” 같은 단순 질문을 도구 없이 물으면 LLM은 실제로 세지 않고 훈련 데이터 기반으로 자신 있게, 그리고 대개 틀린 답을 냄
      반대로 Python 같은 도구와 자기 자신에게 재질문할 수 있는 사고 과정 프롬프트를 주면, Python 코드를 작성해 실행하고 출력값을 확인해서 쉽게 정답을 얻음
      이 두 방식은 인간의 직관적 사고와 분석적 사고와 꽤 닮았음. 하나는 전적으로 패턴 매칭이라 세부 사항에 주의를 기울여야 하는 문제에서 무너지고, 다른 하나는 계산이 필요하므로 느리지만 더 정확함
      가상의 “날씨 AI”도 내일 날씨를 자신 있게 예측하면서, 높은 수준의 손흔들기식 설명 말고는 어떻게 계산했는지 이해하지 못할 수 있다고 쉽게 상상됨. 오늘날 LLM도 이미 미래를 자신 있게 예측하지만 왜 그런 예측을 했는지는 전혀 이해하지 못하고, 물어보면 그럴듯하지만 완전히 기만적인 답을 줄 수 있음
    • 보통은 아님. 물웅덩이를 보여주면, 그게 녹기 전 얼음 조각상의 모양이 무엇이었는지 말할 수 있나?
      하나는 뉴턴 역학 운동이고, 다른 하나는 실제값 측정이 희소한 복잡한 혼돈계임. 오차 전파를 줄일 수는 있지만 수익 체감의 문제이고, 자연재해처럼 6시간 경보가 차이를 만들 수 있는 드문 경우를 제외하면 한계가 큼
    • Iain M. Banks를 인용하자면, 아마 아닐 것 같음 :)
      “Sma,” the ship said finally, with a hint of what might have been frustration in its voice, “I'm the smartest thing for a hundred light years radius, and by a factor of about a million ... but even I can't predict where a snooker ball's going to end up after more than six collisions.”
      [GCU Arbitrary in "The State of the Art"]
  • 이 데이터를 수집하는 데 필요한 기상관측기구와 장비 발사 예산을 막 삭감했다니 아쉬움
    https://apnews.com/article/weather-forecasts-worsen-doge-tru...

    • “그들”이 누군지 명확히 하자면, DOGE를 통한 Trump였음
  • 논문은 여기서 볼 수 있음: https://www.nature.com/articles/s41586-025-08897-0

  • 이걸 보고 “The Turing Institute? 아직도 있나?”라고 생각했음
    https://en.wikipedia.org/wiki/Turing_Institute
    Glasgow에 AI 연구를 하던 예전 Turing Institute가 있었고, 당시에는 규칙 기반 시스템을 뜻했지만 기억하기로 교수님은 그들과 신경망 작업도 했음. 그 기관은 1994년에 막을 내렸고, 흥미로운 스핀아웃도 있었지만 지금의 기관과는 완전히 다름

  • 잠깐 이게 예전 FogCreek 인턴십 프로그램 중 같은 이름을 가진 것과 관련된 줄 알았음
    당시 다큐멘터리가 재미있었고, “12 weeks with geeks”와 창문 밖으로 뛰어내리는 장면 같은 게 떠오름

  • “모든 단계를 대체한다”는 표현이 과장인지, 아니면 뉘앙스를 놓친 건지 모르겠음. 1단계로 적힌 데이터 수집을 모델이 어떻게 대체한다는 건지 궁금함

    • 관측 자체를 대체한다기보다 자료 동화를 대체한다는 뜻으로 보임. 여러 출처의 관측 데이터를 받아들이는 단계임
  • 이 스레드를 가로채려는 건 아니지만, 아버지가 해풍과 강우 모델링을 깊이 연구하셨고 날씨 예측에서 AI와 머신러닝이 발전하는 걸 보셨다면 무척 좋아하셨을 것 같음
    https://www.revistascca.unam.mx/atm/index.php/atm/article/do...
    https://wmo.int/about-wmo/awards/international-meteorologica...

  • Google의 https://www.nature.com/articles/s41586-024-08252-9와 비교하면 어떤지 궁금함

    • Google 쪽은 ECMWF의 격자형 데이터셋인 ERA5로 초기화됨. 여기서는 ERA5 사용이 현재 표준이고, ECMWF 자신들도 대체로 그 위에 구축함
      반면 Aardvark는 같은 일을 관측값에서 직접 하려는 방식임