▲

AI의 에너지 발자국에 숨겨진 이야기

 (technologyreview.com)
5P by GN⁺ 2일전 | ★ favorite | 댓글 2개
  • AI 쿼리 하나당 에너지 사용량은 미미해 보이지만, 전 세계적으로 수십억 건의 요청이 쌓이며 에너지망에 실질적인 영향을 미치는 수준임
  • 주요 AI 회사들은 수십조 원 규모의 데이터 센터와 전력 인프라 투자를 가속화하고 있으며, 일부는 원자력 발전소 건설까지 계획 중임
  • AI 쿼리의 에너지 소비량은 모델 크기와 복잡도에 따라 수백 배 이상 차이가 나며, 비공개 모델의 경우 정확한 소비량은 거의 알려지지 않음
  • AI가 사용하는 전력은 대부분 화석 연료 기반 전력망에 의존하고 있으며, 이로 인해 탄소 배출 강도는 평균보다 48% 높음
  • 향후 AI의 사용이 지속적으로 확대될 경우, 2028년에는 미국 데이터 센터 전력의 절반 이상이 AI에 사용될 전망임

Making the Model: AI 모델 훈련의 시작점

  • AI 모델은 수개월간 데이터 센터에서 수십 기가와트시의 전력을 소모하며 훈련됨
  • GPT-4 훈련에만 5천만 달러 이상, 50GWh의 전력이 필요했으며 이는 샌프란시스코 전체를 3일간 가동할 수 있는 수준임
  • 추론(inference)이 전체 AI 전력 사용의 80~90% 를 차지하며, GPU를 중심으로 한 데이터 센터의 역할이 핵심적임
  • NVIDIA의 H100 GPU가 AI 추론 작업의 중심을 차지하며, 수천 개가 연결된 클러스터 형태로 작동함

A Query: 하나의 질문이 소비하는 에너지

  • 같은 AI 모델이라도 질문 종류나 위치, 시간대에 따라 에너지 소비량과 탄소 배출량이 천차만별임
  • Llama 3.1 8B 모델은 평균 114줄(J) 소모, Llama 3.1 405B는 6,706줄을 소모
  • Stable Diffusion 3 Medium으로 이미지 하나 생성 시 2,282줄, 고화질 이미지 또는 동영상일 경우 수십만~수백만 줄 소모
  • 영상 생성은 이미지보다 700배 이상 에너지 사용, 향후 AI 영상 생성이 대중화되면 전력 소비 급증 가능성 있음

Fuel and Emissions: AI가 사용하는 전력의 출처

  • AI 데이터 센터는 태양광·풍력 같은 간헐적 에너지로 운영이 어려워, 평균적으로 더 높은 탄소 집약도의 전력을 사용
  • 예: 2024년 미국 전체 전력의 60%가 화석 연료, 원자력은 20%, 재생에너지는 나머지 20% 차지
  • 캘리포니아 vs. 웨스트버지니아처럼 지역에 따라 2배 가까운 탄소 배출 차이가 존재
  • 향후 메타, 구글, 아마존 등은 원자력 발전소 확충을 위한 공동 투자를 발표했지만, 완공까지 수십 년 소요

AI around the corner: 다가오는 AI 대중화와 에너지 급증

  • ChatGPT는 현재 전 세계에서 5번째로 많이 방문되는 사이트, 하루 10억 건 이상의 쿼리가 발생함
  • 추정치에 따르면, GPT 쿼리 1건당 1,080줄의 에너지, 연간 1,090GWh = 미국 가정 10,400곳을 1년간 가동할 전력
  • 영상·이미지 포함 시 연간 35GWh 이상 추가, 이는 AI 에이전트, 음성 모드, 영상 인식 기반 AI가 본격화될 경우 더욱 증가 예상
  • AI가 스스로 작업을 수행하고 사용자 데이터로 개인화되는 미래는 단일 쿼리 단위 예측으로는 에너지 수요를 설명 불가

The Future Ahead: 2028년까지의 에너지 수요 예측

  • 미국 AI용 데이터 센터는 2024년 76TWh 사용, 이는 720만 가구 규모
  • 2028년까지 165~326TWh 사용 예상, 이는 미국 전체 가정의 22% 전력 사용량과 맞먹음
  • 이는 3000억 마일 운전 시의 탄소 배출량과 동일하며, 데이터 센터의 전력 사용 비중은 4.4% → 12%로 세 배 증가 전망
  • 소프트뱅크, 오픈AI 등은 500조 원 규모의 데이터 센터 및 전력 인프라 투자, 세계 곳곳에 축구장 규모의 인프라 건설 중

Transparency Gap: 수치 공개의 부재와 시민 부담

  • 대부분의 AI 회사는 모델 추론 시 에너지 소비량을 공개하지 않음, 이는 공공 예측 불가능성으로 이어짐
  • 미국 정부 에너지기관(EIA)도 AI를 별도 산업군으로 취급하지 않아 통계 미흡
  • 버지니아 주 보고서에 따르면, 데이터 센터 에너지 비용으로 인해 일반 가정의 전기료가 월 37.5달러 인상될 가능성 존재
  • AI 인프라의 비용을 시민들이 떠안게 될 수 있으며, 이에 대한 사회적 논의가 필요함
▲
crawler 2일전  [-]

새삼 자체 tpu에서 실행되는 구글 제미니가 대단하게 느껴지네...

답변달기
▲
GN⁺ 2일전  [-]
Hacker News 의견

  • http://archive.today/mnHb8 링크 공유

  • Meta, Amazon, Google 같은 테크 기업들이 화석연료 문제에 대응해 핵발전 활용 목표 발표 소식 언급, 세 회사가 2025년까지 전 세계 핵발전 용량을 세 배로 늘리겠다는 서약 참여 내용 설명, 그런데 이 날짜가 어제 기사 기준으론 다소 이상하게 느껴짐, 실제로는 2050년이 목표임을 지적, 기사에 이런 식의 이상한 부분과 '전문가' 출처 남용이 있지만, 누군가라도 이 이슈를 수치화하려 노력한 점은 긍정적으로 평가

    • 이 기사에서 가장 이상한 점은, 빅테크 기업이 이런 데이터 공개를 거부한다는 사실임, 전문가들에게 추측하게 두면 안 됨, 전 세계에 영향 미치는 결정에 사회가 정보 접근 필요

    • 저렇게 이상한 부분이 단순 오타인지, 아니면 진짜 이상하다고 보는지 궁금증 표현

  • 예전 유즈넷에 글을 올릴 때 "이 프로그램은 전 세계 수천 대의 컴퓨터에 뉴스를 전송합니다. 당신의 글은 네트워크에 수백, 수천 달러의 비용을 발생시킵니다. 정말 올릴 건지 신중하게 확인 바랍니다"라는 경고문이 항상 따라붙던 시절 있었음, 지금 LLM 클라이언트에도 이런 경고문이 필요하지 않을까 상상, 요청 한번에 얼마나 많은 대기 탄소가 발생할지 계산해주는 형태 제안

    • 일부 국가에서는 '롤링콜'(자동차 과도 매연 배출) 문화가 존재함, 이런 경고문이 오히려 역효과 유발 가능성 우려

    • 인용한 경고문이 오히려 상반된 의미를 전달, 결국 이런 경고가 사라졌던 이유는 비용이 대폭 낮아졌기 때문일 것, 비슷한 일이 AI에도 적용 가능

    • 이메일 인쇄 전에 환경 영향 고려하라는 거대한 푸터 메시지를 연상, 실제론 인쇄시 불필요하게 한 페이지를 더 소비했다는 경험 공유

    • 이 경고 메시지가 흥미로움, 실제 메시지 자체는 큰 비용이 발생하지 않지만, 이를 전송하는 컴퓨터가 비용 원인, 전송 메시지 양이 많아질수록 단위당 비용은 낮아진다는 점 언급

    • 모든 일에 이런 경고를 붙이지 않는 한 AI 기술만 에너지 사용 때문에 비판 받는 건 불공평함 강조

  • 핵심은 배출 비용을 전기 가격에 내재화하는 것이라고 생각, 개별 사용자 고민은 산만함, 수송·난방·산업 모두 전기화되면 수요가 어차피 급증이기 때문에 전기 신속 탈탄소화가 필요

    • 동의하지만, 소비 절감 또는 효율 개선도 에너지 전환 과정에서 중요한 부분, 쓰지 않으면 생산할 필요도 없어짐

    • 이런 비용을 내재화하려면 사회가 배출 비용이 '무엇인지' 합의하는 것이 선결 과제, 현실적으로는 전기를 아주 풍부하고 효율적으로 만드는 게 더 쉬운 길, 사회 자체는 쉽게 개선 불가

  • "DeepSeek은 6000억 파라미터지만, 실제론 mixture-of-experts 구조로 토큰마다 약 12.5%만 활용(기억이 맞다면)", 이걸 명시하지 않으면 본문 신뢰가 떨어진다는 의견, 텍스트 에너지 사용량에 대한 가장 신뢰도 높았던 분석(epoch.ai 링크) 공유, 일반 질문 응답 평균 0.3Wh~최대 맥시멈 맥락 40Wh까지 소비, 대부분 사용은 이보다 훨씬 적어 텍스트 에너지 사용량 자체는 효익에 비하면 작음, 반면 비디오 생성은 에너지 소모가 매우 큼, LLM 기반 코드 생성 사용에도 이런 수치 분석이 궁금함

  • 이 스레드에서 엄청난 에너지 소모를 정당화하는 댓글 수와, 현재 이 기술이 엄청나게 쓸데없는 것(텍스트/비주얼 스팸)에 쓰이고 있다는 상황이 크립토 때 에너지 논란과는 놀랍게 대비됨, 빅테크 기업들이 주요 고용주라는 점 때문에 용인되는 듯한 분위기도 있음

    • AI는 이론적인 이점이라도 있으나, 크립토는 설계상 낭비적임, 하지만 실제 AI의 비용-편익 구조 역시 아직 미지수

    • 비트코인은 가격이 오를수록 에너지 소모도 늘지만, LLM 추론 비용은 빠르게 하락 추세(참고 링크), Apple, Google 같은 곳도 자체 데이터센터 및 온디바이스 AI 도입을 시도 중, 동시에 더 고비용 알고리즘도 계속 개발되는 현실, 대부분 사용이 노트북·폰 같은 배터리 한계 기기에서도 돌아갈 정도로 저렴해질 가능성도 있음

    • 크립토 붐과의 연결 지점이 흥미로움, 이런 흐름은 한 번 시작하면 되돌리기 쉽지 않은 게 인류 본성

    • 예전 HN의 크립토 분위기가 지금처럼 부정적이지 않았던 기억 공유

    • 크립토 에너지 사용(특히 비트코인 PoW)은 진짜 낭비라는 농담

  • 이 페이지가 하는 일도 불확실한 자바스크립트 때문에 아무 것도 안 하는데 내 CPU가 최대로 사용되는 상황에서 글을 읽고 있다니 아이러니

    • 브라우저가 각 페이지가 쓰는 CPU 양을 엄격히 제한하고, 추가적으로 CPU 자원 사용이 필요할 때는 카메라처럼 명시적 권한 요청을 하도록 했으면 좋겠음

    • 점심 전에 이 글을 읽고 비슷한 생각, tabdouse 관련 블로그 글 공유, cgroups 등도 트릭이 있지만 완전 만족스럽지 않다는 언급

  • 지금은 AI가 마치 컴퓨터 초창기 '메인프레임' 시대 같음, 방 하나를 채울 정도의 큰 기계가 엄청난 전력을 소비하면서도 지금 스마트폰보다도 덜한 성능 제공, 앞으로 모델 효율화와 하드웨어 특화가 빠르게 이뤄질 것으로 봄, AI 전용 칩을 통한 로컬 추론이 대부분의 작업 에너지 사용 대폭 절감, 이 덕분에 대형 컴퓨팅 리소스는 복잡한 과학 문제에 집중 가능하다는 점이 유의미하다고 생각

    • CPU 발전 곡선(기하급수 성장)을 종종 인용하지만, 사실상 다른 분야에서는 거의 통하지 않음, 반도체가 아주 특별한 행운의 조건에 의해 성장 가능했던 것, 배터리·핵융합·양자 컴퓨팅 등은 그렇지 못함, 반도체 계열에서 이미 먹을 수 있는 저열매는 다 따먹은 상태라 AI 효율화도 그렇게 순식간에 성장할 가능성 낮음, 앞으로는 수십 년 느린 점진적 발전이 현실 가능성, 수십억 파라미터와 수조번 연산의 필요를 한순간에 없애는 길 없다는 의견, 혹시 포토닉 컴퓨팅이 가능성?

    • "AI 전용 칩" 이야기가 개인적으로 잘 이해 안 됨, LLM이 애초에 GPU에 맞게 설계된 기술, 이미 하드웨어 존재, 문제는 GPU가 점점 더 크고 뜨거워지고 전력소모가 커진다는 점, GPU보다 나은 게 있었다면 이미 옮겨갔을 것, CPU로 되돌려서 효율 낼 수 있는 구조면 이미 변했을 것이라는 의견

    • 실제로 내 오래된 노트북(7년)에서도 작은 Gemma 모델을 꽤 쉽게 돌릴 수 있음에 놀람, 일부 작업만 LLM에 넘기고 나머지는 기존 프로그램으로 처리하는 식으로 효율 향상 가능성 상상

  • AI 에너지 사용에 관해 지금까지 본 글 중 최고, 빅테크가 사회적 의사결정에 필요한 데이터 제공 꺼리는 점 인상적, 관련 깊이 파헤치는 Data Vampires 팟캐스트 시리즈 추천

  • 2017년 AI 도입 후 데이터센터가 에너지 집약적 하드웨어로 구축되며 2023년까지 전력 사용 두 배 증가라는 기사 내용이 흥미로움, 하지만 실제 생성형 AI 부상은 2022년 11월 ChatGPT 등장 후 본격화, 2017~2022년 5년간의 AI 성장 대부분은 생성형 AI가 아니었을 듯

    • 2017년은 알파고가 이세돌을 이긴 다음 해이자, 'attention is all you need' 논문 출간 연도, 실제로 산업계에선 이미 전조가 있음, OpenAI가 2022년 시장 적합도 맞춤에 성공했을 뿐, 업계가 마냥 방황하진 않았다는 말

    • 그 즈음부터 머신러닝에 GPU 활용 본격적으로 시작

    • Meta는 이미 검색, 추천, 그래프 등 자사 서비스 모든 영역에 AI를 적극 도입 중, 그 덕분에 LLM 열풍이 오기 전부터 수만~수십만 대 GPU가 이미 준비되어 있었고, 덕분에 Llama 등 주요 프로젝트를 진행할 수 있는 유리한 위치에 있었음

답변달기