Meta, Amazon, Google 같은 테크 기업들이 화석연료 문제에 대응해 핵발전 활용 목표 발표 소식 언급, 세 회사가 2025년까지 전 세계 핵발전 용량을 세 배로 늘리겠다는 서약 참여 내용 설명, 그런데 이 날짜가 어제 기사 기준으론 다소 이상하게 느껴짐, 실제로는 2050년이 목표임을 지적, 기사에 이런 식의 이상한 부분과 '전문가' 출처 남용이 있지만, 누군가라도 이 이슈를 수치화하려 노력한 점은 긍정적으로 평가
이 기사에서 가장 이상한 점은, 빅테크 기업이 이런 데이터 공개를 거부한다는 사실임, 전문가들에게 추측하게 두면 안 됨, 전 세계에 영향 미치는 결정에 사회가 정보 접근 필요
저렇게 이상한 부분이 단순 오타인지, 아니면 진짜 이상하다고 보는지 궁금증 표현
예전 유즈넷에 글을 올릴 때 "이 프로그램은 전 세계 수천 대의 컴퓨터에 뉴스를 전송합니다. 당신의 글은 네트워크에 수백, 수천 달러의 비용을 발생시킵니다. 정말 올릴 건지 신중하게 확인 바랍니다"라는 경고문이 항상 따라붙던 시절 있었음, 지금 LLM 클라이언트에도 이런 경고문이 필요하지 않을까 상상, 요청 한번에 얼마나 많은 대기 탄소가 발생할지 계산해주는 형태 제안
일부 국가에서는 '롤링콜'(자동차 과도 매연 배출) 문화가 존재함, 이런 경고문이 오히려 역효과 유발 가능성 우려
인용한 경고문이 오히려 상반된 의미를 전달, 결국 이런 경고가 사라졌던 이유는 비용이 대폭 낮아졌기 때문일 것, 비슷한 일이 AI에도 적용 가능
이메일 인쇄 전에 환경 영향 고려하라는 거대한 푸터 메시지를 연상, 실제론 인쇄시 불필요하게 한 페이지를 더 소비했다는 경험 공유
이 경고 메시지가 흥미로움, 실제 메시지 자체는 큰 비용이 발생하지 않지만, 이를 전송하는 컴퓨터가 비용 원인, 전송 메시지 양이 많아질수록 단위당 비용은 낮아진다는 점 언급
모든 일에 이런 경고를 붙이지 않는 한 AI 기술만 에너지 사용 때문에 비판 받는 건 불공평함 강조
핵심은 배출 비용을 전기 가격에 내재화하는 것이라고 생각, 개별 사용자 고민은 산만함, 수송·난방·산업 모두 전기화되면 수요가 어차피 급증이기 때문에 전기 신속 탈탄소화가 필요
동의하지만, 소비 절감 또는 효율 개선도 에너지 전환 과정에서 중요한 부분, 쓰지 않으면 생산할 필요도 없어짐
이런 비용을 내재화하려면 사회가 배출 비용이 '무엇인지' 합의하는 것이 선결 과제, 현실적으로는 전기를 아주 풍부하고 효율적으로 만드는 게 더 쉬운 길, 사회 자체는 쉽게 개선 불가
"DeepSeek은 6000억 파라미터지만, 실제론 mixture-of-experts 구조로 토큰마다 약 12.5%만 활용(기억이 맞다면)", 이걸 명시하지 않으면 본문 신뢰가 떨어진다는 의견, 텍스트 에너지 사용량에 대한 가장 신뢰도 높았던 분석(epoch.ai 링크) 공유, 일반 질문 응답 평균 0.3Wh~최대 맥시멈 맥락 40Wh까지 소비, 대부분 사용은 이보다 훨씬 적어 텍스트 에너지 사용량 자체는 효익에 비하면 작음, 반면 비디오 생성은 에너지 소모가 매우 큼, LLM 기반 코드 생성 사용에도 이런 수치 분석이 궁금함
이 스레드에서 엄청난 에너지 소모를 정당화하는 댓글 수와, 현재 이 기술이 엄청나게 쓸데없는 것(텍스트/비주얼 스팸)에 쓰이고 있다는 상황이 크립토 때 에너지 논란과는 놀랍게 대비됨, 빅테크 기업들이 주요 고용주라는 점 때문에 용인되는 듯한 분위기도 있음
AI는 이론적인 이점이라도 있으나, 크립토는 설계상 낭비적임, 하지만 실제 AI의 비용-편익 구조 역시 아직 미지수
비트코인은 가격이 오를수록 에너지 소모도 늘지만, LLM 추론 비용은 빠르게 하락 추세(참고 링크), Apple, Google 같은 곳도 자체 데이터센터 및 온디바이스 AI 도입을 시도 중, 동시에 더 고비용 알고리즘도 계속 개발되는 현실, 대부분 사용이 노트북·폰 같은 배터리 한계 기기에서도 돌아갈 정도로 저렴해질 가능성도 있음
크립토 붐과의 연결 지점이 흥미로움, 이런 흐름은 한 번 시작하면 되돌리기 쉽지 않은 게 인류 본성
예전 HN의 크립토 분위기가 지금처럼 부정적이지 않았던 기억 공유
크립토 에너지 사용(특히 비트코인 PoW)은 진짜 낭비라는 농담
이 페이지가 하는 일도 불확실한 자바스크립트 때문에 아무 것도 안 하는데 내 CPU가 최대로 사용되는 상황에서 글을 읽고 있다니 아이러니
브라우저가 각 페이지가 쓰는 CPU 양을 엄격히 제한하고, 추가적으로 CPU 자원 사용이 필요할 때는 카메라처럼 명시적 권한 요청을 하도록 했으면 좋겠음
점심 전에 이 글을 읽고 비슷한 생각, tabdouse 관련 블로그 글 공유, cgroups 등도 트릭이 있지만 완전 만족스럽지 않다는 언급
지금은 AI가 마치 컴퓨터 초창기 '메인프레임' 시대 같음, 방 하나를 채울 정도의 큰 기계가 엄청난 전력을 소비하면서도 지금 스마트폰보다도 덜한 성능 제공, 앞으로 모델 효율화와 하드웨어 특화가 빠르게 이뤄질 것으로 봄, AI 전용 칩을 통한 로컬 추론이 대부분의 작업 에너지 사용 대폭 절감, 이 덕분에 대형 컴퓨팅 리소스는 복잡한 과학 문제에 집중 가능하다는 점이 유의미하다고 생각
CPU 발전 곡선(기하급수 성장)을 종종 인용하지만, 사실상 다른 분야에서는 거의 통하지 않음, 반도체가 아주 특별한 행운의 조건에 의해 성장 가능했던 것, 배터리·핵융합·양자 컴퓨팅 등은 그렇지 못함, 반도체 계열에서 이미 먹을 수 있는 저열매는 다 따먹은 상태라 AI 효율화도 그렇게 순식간에 성장할 가능성 낮음, 앞으로는 수십 년 느린 점진적 발전이 현실 가능성, 수십억 파라미터와 수조번 연산의 필요를 한순간에 없애는 길 없다는 의견, 혹시 포토닉 컴퓨팅이 가능성?
"AI 전용 칩" 이야기가 개인적으로 잘 이해 안 됨, LLM이 애초에 GPU에 맞게 설계된 기술, 이미 하드웨어 존재, 문제는 GPU가 점점 더 크고 뜨거워지고 전력소모가 커진다는 점, GPU보다 나은 게 있었다면 이미 옮겨갔을 것, CPU로 되돌려서 효율 낼 수 있는 구조면 이미 변했을 것이라는 의견
실제로 내 오래된 노트북(7년)에서도 작은 Gemma 모델을 꽤 쉽게 돌릴 수 있음에 놀람, 일부 작업만 LLM에 넘기고 나머지는 기존 프로그램으로 처리하는 식으로 효율 향상 가능성 상상
AI 에너지 사용에 관해 지금까지 본 글 중 최고, 빅테크가 사회적 의사결정에 필요한 데이터 제공 꺼리는 점 인상적, 관련 깊이 파헤치는 Data Vampires 팟캐스트 시리즈 추천
2017년 AI 도입 후 데이터센터가 에너지 집약적 하드웨어로 구축되며 2023년까지 전력 사용 두 배 증가라는 기사 내용이 흥미로움, 하지만 실제 생성형 AI 부상은 2022년 11월 ChatGPT 등장 후 본격화, 2017~2022년 5년간의 AI 성장 대부분은 생성형 AI가 아니었을 듯
2017년은 알파고가 이세돌을 이긴 다음 해이자, 'attention is all you need' 논문 출간 연도, 실제로 산업계에선 이미 전조가 있음, OpenAI가 2022년 시장 적합도 맞춤에 성공했을 뿐, 업계가 마냥 방황하진 않았다는 말
그 즈음부터 머신러닝에 GPU 활용 본격적으로 시작
Meta는 이미 검색, 추천, 그래프 등 자사 서비스 모든 영역에 AI를 적극 도입 중, 그 덕분에 LLM 열풍이 오기 전부터 수만~수십만 대 GPU가 이미 준비되어 있었고, 덕분에 Llama 등 주요 프로젝트를 진행할 수 있는 유리한 위치에 있었음
Hacker News 의견
http://archive.today/mnHb8 링크 공유
Meta, Amazon, Google 같은 테크 기업들이 화석연료 문제에 대응해 핵발전 활용 목표 발표 소식 언급, 세 회사가 2025년까지 전 세계 핵발전 용량을 세 배로 늘리겠다는 서약 참여 내용 설명, 그런데 이 날짜가 어제 기사 기준으론 다소 이상하게 느껴짐, 실제로는 2050년이 목표임을 지적, 기사에 이런 식의 이상한 부분과 '전문가' 출처 남용이 있지만, 누군가라도 이 이슈를 수치화하려 노력한 점은 긍정적으로 평가
이 기사에서 가장 이상한 점은, 빅테크 기업이 이런 데이터 공개를 거부한다는 사실임, 전문가들에게 추측하게 두면 안 됨, 전 세계에 영향 미치는 결정에 사회가 정보 접근 필요
저렇게 이상한 부분이 단순 오타인지, 아니면 진짜 이상하다고 보는지 궁금증 표현
예전 유즈넷에 글을 올릴 때 "이 프로그램은 전 세계 수천 대의 컴퓨터에 뉴스를 전송합니다. 당신의 글은 네트워크에 수백, 수천 달러의 비용을 발생시킵니다. 정말 올릴 건지 신중하게 확인 바랍니다"라는 경고문이 항상 따라붙던 시절 있었음, 지금 LLM 클라이언트에도 이런 경고문이 필요하지 않을까 상상, 요청 한번에 얼마나 많은 대기 탄소가 발생할지 계산해주는 형태 제안
일부 국가에서는 '롤링콜'(자동차 과도 매연 배출) 문화가 존재함, 이런 경고문이 오히려 역효과 유발 가능성 우려
인용한 경고문이 오히려 상반된 의미를 전달, 결국 이런 경고가 사라졌던 이유는 비용이 대폭 낮아졌기 때문일 것, 비슷한 일이 AI에도 적용 가능
이메일 인쇄 전에 환경 영향 고려하라는 거대한 푸터 메시지를 연상, 실제론 인쇄시 불필요하게 한 페이지를 더 소비했다는 경험 공유
이 경고 메시지가 흥미로움, 실제 메시지 자체는 큰 비용이 발생하지 않지만, 이를 전송하는 컴퓨터가 비용 원인, 전송 메시지 양이 많아질수록 단위당 비용은 낮아진다는 점 언급
모든 일에 이런 경고를 붙이지 않는 한 AI 기술만 에너지 사용 때문에 비판 받는 건 불공평함 강조
핵심은 배출 비용을 전기 가격에 내재화하는 것이라고 생각, 개별 사용자 고민은 산만함, 수송·난방·산업 모두 전기화되면 수요가 어차피 급증이기 때문에 전기 신속 탈탄소화가 필요
동의하지만, 소비 절감 또는 효율 개선도 에너지 전환 과정에서 중요한 부분, 쓰지 않으면 생산할 필요도 없어짐
이런 비용을 내재화하려면 사회가 배출 비용이 '무엇인지' 합의하는 것이 선결 과제, 현실적으로는 전기를 아주 풍부하고 효율적으로 만드는 게 더 쉬운 길, 사회 자체는 쉽게 개선 불가
"DeepSeek은 6000억 파라미터지만, 실제론 mixture-of-experts 구조로 토큰마다 약 12.5%만 활용(기억이 맞다면)", 이걸 명시하지 않으면 본문 신뢰가 떨어진다는 의견, 텍스트 에너지 사용량에 대한 가장 신뢰도 높았던 분석(epoch.ai 링크) 공유, 일반 질문 응답 평균 0.3Wh~최대 맥시멈 맥락 40Wh까지 소비, 대부분 사용은 이보다 훨씬 적어 텍스트 에너지 사용량 자체는 효익에 비하면 작음, 반면 비디오 생성은 에너지 소모가 매우 큼, LLM 기반 코드 생성 사용에도 이런 수치 분석이 궁금함
이 스레드에서 엄청난 에너지 소모를 정당화하는 댓글 수와, 현재 이 기술이 엄청나게 쓸데없는 것(텍스트/비주얼 스팸)에 쓰이고 있다는 상황이 크립토 때 에너지 논란과는 놀랍게 대비됨, 빅테크 기업들이 주요 고용주라는 점 때문에 용인되는 듯한 분위기도 있음
AI는 이론적인 이점이라도 있으나, 크립토는 설계상 낭비적임, 하지만 실제 AI의 비용-편익 구조 역시 아직 미지수
비트코인은 가격이 오를수록 에너지 소모도 늘지만, LLM 추론 비용은 빠르게 하락 추세(참고 링크), Apple, Google 같은 곳도 자체 데이터센터 및 온디바이스 AI 도입을 시도 중, 동시에 더 고비용 알고리즘도 계속 개발되는 현실, 대부분 사용이 노트북·폰 같은 배터리 한계 기기에서도 돌아갈 정도로 저렴해질 가능성도 있음
크립토 붐과의 연결 지점이 흥미로움, 이런 흐름은 한 번 시작하면 되돌리기 쉽지 않은 게 인류 본성
예전 HN의 크립토 분위기가 지금처럼 부정적이지 않았던 기억 공유
크립토 에너지 사용(특히 비트코인 PoW)은 진짜 낭비라는 농담
이 페이지가 하는 일도 불확실한 자바스크립트 때문에 아무 것도 안 하는데 내 CPU가 최대로 사용되는 상황에서 글을 읽고 있다니 아이러니
브라우저가 각 페이지가 쓰는 CPU 양을 엄격히 제한하고, 추가적으로 CPU 자원 사용이 필요할 때는 카메라처럼 명시적 권한 요청을 하도록 했으면 좋겠음
점심 전에 이 글을 읽고 비슷한 생각, tabdouse 관련 블로그 글 공유, cgroups 등도 트릭이 있지만 완전 만족스럽지 않다는 언급
지금은 AI가 마치 컴퓨터 초창기 '메인프레임' 시대 같음, 방 하나를 채울 정도의 큰 기계가 엄청난 전력을 소비하면서도 지금 스마트폰보다도 덜한 성능 제공, 앞으로 모델 효율화와 하드웨어 특화가 빠르게 이뤄질 것으로 봄, AI 전용 칩을 통한 로컬 추론이 대부분의 작업 에너지 사용 대폭 절감, 이 덕분에 대형 컴퓨팅 리소스는 복잡한 과학 문제에 집중 가능하다는 점이 유의미하다고 생각
CPU 발전 곡선(기하급수 성장)을 종종 인용하지만, 사실상 다른 분야에서는 거의 통하지 않음, 반도체가 아주 특별한 행운의 조건에 의해 성장 가능했던 것, 배터리·핵융합·양자 컴퓨팅 등은 그렇지 못함, 반도체 계열에서 이미 먹을 수 있는 저열매는 다 따먹은 상태라 AI 효율화도 그렇게 순식간에 성장할 가능성 낮음, 앞으로는 수십 년 느린 점진적 발전이 현실 가능성, 수십억 파라미터와 수조번 연산의 필요를 한순간에 없애는 길 없다는 의견, 혹시 포토닉 컴퓨팅이 가능성?
"AI 전용 칩" 이야기가 개인적으로 잘 이해 안 됨, LLM이 애초에 GPU에 맞게 설계된 기술, 이미 하드웨어 존재, 문제는 GPU가 점점 더 크고 뜨거워지고 전력소모가 커진다는 점, GPU보다 나은 게 있었다면 이미 옮겨갔을 것, CPU로 되돌려서 효율 낼 수 있는 구조면 이미 변했을 것이라는 의견
실제로 내 오래된 노트북(7년)에서도 작은 Gemma 모델을 꽤 쉽게 돌릴 수 있음에 놀람, 일부 작업만 LLM에 넘기고 나머지는 기존 프로그램으로 처리하는 식으로 효율 향상 가능성 상상
AI 에너지 사용에 관해 지금까지 본 글 중 최고, 빅테크가 사회적 의사결정에 필요한 데이터 제공 꺼리는 점 인상적, 관련 깊이 파헤치는 Data Vampires 팟캐스트 시리즈 추천
2017년 AI 도입 후 데이터센터가 에너지 집약적 하드웨어로 구축되며 2023년까지 전력 사용 두 배 증가라는 기사 내용이 흥미로움, 하지만 실제 생성형 AI 부상은 2022년 11월 ChatGPT 등장 후 본격화, 2017~2022년 5년간의 AI 성장 대부분은 생성형 AI가 아니었을 듯
2017년은 알파고가 이세돌을 이긴 다음 해이자, 'attention is all you need' 논문 출간 연도, 실제로 산업계에선 이미 전조가 있음, OpenAI가 2022년 시장 적합도 맞춤에 성공했을 뿐, 업계가 마냥 방황하진 않았다는 말
그 즈음부터 머신러닝에 GPU 활용 본격적으로 시작
Meta는 이미 검색, 추천, 그래프 등 자사 서비스 모든 영역에 AI를 적극 도입 중, 그 덕분에 LLM 열풍이 오기 전부터 수만~수십만 대 GPU가 이미 준비되어 있었고, 덕분에 Llama 등 주요 프로젝트를 진행할 수 있는 유리한 위치에 있었음