메타, 맨해튼 프로젝트에 맞먹는 금액을 GPU 투자에 사용

 (twitter.com/emollick)
1P by GN⁺ | ★ favorite | 댓글 1개

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • Manhattan Project와 Apollo Program이 생각보다 “싸게” 들려서 놀라움
    1960년대에 사람을 달에 보낸 비용이 Apple의 최근 자사주 매입과 비슷한 수준이라는 게 기묘함

    • 지난 약 100년 동안 물가상승률이 과소평가돼 왔기 때문일 수 있음. 시간이 지나면 그 차이가 크게 복리로 쌓임
      더 공정한 비교는 평균 시민의 연봉 몇 년치인지로 보는 것임
      Manhattan Project는 1944년 20억 달러였고, 1940년 인구조사의 중위 가구 소득 기준으로 12만 1천 가구-년에 해당함
      Apple의 자사주 매입은 2024년 1,100억 달러였고, 2022년 인구조사 기준으로 12만 2,910 가구-년에 해당함
      즉 80년 동안 공식 물가상승 수치는 비용을 약 3.5배 낮게 잡은 셈임
    • 당시 미국은 훨씬 가난했고 생활 수준도 훨씬 낮았음. 그래서 임금도 물가 보정 후에도 훨씬 낮았고, 전쟁 중이라 징집된 사람들은 선택권 없이 낮은 임금으로 일해야 했음. 이게 많은 부분을 설명해 줌
    • 이 만화가 모든 걸 말해 준다고 봄: https://pbs.twimg.com/media/DuJMkjIXcAcRru9?format=jpg
    • 실제로는 전혀 싸지 않았고, 비용을 미래로 미뤘을 뿐임. Hanford 부지 정화에는 168억~5,500억 달러가 들 것으로 추정됨
      Apollo 로켓을 시험했던 Santa Susana 시설도 정화에 수십억 달러가 들 예정이고, 거기에는 다른 비용 요인들도 있음
    • 압박을 받는 상황에서는 비용 대비 효과가 핵심임. WWII와 전후 60년대에 비해 지금처럼 상대적으로 부유하고 느슨한 사회에서는 모든 비용이 올라감
      당시에는 도로, 철도, 선박을 지을 수 있었지만, 지금은 수백 가지 규칙과 로비스트, 각자 몫을 요구하는 이해관계자가 있음
      생존 문제가 일시적으로 해결된 뒤에는 금전적 유인이 훨씬 더 중요해짐

  • Manhattan Project와 Apollo Program은 둘 다 GDP의 0.4% 였음. 오늘날 GDP 27조 달러 기준으로는 1,080억 달러가 같은 비율이고, Meta가 GPU에 쓴 돈은 그 3분의 1도 안 됨

    • 그러니까 한 회사가 시장 선두도 아닌 취미성 프로젝트에 미국 GDP의 약 0.1% 를 쓴 셈인가?
      믿기 힘든 규모이고, 좋은 일은 아님
    • Meta는 이 GPU들을 한 해가 아니라 여러 해에 걸쳐 지불하고 있음. Meta의 연간 설비투자는 300억 달러 정도이고, 그 전부가 GPU로 간 것도 아님
      또 Meta가 소매가를 내고 있을 리도 없음
    • 그러면 Apple의 1,100억 달러 자사주 매입이 그보다 더 큰 셈임
    • 모든 회사의 지출이나 매출을 합산하면 그 합계는 GDP를 훨씬 넘어설 수 있음
    • GDP보다는 연방정부 지출과 비교하는 편이 더 나을 것 같음
      https://fred.stlouisfed.org/series/FYONGDA188S

  • 현대 GPU, CPU, SoC의 압도적인 복잡성이 오히려 우리에게 크게 와닿지 않는 것 같음
    수십억 개 트랜지스터가 들어간 3nm 칩을 생산하는 과정과 비교하면 Manhattan Project는 거대한 프로젝트라고 보기 어렵다. 획기적이긴 했지만, EUV 웨이퍼 개발과 비교해 “거대하다”고 하긴 힘듦

    • Manhattan Project의 덜 알려진 큰 성취도 언급할 가치가 있음. 핵심은 과학자들이 아니라 Hanford와 Oak Ridge였음
      Hanford는 원자로뿐 아니라 말 그대로 아무것도 없던 곳에 4만 3천 명 넘는 도시를 만든 프로젝트였음
      Oak Ridge에는 당시 세계 최대 건물인 K-25가 있었고, 20년 넘게 지나서야 Boeing Everett Factory에 추월당함
      이 두 곳이 프로젝트의 주요 비용 중심이기도 했음. 과학은 싸지만, 우라늄 농축과 플루토늄 제조, 특히 아무도 해 본 적 없던 일을 하는 건 싸지 않음
    • 10%는 압도적인 복잡성이고, 90%는 Nvidia의 이익률임

  • 대략 1960년대 이전 시기에 만들어진 결과물의 품질과 장인정신을 볼 때마다 놀라움
    그 무렵 사회가 무엇 때문에 이렇게 낭비적이고 느리고 비싸고 야심이 부족한 현대 사회로 바뀌었는지 모르겠지만, 돌아갈 수 있다면 돌아가고 싶음

    • 전문 경영 계층 때문이라고 봄. 제조업 등에서 “더 효율적인” 관리를 내세운 여러 대형 개혁이 있었고, 이후 지식노동에도 적용됨
      특히 사무직의 관료적 업무에서는 전문화가 줄었음. 지금은 의사까지 포함해 모두가 자기 비서 역할을 직접 하는 식임
      전환기를 직접 본 사람들의 일화에 따르면, 이 새로운 경영 문화가 망친 것 중 하나가 경영 자체였고, 특히 하위·중간관리였음
      예전에는 관리자가 동료나 상급자와 회의에 쓰는 시간이 직급에 따라 완만한 차이가 있었고, 하위 관리자는 그런 회의가 적고 부하 직원의 필요와 운영 유지에 집중했음
      변화 이후에는 모든 관리 계층이 회의, 회의, 또 회의 문화에 빨려 들어갔고, 대부분은 가치가 낮았음. 과시와 정치질도 이전보다 훨씬 심하게 조직 하부까지 스며들었음
    • Apollo 11 뒤에는 40만 명이 있었다고 함. 거의 50만 명이 인생을 하나의 물건을 만드는 데 바친다면, 오늘날에도 고품질의 잘 만든 결과물을 만들 수 있을 것 같음
      Nvidia: 26,000명
      TSMC: 73,000명
      Intel: 124,000명
      AMD: 25,000명
      Qualcomm: 50,000명
      ASML: 42,000명
      인력 규모로 보면 전 세계 반도체 산업 전체가 비슷한 수준일 수 있음
    • 결과물의 품질과 장인정신만의 문제가 아님. 노동자 임금은 늘지 않았는데 생산성은 올랐고, 부유층은 더 부유해졌고, 소득 하위 90%는 더 나아지지 못하게 됐음
      1971년 이후 이렇게 많은 지표가 꾸준히 나빠졌다는 게 꽤 미친 일임[1]
      [1] https://wtfhappenedin1971.com/
    • 전후에는 공작기계가 남아돌았고 금속 제조 공정 경험도 풍부했음
      장난감보다 훨씬 넓은 용도에 적합한 사출성형 열가소성 플라스틱은 부족했음
      비교적 높은 인건비는 재료비를 아끼려는 유인을 줄였을 수 있음
      소비자들은 제조품에 더 높은 가격을 내는 대신 수리 가능하고 오래 쓸 수 있기를 기대했음
      진공관 기반 전자제품은 높은 전압과 무거운 변압기나 배터리가 필요한 경우가 많았고, 이는 외장 형태를 금속이나 목재, 사용 방식은 비휴대형으로 규정했음. 예를 들어 소비자용 라디오는 보통 가구에 통합되곤 했음
    • 나름의 가설은 있지만, 혼자 간직하고 내 프로젝트에 최선을 다하는 편이 나을 듯함

  • 그렇다면 IBM이 System/360에 쓴 돈보다는 적은 건가?
    Dijkstra의 말을 인용하면 https://cacm.acm.org/news/an-interview-with-edsger-w-dijkstr...

    I had no idea of the power of large companies. Only recently I learned that in constant dollars the development of the IBM 360 has been more expensive than the Manhattan Project.
    바로 이어지는 부분도 재미있음
    I was beginning to see American publications in the first issue of Communications of the ACM. I was shocked by the clumsy, immature way in which they talked about computing. There was a very heavy use of anthropomorphic terminology, the "electronic brain" or "machines that think." That is absolutely killing. The use of anthropomorphic terminology forces you linguistically to adopt an operational view. And it makes it practically impossible to argue about programs independently of their being executed.
    핵심을 확인해 보면, https://thehistoryofcomputing.net/the-ibm-system360는 “IBM이 1960년대 중반 화폐가치로 50억 달러를 썼다”고 하고, Manhattan Project는 20억 달러였다고 함
    https://en.wikipedia.org/wiki/Manhattan_Project에 따르면 이는 1945년 달러이고, https://www.bls.gov/data/inflation_calculator.htm의 CPI 물가 계산기로는 1965년 달러 약 35억 달러임
    거꾸로 계산하면 GPU 학습에 쓴 이 300억 달러는 1965년 달러로 30억 달러뿐이라서 360보다 싸짐

  • 그렇게 많이 쓰고도 어떻게 아직 OpenAI를 따라잡지 못하는 걸까? OpenAI는 왜 이렇게 잘하는 걸까?

    • 머신러닝 전문가는 아니지만 “못한다”는 표현은 강한 것 같음. Mark Zuckerberg가 나온 팟캐스트를 보면, Meta는 OpenAI와 정면 경쟁하고 싶어 하지 않는 것으로 해석됨
      추천 같은 기존 AI 서비스만으로도 이미 많은 자원을 쓰고 있음. 광고는 지금도 앞으로도 현금 창출원이고, 대규모 언어 모델은 아직 큰 매출을 만들지 못했음
      OpenAI의 2023년 매출은 약 20억 달러였고 2024년에는 크게 늘겠지만, Meta는 2023년에 순이익 400억 달러를 냈음. 재무적으로는 아직 경쟁할 이유가 없음
    • Llama 400B는 아직 학습 중이고, GPT-4의 많은 사용 사례를 압도할 수도 있음
    • 무료로 제공하는 meta.ai를 써 봤는지 궁금함. 능력 면에서는 이미 꽤 경쟁력 있는데, 아직 Meta가 크게 신경 쓰거나 홍보하지 않을 뿐임
    • 아직 학습 중인 Llama 3 405B가 현재 최고의 OpenAI 모델을 능가할 가능성도 낮지 않음
      영어 기준으로 Llama 3 70B는 이미 Google과 Anthropic의 모든 모델을 이기고, 최신 GPT-4 버전에게만 밀림. Open LLM Arena 결과 기준임
    • LLAMA 3는 꽤 좋고, segment anything 같은 비전 쪽 작업도 최첨단임. Facebook은 이미 탄탄한 수익화 경로가 있어서 굳이 논문을 내거나 데모를 만들 필요가 없음

  • Meta가 이 GPU들을 내부 운영에 얼마나 쓰고 있는지, 그리고 거기서 어떤 절감을 보고 있는지 공개돼 있나?
    실망스러운 “meta ai” 채팅 박스 말고도 H100을 투입할 수 있는 영역은 엄청 많을 것 같음. 콘텐츠 추천 엔진부터 남용 방지, 네트워크 대역폭과 트래픽 흐름 최적화까지 가능함

    • 그룹 채팅에서 그룹 멤버로 들어오는 @MetaAI는 꽤 좋았음. 같이 이미지로 장난치고, 이야기를 쓰고, 작가 흉내를 내게 하거나 형편없는 책의 챕터를 쓰게 할 수 있음
      며칠씩 메시지가 없던 오래된 그룹 채팅 몇 개가 AI를 가지고 계속 장난치는 공간으로 되살아났음

  • 이런 비교는 해석하기 어렵다고 느낌. 물가상승을 빼고 봐도 이런 지출이 속한 경제 자체가 성장하고 있기 때문임
    비용을 전 세계 경제, 유럽 경제권이나 범중화권 같은 사회권역 경제, 또는 국가 경제 대비 비율로 표현하면 더 명확할 것 같음
    내가 놓친 게 있을 수도 있음

  • 왜 모두 물가상승 얘기만 하는지 모르겠음. Manhattan Project 시절에 현대 GPU 같은 장치를 만들려면, 그 프로젝트 자체보다 훨씬 크고 비싼 슈퍼컴퓨터를 지어야 했을 것임
    기술은 단순히 엄청나게 싸졌고, 필요한 재료도 줄었으며, 연구비는 이미 지불된 상태임

  • 그 말이 사실이라면 덧붙이고 싶음. 전부 광고에 빼앗긴 인간의 주의력과 사용자 개인정보 착취로 조달된 돈임. 축하한다, 인류여
    그런 돈을 유용한 분야에 썼다면 무엇을 이룰 수 있었을까?

    • 오히려 경제의 다른 중공업 분야는 이미 독점돼 있어서 뭔가를 이루기가 어려운 것에 가까움
      Google이 통신 분야에 들어갔을 때 AT&T, Verizon, Comcast 같은 오래된 기생충들을 쉽게 무너뜨릴 것 같았지만 실제로는 어떻게 됐나?
      Apple이 자동차, 은행업(신용카드), 콘텐츠에 들어가려 했던 것도 같은 이야기임
      그래서 그 돈은 결국 이런 식으로만 쓰이게 됨. Exxon, Monsanto, Pfizer, Boeing에는 손댈 수 없고, 주택·교육·의료·은행도 어떻게 할 수 없음
      결국 새로움에 현금을 태우는 것이 저항이 가장 적은 기본 경로가 됨. “유용한 분야”는 모두 벽으로 막혀 있음
    • Meta는 개인정보를 팔지 않고, 광고에 사용할 뿐임
답변달기