AI 토큰은 데이터센터를 어떻게 여행하는가

 (datagravity.dev)
3P by GN⁺ | ★ favorite | 댓글과 토론
  • 2026년 AI 추론은 전체 AI 컴퓨팅의 약 3분의 2까지 확대됐으며, 배포된 모델의 생애 컴퓨팅 비용 중 80~90%를 차지해 토큰 처리 비용과 지연시간이 인프라 경제성을 좌우함
  • 하나의 요청은 토큰화, API 게이트웨이, 인증, 라우팅, 스케줄링, KV 캐시, GPU·HBM, CUDA 커널, NVLink·스위치·NIC·Ethernet을 거쳐 응답으로 돌아오는 15단계 경로를 통과함
  • 입력을 병렬 처리하는 프리필(prefill) 은 연산량과 최초 토큰 지연시간에, 토큰을 하나씩 생성하는 디코드는 메모리 대역폭과 생성 속도·비용에 묶이므로 배치·양자화·추측 디코딩은 서로 다른 병목을 겨냥함
  • 지속 배치와 PagedAttention은 GPU 활용률과 동시 처리량을 높이고, 프롬프트 캐싱은 반복 입력 비용을 최대 90%, 긴 프롬프트의 지연시간을 약 85% 줄이며, 프리필·디코드 분리는 단계별 GPU 풀 운영을 가능하게 함
  • 고정된 품질을 제공하는 비용은 연간 중앙값 약 200배 하락했지만 처리량은 7배 증가했으며, 장기 가치는 HBM 대역폭·NVLink 연결망·광학 부품·전력 같은 물리적 병목과 효율을 고객 고착으로 전환한 추론 플랫폼에 집중됨

추론이 AI 경제의 중심이 된 이유

  • 챗봇, 코딩 에이전트, 검색 요약, 이미지 캡션은 모두 학습된 모델을 순전파해 다음 토큰을 반복 예측하는 토큰 생성 작업이며, 이 과정이 추론임
  • Google은 2026년 5월 자사 서비스 전반에서 월 3.2천조 개 토큰을 처리한다고 공개함
    • 연환산하면 약 3.8경 개에 해당함
    • 1년 전 월 480조 개보다 7배 늘었으며, 2024년 초에는 월 9.7조 개였음
    • 이 수치는 학습이 아니라 사용자 요청에 응답하는 비용에 해당함
  • 추론이 AI 컴퓨팅에서 차지하는 비중은 2023년 약 3분의 1에서 2025년 절반, 2026년 약 3분의 2로 확대됨
  • 배포된 모델에서 추론은 요청마다 반복되는 매출원가이며, 생애 컴퓨팅 비용의 80~90% 를 차지한다는 업계 경험칙이 있음
  • 4대 하이퍼스케일러가 제시한 2026년 자본지출은 약 7,250억 달러로 전년 대비 77% 증가함
    • 이 가운데 60% 이상이 칩이 아니라 전력, 냉각, 건물에 투입됨
    • 추론 전용 실리콘 시장만 2026년 500억 달러를 넘을 전망임
  • 추론 수요를 키우는 두 가지 변화가 있음
    • 추론 시간 확장과 에이전트 시스템은 질의당 10~100배 많은 토큰을 소비함
    • 에이전트 워크플로는 재시도, 도구 호출, 컨텍스트 재로딩 때문에 단일 요청보다 작업당 5~25배 비쌈
  • 고정된 품질 수준을 제공하는 비용은 2024년 초부터 연간 중앙값 약 200배 하락했지만, 저렴해진 토큰이 더 많은 작업을 열어 전체 사용량을 늘리는 제본스 역설이 나타남
  • 배치, 페이징, 양자화, 추측 디코딩, 분리형 서빙, 네트워크 패브릭은 모두 목표 지연시간에서의 토큰당 비용을 낮추기 위한 기술임

1~4단계: 텍스트를 배치 가능한 작업으로 변환

  • 1단계: 사용자와 토큰화

    • 클라이언트가 HTTPS로 텍스트를 전송하지만 모델은 텍스트가 아니라 정수 ID를 입력으로 받음
    • 바이트 수준 BPE 기반 토크나이저가 문자열을 하위 단어 토큰으로 나누고, 약 10만~20만 개 항목의 어휘에서 각 토큰을 ID에 대응시킴
    • 예시의 12,000토큰 RFP와 질문은 12,022개 정수 ID의 평면 시퀀스가 됨
    • 토큰화는 CPU에서 결정론적으로 수행되고 비용도 거의 들지 않지만, 입력·출력 토큰 수가 청구 금액을 결정함
    • 2026년 프런티어 모델의 20만~100만 토큰 컨텍스트 창은 한 번에 입력할 수 있는 문서 크기의 상한임

  • 2단계: API 게이트웨이

    • API 게이트웨이는 TLS를 종료하고 요청을 파싱한 뒤 스키마 검증, API 버전 관리, 대략적인 요청 제한, 추적 ID 부여, 최초 사용량 기록을 수행함
    • Envoy나 NGINX급 프록시와 웹 애플리케이션 방화벽으로 초당 수백만 건의 요청을 처리하며, 모델 로직은 실행하지 않음
    • 지연시간 예산은 1밀리초 미만이며, 형식 오류·할당량 초과·공격성 요청에 해당하는 트래픽 약 5%를 고가 자원에 도달하기 전에 거부함

  • 3단계: 인증과 과금 등급

    • API 키나 OAuth 토큰을 조직에 연결해 요청 제한 등급과 지출 한도를 검사하고, 적용할 토큰당 가격을 결정함
    • 캐시 입력 할인, 우선 처리 경로, 저렴한 일괄 처리 가격의 적용 자격도 이 단계에서 정해짐
    • 조직별 데이터 격리와 악용 방지 경계를 설정하면서 익명의 바이트를 계량·과금·격리되는 작업 단위로 바꿈

  • 4단계: 부하 분산

    • 일반 부하 분산기는 상태 검사와 실시간 부하 신호를 이용해 동일한 모델 복제본에 요청을 분산함
    • LLM에서는 단순 라운드로빈이 동일한 시스템 프롬프트나 문서 접두사를 가진 요청을 서로 다른 복제본으로 보내 캐시 재사용 기회를 잃게 함
    • 최신 AI 부하 분산은 같은 접두사의 KV 캐시가 있는 복제본을 고르는 캐시 인식 방식으로 발전하며, 다음 단계의 추론 라우터와 역할이 겹침
    • 전체 장비가 포화되면 요청을 대기시킬지 429를 반환할지도 이 단계에서 결정함

5~6단계: 실행 위치와 배치를 결정

  • 5단계: 추론 라우터

    • 추론 라우터는 수 밀리초 안에 모델·실리콘·복제본을 선택함
    • 프런티어 70B, 증류된 8B, 추론 모델, 초안·목표 모델 쌍 가운데 서비스 수준 목표를 충족하는 가장 경제적인 구성을 고름
    • 8B 모델로 충족할 요청을 70B로 처리하면 마진을 불필요하게 소모함
    • 연산 중심 프리필에는 FLOPS가, 메모리 중심 디코드에는 HBM 대역폭이 중요해 한 요청 안에서도 적합한 GPU가 달라질 수 있음
    • 동일한 접두사 KV 캐시를 가진 인스턴스로 보내면 12,000토큰 프리필을 거의 무료인 캐시 적중으로 바꿀 수 있음
    • 컴파일러와 자동 튜너는 모델·입력 형태·칩에 맞는 GPU 커널을 사전 컴파일하고 조정한 뒤, 런타임에 가장 저렴한 실행 계획을 선택함
    • Together AI, Fireworks, Baseten, Modular는 이 계층에서 커널·칩·정밀도 선택을 제품화하고 자체 추론 인프라로 수익화함

  • 6단계: 스케줄러와 지속 배치

    • 배치 크기 1에서 H100은 연산보다 메모리에 묶이기 때문에 스트리밍 멀티프로세서 활용률이 약 30~40% 에 머묾
    • 스케줄러는 지속 배치(continuous batching) 를 통해 매 순전파마다 새 요청을 추가하고 완료된 시퀀스를 제거함
    • 고정된 요청 묶음이 끝날 때까지 기다리지 않아 GPU를 연속적으로 채울 수 있음
    • vLLM은 이 방식으로 이전 서빙 시스템보다 2~4배 높은 처리량을 내며, 같은 H100의 단순 PyTorch 루프보다 3~5배 많은 트래픽을 처리함

7~8단계: KV 캐시와 GPU 메모리 관리

  • 7단계: KV 캐시

    • 각 어텐션 계층에서 토큰마다 Key와 Value 벡터가 만들어지며, 다음 토큰은 이전 모든 토큰의 K/V를 참조함
    • 이를 매번 다시 계산하면 긴 컨텍스트에서 O(n²) 비용이 발생하므로, 프리필이 12,022개 위치의 K/V를 한 번 계산해 KV 캐시에 저장함
    • 이후 디코드 단계는 새 토큰의 K/V 하나를 추가하고 기존 캐시를 읽음
    • KV 캐시는 동시 시퀀스 수와 길이에 따라 커지며, 서빙 중 GPU 메모리를 가장 크고 동적으로 소비하는 구조임

  • PagedAttention과 단편화 방지

    • 시퀀스 길이는 예측하기 어렵기 때문에 연속 메모리 할당은 60~80%의 메모리를 사용하지 못하게 만들 수 있음
    • PagedAttention / vLLM은 운영체제의 가상 메모리처럼 KV 캐시를 고정 크기 페이지로 나눔
    • 필요한 만큼 물리 블록을 할당하고 페이지 테이블로 연결하므로 연속 공간이 필요 없음
    • 완료된 시퀀스의 페이지는 즉시 반환됨
    • 여러 사용자의 시퀀스가 한 GPU를 안전하고 효율적으로 공유할 수 있음
    • 이 메모리 관리 방식이 vLLM의 2~4배 처리량 향상을 뒷받침함

  • 프롬프트·접두사 캐싱

    • 같은 시스템 프롬프트, 퓨샷 서문, 문서 접두사를 반복하는 요청은 한 번 계산한 KV 캐시를 재사용할 수 있음
    • Anthropic은 캐시 읽기를 일반 입력 가격의 0.1배인 100만 토큰당 0.30달러에 제공하며, 일반 입력은 3달러임
    • OpenAI GPT-5.x도 캐시 입력이 0.50달러, 일반 입력이 5달러로 모두 90% 할인을 적용함
    • 긴 프롬프트에서는 지연시간도 약 85% 줄어들며, 예시 RFP의 후속 질문은 12,022토큰 프리필을 반복하지 않아도 됨

  • 8단계: GPU 메모리의 세 구성 요소

    • GPU 패키지 메모리에는 고정된 모델 가중치, 동시 요청과 길이에 따라 증가하는 KV 캐시, 일시적인 활성값·작업 공간이 함께 들어감
    • 가중치를 적재한 뒤 남은 공간이 KV 캐시 예산이 되므로, 연산량보다 메모리가 동시 사용자 수를 제한하는 경우가 많음
    • 70B 모델은 FP16에서 약 140GB라 80GB H100 두 대가 필요하지만, FP8에서는 약 70GB로 줄어 GPU 한 대에 KV 캐시 공간까지 남길 수 있음
    • 양자화로 가중치에서 절약한 메모리가 곧 더 많은 동시 사용자 수로 이어짐

9~10단계: HBM 병목과 GPU 커널 최적화

  • 9단계: 프리필과 디코드의 서로 다른 병목

    • 프리필은 12,022개 입력 토큰을 병렬 처리하는 대규모 행렬 곱셈으로 텐서 코어를 포화시키며, 연산량과 최초 토큰 시간(TTFT)에 묶임
    • 디코드는 다음 토큰 하나를 만들 때마다 전체 모델 가중치와 증가하는 KV 캐시를 HBM에서 읽어야 함
    • 배치 크기 1에서 디코드의 연산 집약도는 바이트당 약 1 FLOP으로, 루프라인의 경계인 약 410~590 FLOP/byte보다 훨씬 낮음
    • 텐서 코어는 계산보다 메모리를 기다리는 시간이 길어지고, HBM 대역폭이 생성 속도와 비용의 상한을 정함

  • 정밀도 축소

    • FP16에서 FP8, FP4로 정밀도를 낮추면 토큰마다 읽어야 할 가중치 바이트 수가 줄어 메모리 중심 디코드 처리량이 증가함
    • NVIDIA NVFP4는 Blackwell 5세대 텐서 코어용 4비트 부동소수점 형식임
    • FP8보다 약 2~3배 높은 산술 처리량과 약 1.8배의 메모리 절감을 제공함
    • 기준 정확도와의 차이를 약 1% 이내로 유지함
    • Hopper 대비 종단 간 추론을 최대 5배 가속하는 데 기여함

  • 10단계: CUDA 커널과 융합

    • GPU의 수학 연산은 수천 개 코어에서 실행되는 작은 프로그램인 커널로 수행됨
    • 변환기 연산을 수백 개의 개별 커널로 실행하면 각 커널이 HBM에서 데이터를 읽고 결과를 다시 쓰므로 대역폭 중심 작업에 큰 부담이 됨
    • 커널 융합은 여러 연산을 하나로 합쳐 중간 데이터를 온칩 SRAM에 유지하고 HBM 접근을 줄임
    • FlashAttention은 타일 단위 어텐션과 온라인 softmax를 이용해 시퀀스 길이에 따른 HBM 읽기·쓰기를 제곱 규모에서 선형 규모로 낮추고 2~4배 가속함
    • FlashAttention-3는 Hopper의 비동기 엔진과 FP8을 활용해 H100에서 840TFLOPS, 최대 성능의 약 85%에 도달함

  • 추측 디코딩

    • 디코드에서는 토큰 하나를 생성할 때도 전체 가중치를 읽기 때문에 여러 후보 토큰을 병렬 검증하는 추가 비용이 상대적으로 작음
    • 작은 초안 모델이 다음 K개 토큰을 제안하고 큰 목표 모델이 한 번의 병렬 실행으로 검증해 가장 긴 올바른 접두사를 채택함
    • 출력은 일반 디코딩과 수학적으로 같으면서 속도는 2~4배 빨라짐
    • EAGLE-3 같은 방식은 초안 토큰의 75% 이상을 채택함

11~14단계: 모델 내부에 들어온 네트워크

  • 11단계: NVLink 규모 확장 연결망

    • 단일 GPU에 들어가지 않는 조 단위 매개변수 모델과 MoE 모델은 여러 GPU에 분할되므로, 모든 계층과 모든 토큰에서 GPU 간 통신이 발생함
    • 네트워크는 디코드 루프 바깥의 보조 장치가 아니라 디코드 루프 내부에서 동작함
    • NVLink 5는 GPU당 1.8TB/s를 제공하며 PCIe Gen5 링크의 약 14배임
    • GB200 NVL72는 72개 Blackwell GPU와 36개 Grace CPU를 하나의 NVLink 도메인으로 연결함
    • 총대역폭은 130TB/s, 통합 메모리는 13.4TB임
    • 전력은 약 120kW이며, 조 단위 매개변수 모델에서 H100 클러스터보다 최대 30배 높은 추론 처리량을 제공함

  • 병렬화가 만드는 통신량

    • 텐서 병렬화는 각 계층의 행렬 곱셈을 여러 GPU로 나눈 뒤 토큰마다 여러 차례 all-reduce로 부분 결과를 합쳐야 함
    • MoE는 토큰을 여러 GPU에 흩어진 전문가로 보내기 때문에 all-to-all 통신이 주요 병목이 되는 경우가 많음
    • DeepSeek 운영 환경은 노드마다 400Gbps NIC 8개를 사용하며, DeepEP로 전문가 간 통신과 계산을 겹쳐 GPU 정지를 줄임

  • 12단계: 스위치와 혼잡 제어

    • 규모 확장 도메인의 NVSwitch는 144개 NVLink 포트와 14.4TB/s 비차단 스위칭을 제공해 72개 GPU가 동시에 최고 속도로 통신하게 함
    • 랙을 넘어서는 규모 확장 네트워크에는 NVIDIA Quantum-X800 InfiniBand, Spectrum-X800 Ethernet, 102.4Tbps의 Broadcom Tomahawk 6 같은 스위치가 사용됨
    • AI 네트워크는 같은 번호의 GPU를 같은 레일 스위치에 연결하는 레일 최적화 토폴로지로 집합 통신의 홉 수를 줄임
    • SHARP 같은 패브릭 내부 연산은 스위치에서 축약을 수행함
    • 수천 개 GPU가 한 단계를 동시에 마치면 동기화된 인캐스트가 발생하며, 링크 하나의 혼잡도 전체 집합 통신을 멈추게 하므로 적응형 라우팅이 필수임

  • 13단계: NIC와 DPU

    • 랙 사이로 이동하는 패킷은 NVIDIA BlueField 같은 SmartNIC 또는 DPU를 통과함
    • RoCE나 InfiniBand verbs는 CPU를 거치지 않고 원격 GPU가 다른 GPU 메모리를 직접 읽게 함
    • 링크 속도는 현재 400Gb/s이며 800Gb/s가 표준화되고 있음
    • DPU는 혼잡 제어, 암호화, 스토리지 가상화, 다중 테넌트 격리를 호스트 CPU 대신 처리함
    • 레일 최적화 클러스터에서는 GPU마다 전용 NIC를 두기도 하며, DeepSeek은 GPU 8개와 400Gb/s NIC 8개를 짝지음

  • 14단계: Ethernet과 광학 부품

    • InfiniBand는 약 1~2µs 지연시간과 무손실 패브릭을 제공해 AI 클러스터의 전통적인 선택이었고, RoCEv2 Ethernet은 약 5~10µs로 2순위로 취급됐음
    • Ultra Ethernet Consortium은 2025년 6월 AI용 Ethernet 스택을 재구성한 UEC 1.0을 발표함
    • Dell’Oro는 AI 백엔드 네트워크에서 Ethernet이 2027년까지 InfiniBand를 추월할 것으로 전망함
    • 추론은 비용에 민감하고 다중 테넌트·기업 환경과 가까워 Ethernet의 가격 구조와 개방형 생태계가 중요함

  • 광학 부품의 비용과 전력

    • 광 트랜시버는 네트워크 비용의 약 60%, 네트워크 전력의 약 45%를 차지함
    • 네트워크가 전체 클러스터 비용의 약 15~18%이므로 광학 부품만 전체 비용의 약 10%에 해당함
    • 한 스위치의 800G 플러거블 모듈은 합계 500W 이상을 소비해 스위칭 ASIC보다 전력을 더 쓸 수 있음
    • AI 광 트랜시버 시장은 2025년 약 165억 달러에서 2026년 약 260억 달러로 57% 증가할 전망임
    • 공동 패키지 광학(CPO) 은 광학 장치를 스위치 패키지로 옮겨 1.6T 링크 전력을 약 30W에서 9W로 낮춤
    • NVIDIA는 2026년 하반기 출시 예정인 포토닉스 스위치에서 5배의 전력 효율과 10배의 복원력을 제시함
    • 단일 GPU보다 큰 모델에서는 NVLink 규모 확장과 Ethernet 규모 확장 사이의 약 20~40배 대역폭 격차를 관리해야 함

15단계: 응답 스트리밍과 정산

  • 마지막 토큰이 생성되면 역토큰화가 정수 ID를 다시 텍스트로 변환함
  • 응답은 NIC, 스위치, 부하 분산기, 게이트웨이를 거슬러 올라가며 일반적으로 서버 전송 이벤트(SSE)로 토큰마다 스트리밍됨
  • 사용자는 전체 답변이 완료되기 전 약 0.3초부터 읽기 시작할 수 있어 TTFT가 체감 속도를 크게 좌우함
  • 마지막으로 일반 또는 캐시된 입력 토큰과 더 비싼 출력 토큰을 인증 단계에서 정한 등급에 따라 계산해 청구를 마감함

분리형 서빙이라는 추론 운영체제

  • 배치, KV 페이징, 프리필·디코드 분리, 하드웨어 선택, 집합 통신은 모두 메모리·네트워크 계층에서 이질적인 작업을 스케줄링해 고가 실리콘의 활용률을 높이는 문제임
  • 2026년의 분리형 서빙(disaggregated serving) 은 연산 중심 프리필과 대역폭 중심 디코드를 별도 GPU 풀로 나눔
  • 각 풀을 독립적으로 확장·조정하고, 두 풀 사이에서 KV 캐시를 스트리밍함
  • NVIDIA Dynamo, vLLM, SGLang, llm-d, Mooncake가 이 구조를 채택함

컴파일러 기업이 추론 클라우드가 된 이유

  • 컴파일러·커널·자동 튜너 기업은 기술을 라이선스하는 대신 자체 인프라에서 실행하고 토큰을 판매해 효율 차이를 총마진으로 전환함
  • 커널, 배치, 양자화, 추측 디코딩에서 2배 개선하면 GPU당 판매 가능한 토큰도 2배 늘어남
  • 모델·입력 형태·칩 조합별 최저비용 커널을 선택하는 자동 튜너는 대규모 GPU 장비에서 직접 수익을 만듦
  • Baseten의 연환산 매출은 2025년 12월 약 2억 달러에서 2026년 3월 약 6억 달러로 증가해 전년 대비 약 1,900% 성장함
    • 기업가치 110억~130억 달러로 15억 달러를 조달함
    • 기업가치는 5개월 전 50억 달러에서 상승함
  • Qualcomm이 Modular를 약 39억 달러에 인수한 거래는 칩 기업이 하드웨어 독립적 컴파일러로 NVIDIA에 대응하려는 사례임

추론 제공업체를 고르는 기준

  • 지연시간, 비용, 신뢰성

    • 지연시간은 답변 시작을 결정하는 TTFT와 답변 완료 속도를 정하는 토큰 간 지연시간으로 나눠 평가해야 함
    • 중앙값보다 사용자가 실제로 겪는 정지를 반영하는 p99 꼬리 지연시간이 중요함
    • 일반 GPU 추론은 최초 토큰에 약 400~600ms가 걸림
    • Groq와 Cerebras는 Llama-70B급 모델에서 100~150ms 미만 TTFT와 초당 1,600~2,100개 이상의 출력 속도를 제시하며, 일반 GPU 스택의 약 4~6배임
    • 비용은 게시된 단일 가격이 아니라 입력·출력 비율, 캐시 적중률, 일괄 처리 가능 여부를 반영한 혼합 비용으로 계산해야 함
    • 출력은 입력보다 약 4~5배 비싸고 전체 비용을 주로 차지함
    • 프롬프트 캐싱은 입력 비용을 50~90%, 일괄 처리 등급은 흔히 약 50% 낮춤
    • 2026년 중반 가격은 DeepInfra나 Groq 같은 비용 최적화 공개 모델 엔드포인트의 100만 토큰당 약 0.04~0.20달러부터 프런티어 모델의 수 달러까지 두 자릿수 배율로 차이 남
    • Groq의 예시 가격은 입력 0.15달러, 출력 0.60달러임
    • 신뢰성은 단순 가동시간 SLA를 넘어 기능적 가용성까지 측정해야 함
    • Azure OpenAI는 토큰 생성에 99.9% SLA를 제공함
    • 기업은 호출의 99.99%에서 TTFT 200ms 미만 같은 지연시간 SLA도 요구함
    • 거부율 급증, 평가 결과를 악화시키는 자동 모델 버전 변경, 부하 시 할당량 제한은 공식 가동시간을 지키면서도 제품을 망가뜨릴 수 있음
    • 모델 버전을 고정하고 용량을 협상하며 기능적 가용성을 직접 감시해야 함

  • 프로덕션 적합성을 가르는 일곱 기준

    • 처리량과 요청 제한: 분당 토큰 한도와 순간 처리 여유가 에이전트의 병렬 작업과 확장 규모를 제한함
    • 보안과 규정 준수: SOC 2 Type II, HIPAA, ISO 27001, GDPR은 규제 산업의 기본 조건이며 나중에 추가하기 어려움
    • 데이터 지역성과 비공개 배포: 무보존 보장, VPC·BYOC, 온프레미스 지원이 기업 구매 승인을 좌우함
    • 결정성과 버전 제어: 고정 시드와 고정 체크포인트가 자동 변경으로 인한 평가 결과의 드리프트를 막음
    • 모델 범위와 최신성: 다양한 모델, 신규 공개 가중치의 출시 당일 지원, 미세 조정·LoRA 호스팅이 최신 모델 채택 속도를 결정함
    • 배포 유연성: 서버리스, 전용 인프라, 자체 호스팅 선택지가 비용과 제어 수준의 균형을 정함
    • 이식성: OpenAI 호환 API와 깔끔한 다중 제공업체 라우팅이 장애, 가격 변화, 모델 변경에 대한 대응 수단이 됨

가치가 축적되는 물리적 병목

  • HBM 대역폭이 디코드 상한을 정하고, NVLink 규모 확장 도메인은 독점성이 있으며, 광학 부품과 전력이 희소한 입력이 됨
  • 7,250억 달러 자본지출 가운데 60% 이상이 전력과 건물에 쓰이므로 장기적인 최종 지표는 와트당 토큰 수임
  • 네트워크 시장은 두 방향으로 갈라짐
    • 규모 확장 연결망은 폐쇄적이고 방어 가능한 영역으로 남음
    • 랙 밖의 규모 확장 네트워크는 Ethernet과 UEC를 중심으로 개방되고 범용화됨
    • 차별화 영역은 일반 스위칭보다 NVLink 도메인, 광학·CPO, 혼잡 제어 지식재산임
  • 추론 소프트웨어의 마진은 효율 차이, 활용률, 운영 규모의 곱으로 결정되며, 성능을 유통력과 전환 비용으로 바꾼 기업만 가격 하락 속에서도 방어력을 가질 수 있음
  • 원시 속도만을 경쟁 우위로 내세우는 사업은 컴파일러 계층과 NVIDIA 무료 도구가 같은 성능을 범용화할 수 있음
  • 토큰 경제의 규모 확대가 높은 마진을 자동으로 보장하지 않으며, 메모리·연결망·광학·전력 병목과 효율을 고객 고착으로 만든 플랫폼이 그 차이를 결정함

함께 보면 좋은 글 β