Cerebras Inference, Llama 3.1 405B에서 초당 969 토큰 처리

 (cerebras.ai)
3P by GN⁺ | ★ favorite | 댓글 1개
  • 대형 프론티어 모델은 보통 속도와 지연 시간이 병목이었지만, Cerebras Inference가 Llama 3.1 405B 고객 워크로드에서 초당 969개 출력 토큰을 기록함
  • 1,000 토큰 프롬프트 기준으로 SambaNova보다 8배, 가장 빠른 GPU 클라우드보다 12배, AWS보다 75배 빠른 결과가 나옴
  • 100,000 토큰 입력에서는 6개 벤더만 결과를 반환했고, Cerebras는 비-GPU 벤더 중 유일하게 벤치마크를 완료하며 초당 539 토큰을 달성함
  • 첫 토큰까지 걸리는 시간은 240ms였고, GPT-4에서 전환한 고객은 전체 지연 시간이 75% 줄었다고 보고함
  • Llama 3.1 405B용 Cerebras Inference는 현재 고객 시험판으로 제공되며, 2025년 1분기 일반 제공과 입력 $6/M·출력 $12/M 토큰 가격이 예정돼 있음

Llama 3.1 405B 성능 기록

  • Cerebras Inference는 Llama 3.1 405B 실행에서 969 output tokens/s를 달성함
    • 1,000 토큰 프롬프트 기준 결과임
    • Artificial Analysis 측정 기준으로 출력 속도, 긴 컨텍스트 성능, 첫 토큰 시간에서 기록을 세움
  • 같은 비교에서 Llama 3.1 405B on Cerebras는 GPT-4o보다 12배, Claude 3.5 Sonnet보다 18배 빠른 것으로 소개됨
  • 올해 Cerebras는 Llama 3.1 8B와 70B를 2,000 tokens/s 이상으로 끌어올렸고, GPT-4o, Claude 3.5 Sonnet, Llama 3.1 405B 같은 프론티어 모델은 GPU, ASIC, 클라우드 어디에서도 200 tokens/s를 넘지 못했다고 설명함
  • 1,000 토큰 프롬프트 기준 비교는 다음과 같음
    • SambaNova보다 8배 빠름
    • 가장 빠른 GPU 클라우드보다 12배 빠름
    • AWS보다 75배 빠름
  • 100,000 토큰 입력 프롬프트에서는 539 tokens/s를 기록함
    • 6개 벤더만 결과를 반환함
    • Cerebras는 벤치마크를 완료한 유일한 비-GPU 벤더였음
    • Fireworks보다 11배, AWS보다 44배 빠름

지연 시간, 제공 일정, 가격

  • Llama 3.1 405B용 Cerebras Inference는 240ms 첫 토큰 시간을 기록함
    • 첫 토큰 시간은 실제 애플리케이션에서 사용자가 체감하는 핵심 지연 지표임
    • GPU 기반 솔루션에서는 초기 응답 시간이 수 초까지 늘어날 수 있음
  • GPT-4에서 Cerebras Inference로 전환한 고객은 전체 지연 시간이 75% 감소했다고 보고함
    • 음성 및 비디오 AI 애플리케이션처럼 실시간 상호작용이 중요한 사용 사례에서 사용자 경험 개선으로 이어짐
  • Llama 3.1 405B용 Cerebras Inference는 현재 고객 시험판으로 제공됨
    • 일반 제공은 2025년 1분기 예정임
    • 가격은 입력 100만 토큰당 $6, 출력 100만 토큰당 $12임
    • 출력 가격은 AWS, Azure, GCP보다 20% 낮음
  • Meta의 개방형 접근과 Cerebras의 추론 기술 조합으로 Llama 3.1 405B가 폐쇄형 프론티어 모델보다 10배 이상 빠르게 실행된다는 설명임
    • 낮은 지연 시간과 많은 추론 단계가 중요한 음성, 비디오, 추론 애플리케이션에 적합한 기반으로 소개됨

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 정말 놀라울 정도로 빠름. 8x H100 클러스터에서 직접 구현한 Llama 3.1 70B도 100 토큰/초를 넘기기 힘든데, 어떻게 하는지 궁금함
    일반적인 기법들, 예를 들어 추측 디코딩이나 FlashAttention만으로는 근처에도 못 갈 것 같고, 최소한 다중 노드 추론이나 희소 어텐션 같은 게 필요해 보임

    • Cerebras는 약 100만 코어 CPU를 만들고, GPU가 아니라 그 위에서 추론함. 완전히 다른 아키텍처라 네트워크가 끼지 않음
      HBM보다 CPU 캐시 쪽에서 상당 부분 처리하고 있을 가능성도 있음. 칩 설계를 이해하려면 TechTechPotato의 Cerebras 관련 YouTube 영상을 추천함
    • 8x H100보다 몇 배 더 큰 면적의 커스텀 실리콘으로 하고 있음. 실행/런타임 최적화도 당연히 있겠지만, 핵심 차이는 압도적인 트랜지스터 수일 것 같음
      https://cerebras.ai/product-chip/
    • 칩이 접시만 한 크기임. 사진을 보면 감이 옴: https://cerebras.ai/product-chip/
    • Cerebras는 칩 회사이고 GPU를 쓰지 않음. 이 칩은 웨이퍼 스케일 집적을 사용해서 물리적으로 웨이퍼 하나 전체 크기이며, GPU 수십 개를 하나로 합친 셈임
      온칩 메모리는 제한적이고 전부 SRAM이며, 웨이퍼당 HBM 대역폭이 어느 정도인지는 명확하지 않음. GPU 클러스터에서 돌리는 것과는 완전히 다른 최적화 문제임
    • 큰 비결은 두 가지임. 칩이 엄청나게 크고, 메모리로 SRAM을 써서 GPU의 HBM보다 훨씬 빠름
      사실 이게 그렇게 빠른 주된 이유임. Groq도 같은 이유로 속도가 나옴

  • 여기서 지연 시간을 정말 같은 조건으로 비교하는지는 잘 모르겠음. 지연 시간은 대략 세 부분, 즉 콘텍스트/프롬프트 처리량, 하드웨어 접근을 기다리는 대기열 시간, 네트워크 같은 일반 API 오버헤드로 나뉨
    비교 대상 서비스들 중 여러 곳, 어쩌면 전부가 예약된 용량 기반이 아니라서 측정값에 대기열 시간이 포함되는 것으로 이해함. LLM에서는 이 시간이 꽤 클 수 있음. 반면 Cerebras 수치는 보장된 하드웨어 접근을 받았을 가능성이 높아서 무한정 늘어나는 대기열 시간이 거의 포함되지 않았을 것 같음
    처리량 자체는 대단하지만, 최종 사용자에게 낮은 지연 시간으로 그 처리량을 제공하려면 과잉 프로비저닝이 필요하고, 대기열이 여기에 어떤 영향을 줄지는 불명확함. 또한 모델이 이미 준비된 머신 기준인지, 필요 시 모델 로딩 시간까지 포함하는지도 궁금함. 파인튜닝 모델을 쓰면 지연 시간이 달라지는지도 봐야 함
    Cerebras 머신을 100% 활용하며 계속 1천 토큰/초를 뽑을 수 있는 배치 작업에는 확실히 유리해 보임

    • 모두가 이상적인 조건이라고 가정하더라도 굉장함. 배치 크기 1에서, 405B 파라미터 모델이 1,000 토큰/초라니 말이 안 되게 빠름

  • 현재 세대 모델에 RAG, 다중 에이전트, 코드 인터프리터까지 붙여서 할 수 있는 일들을 보면, 이제 벽은 정확도가 아니라 모델 지연 시간에 가까움
    405B급 모델에서 이 정도 토큰 처리량이 나오면 가능해질 상호작용형 경험이 아주 많음

    • 규칙집이 장애 해결에 어떻게 도움이 되는지 잘 모르겠음. 장애는 매번 새로워야 한다고 생각함. 근본 원인을 고치기 때문임
      그래서 매번 코드나 최근 배포된 코드를 파고들고, 운영 지표와 상관관계를 봐야 함. 아니면 그 규칙집이 단순 롤백 절차라는 뜻인지 궁금함

  • 분명히 하자면 Cerebras 칩 하나는 웨이퍼 전체를 쓰면서도 그 위에 SRAM이 44GB뿐임. bf16 정밀도로 405B 모델을 올리려면 KV 캐시와 활성화 메모리를 제외해도 이런 “칩”이 19개 필요함
    시퀀스 길이가 늘어나면 KV 캐시 때문에 요구량은 더 커짐. 찾아보면 웨이퍼 하나에 H100 칩을 60~80개 정도 넣을 수 있다니, 웨이퍼 제조 비용 기준으로는 H100 1,500개 이상을 쓰는 것과 비슷함

    • 이 회사들이 이 기술에 쓰는 예산은 정말 상상을 초월함
    • 웨이퍼 비용이 실제 칩 가격에서 큰 비중을 차지하는지 궁금함

  • 정말 인상적인 성능임. Nvidia가 Cerebras 인수를 시도할 가능성이 꽤 높다고 봄

    • Cerebras는 IPO를 검토 중임. 인수 가능성은 낮아 보임. 그래도 인수된다면 Facebook이나 MS 쪽에 더 가치가 클 것 같음

  • API를 써보려면 대기 명단에 올라야 함. 회사가 이런 주장을 하면서도 서비스를 구매할 수 있게 제공하지 않는다면 어느 정도 회의적으로 볼 필요가 있음

  • AI 칩 스타트업들 중에서 Cerebras가 아마 진짜배기인 것 같음

    • Groq도 진짜임. 다만 Cerebras는 지금까지 Groq만큼 넓게 확장되지는 못하는 듯함. 앞으로 봐야 함
    • IPO에 딱 맞춰 나온 타이밍임

  • 직접 경쟁자인 Groq에 대한 언급이 없나?

    • Groq의 유료 고객으로 만족하며 쓰고 있지만, 405B 영역에서는 Cerebras와 경쟁이 안 됨
      Groq는 엔터프라이즈 미만 유료 고객도 받고, Cerebras처럼 매우 선별적으로 제공하지 않고 다양한 모델을 넓게 제공한다는 장점은 있음. 하지만 순수 속도와 최대급 모델 기준으로는 Groq가 비교되기 어려움
    • Sambanova도 자주 언급되지 않음 [0]. 공동창업자 중 한 명은 “멀티코어 프로세서의 아버지”로 알려져 있음 [1]
      [0]: https://sambanova.ai/
      [1]: https://en.wikipedia.org/wiki/Kunle_Olukotun

  • 이런 지연 시간으로 서비스하는 데 비용이 얼마나 드는지 궁금함. 고객 입장에서는 고정 비용이 가격 전략에 따라 달라지겠지만, 결국 비용이 이 기술의 확산 범위를 결정함
    지연 시간이 정말 필요한 비즈니스에만 맞는지, 아니면 일반적으로 배포할 수 있는 수준인지가 중요함

    • 모두가 거대한 칩을 만들고 SRAM을 쓰는 게 표준이 될 수도 있을까?
      SRAM 제조사는 얼마나 많을까? 아니면 반드시 칩 안에 완전히 통합되어야 하는 구조일까?

  • 새 하드웨어로 이런 성능 향상이 가능하다면, 학습 성능도 하드웨어로 얼마나 더 끌어올릴 수 있을지 궁금함

    • 머신러닝 쪽에 큰 변화가 없으면 엄청나게 크지는 않을 것 같음. 여기에는 효율 향상과 연산량 향상이라는 두 축이 있음
      연산량을 늘리는 게 속도를 올리는 가장 명확한 방법이지만, 특정 공정 노드와 데이터형 정밀도에서는 물리적 한계에 꽤 가까운 것 같음. 확실한 증명은 어렵지만 근거는 몇 가지 있음. LLM의 기본 연산인 행렬 곱셈은 CPU 작업과 달리 매우 단순해서 제어 흐름 로직 같은 부분이 많이 최소화되어 있음. 전력의 대부분을 행렬 곱셈 자체에 쓰고 있고, 행렬 곱셈은 실제로 전력 제약을 받음[1]. 정밀도를 바꾸면 이득이 있겠지만 어렵고, 이미 fp8처럼 매우 낮은 정밀도를 쓰고 있으며 fp8은 17도 표현하지 못함. 최근 연구도 한계를 보여줌
      LLM 학습 효율은 “모델 FLOPS 활용률(MFU)”이라는 매우 가혹한 기준으로 측정함. 하드웨어가 제공할 수 있는 이론상 FLOPS를, 수학 연산을 구현하는 데 필요한 이론상 FLOPS로 나누는 방식임. FSDP만 써도 30%는 쉽게 나오고, 50~60%도 불가능하거나 전례 없는 수준은 아님. 비효율은 주로 1) 하드웨어가 여러 이유로 표시된 FLOPS를 실제로 제공하지 못하고 2) 수만 대 머신 사이에서 테라바이트 단위 데이터를 동기화해야 하기 때문에 생김. 이론적 한계는 2배지만 실제로 더 짜낼 여지는 많지 않음
      앞으로의 이득은 대체로 Nvidia 마진을 줄이는 TPU, 공정 노드 개선, B100 같은 데이터형 축소, 또는 비용 큰 칩 간 통신을 줄이기 위한 칩 크기 확대에 집중될 것임. 같은 정밀도와 같은 공정 노드에서 10배 향상 여지는 없어 보임
      [1]: https://www.thonking.ai/p/strangely-matrix-multiplications
    • 궁극적인 해법은 LLM을 순수 ASIC으로 바꾸는 것일 듯함
      성능은 10배쯤 오를 것 같지만, 아주 비싼 해법이 됨
답변달기