3P by neo 12일전 | favorite | 댓글 1개
  • Tenstorrent의 강점
    • RISC-V 기반 고성능 CPU와 AI 코어를 개발하며, AI 하드웨어 분야에서 독창적인 접근법을 보여줌
    • 모든 소프트웨어 스택과 개발자 도구를 오픈 소스로 공개, 개발자 친화적 생태계 구축
    • 가격 경쟁력을 갖춘 Samsung Foundry SF4X 공정을 활용하여 차별화된 AI 칩셋 생산 가능
  • 단점 및 우려
    • AI 하드웨어 시장에서 Nvidia의 강력한 지배력
    • GPU 중심의 경쟁사와 비교 시, Tenstorrent의 상대적 약점은 아직 높은 지연(latency) 문제
  • 시장 위치
    • Tenstorrent는 AI 하드웨어 및 RISC-V IP의 가능성을 통해 Nvidia, AMD, ARM과 차별화된 가치를 제공
    • Inference(추론) 중심으로 초점을 맞춘 전략이 시장에서 성공 가능성을 높임

Tenstorrent의 기술적 개요

  • Grendel (3세대 AI 칩셋) 주요 특징
    • 칩렛(chiplet) 아키텍처 도입: 고성능 RISC-V CPU 코어와 AI 코어를 분리
    • 각 코어 간 효율적인 데이터 이동을 위해 메시 토폴로지 설계
  • 코어 구조
    • 큰 RISC-V 코어: 리눅스 실행 가능, 범용 코드 처리용
    • Baby RISC-V 코어: 초소형 코어로 데이터 이동 및 커널 실행에 사용. 752개 코어가 전체 다이 면적의 1% 미만 차지
    • Tensix 코어: 벡터 및 매트릭스 연산 전용 AI 컴퓨팅 유닛. 각 Tensix 코어는 5개의 Baby RISC-V 코어가 커널 실행 관리
  • 컴파일러
    • GCC를 기반으로 수정된 컴파일러 사용. 사용자는 단일 커널만 작성하면 GCC가 자동으로 처리

AI 하드웨어 스타트업의 도전 과제

  1. 훈련(Training) 시장 경쟁
    • Nvidia의 H100 GPU가 시장을 지배
    • Amazon, Google 등 대형 클라우드 기업은 반도체 설계 파트너와 협력해 자체 칩 생산
  2. 추론(Inference) 시장의 기회
    • 비용과 성능에서 Nvidia와 경쟁 가능성이 있음
    • 삼성 공정과 HBM 미사용으로 인한 가격 경쟁력
  3. 고객 확보
    • 소형 기업이나 스타트업을 대상으로 한 Inference 중심 하드웨어 시장이 주요 타겟

Tenstorrent의 소프트웨어 전략

  • 6번째 버전의 소프트웨어 스택
    • 다양한 개발자와 사용자에 맞춘 접근성 제공 (ML 모델부터 저수준 커널까지)
    • Discord 커뮤니티와 협력하며 혁신적인 커널 개발
  • 과거의 문제 해결
    • 이전에는 하드웨어마다 소프트웨어 스택을 새로 구축해야 했음
    • 이제는 하드웨어와 무관하게 동작하는 통합 소프트웨어 스택을 개발

기술적 논의와 결론

  • Tenstorrent의 철학
    • "AI의 미래는 순수한 선형 대수 작업이 아니라 혼합 작업"
    • CPU와 AI 코어의 통합 필요성 강조
  • Jim Keller의 비전
    • 미래 AI 워크로드가 CPU 통합을 요구한다면, Tenstorrent가 유일한 준비된 벤더
  • 시장 전망
    • AI 훈련 시장은 Nvidia의 독점적 지위로 인해 스타트업에게 거의 기회가 없음
    • 추론 시장에서 혁신적인 접근법으로 성공 가능성이 있음
    • 2세대 Blackhole과 3세대 Grendel의 성능이 향후 중요한 평가 기준이 될 것

투자 및 기업 가치

  • Tenstorrent의 현재 가치 평가
    • 최근 시리즈 D 라운드에서 20억 달러 평가
    • RISC-V IP 시장에서 ARM의 가격 인상과 관련된 기회 포착
  • 경쟁사와 비교
    • Cerebras 등 다른 AI 하드웨어 스타트업과 비교해 기술력과 시장 적합성이 우수
    • Nvidia 대비 CUDA 생태계에서의 경쟁력 약점
  • 향후 전략
    • Inference 시장에 주력하며 경쟁력 유지
    • 개발자 생태계와 오픈 소스 중심의 철학 지속

결론

  • Tenstorrent는 AI 하드웨어와 RISC-V CPU 설계에서 독창적 접근법을 취하며, Nvidia와 ARM이 지배하는 시장에서 중요한 차별화 요소를 제공
  • 추론 시장에서의 성장 가능성이 높으며, AI 스타트업 중에서 투자 가치가 높은 기업으로 평가.
Hacker News 의견
  • 고성능 컴퓨팅 대여 사업을 운영 중이며, 누구나 쉽게 접근할 수 있도록 컴퓨팅을 민주화하고 싶음. Nvidia의 지배적인 위치 때문에 다른 장비에 대한 관심이 부족함을 느낌. 이러한 서비스에 대한 관심과 수요가 증가하길 바람.
    • ARM이 라이선스 가격과 로열티를 인상하면서 RISC-V CPU IP의 미래가 밝다고 생각함. 계약을 깨는 회사들이 늘고 있어 우려됨.
    • AI 하드웨어라기보다는 전통적인 고성능 컴퓨팅의 축소판으로, AI 열풍과 상관없이 다양한 작업에 유용할 것임.
    • Tenstorrent는 AI의 미래가 혼합 작업 부하에 있다고 봄. CPU 작업 부하가 필요할 것이며, 현재까지는 큰 변화가 없음.
    • Groq의 사기 가능성을 언급하며, Llama 3.1 405B가 주니어 엔지니어를 대체할 수 있다고 주장함.
    • ARM-Qualcomm 분쟁을 거의 잊고 있었으며, 곧 큰 변화가 있을 것임.
    • AMD와 NVIDIA가 데이터 센터 및 슈퍼컴퓨팅 시장에 적극적으로 진출하면 좋겠다고 생각함. 현재의 상황은 스포츠 팀 팬덤과 같다고 비유함.
    • Tenstorrent 팀의 개방적인 토론 태도를 칭찬하며, 더 많은 회사들이 이렇게 되길 바람.
    • Llama가 시니어 엔지니어에게는 유용하지만 주니어 엔지니어의 학습을 방해할 수 있다는 우려가 있음. 주니어 엔지니어가 효과적으로 학습하고 이해할 수 있는 방법을 고민해야 함.
    • Llama 3.1 405B가 주니어 엔지니어를 대체할 수 있다는 주장에 대해 비웃음.