# Tenstorrent와 AI 하드웨어 스타트업 현황

> Clean Markdown view of GeekNews topic #18283. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=18283](https://news.hada.io/topic?id=18283)
- GeekNews Markdown: [https://news.hada.io/topic/18283.md](https://news.hada.io/topic/18283.md)
- Type: GN+
- Author: [neo](https://news.hada.io/@neo)
- Published: 2024-12-16T09:55:09+09:00
- Updated: 2024-12-16T09:55:09+09:00
- Original source: [irrationalanalysis.substack.com](https://irrationalanalysis.substack.com/p/tenstorrent-and-the-state-of-ai-hardware)
- Points: 3
- Comments: 1

## Topic Body

- **Tenstorrent의 강점**  
  - RISC-V 기반 고성능 CPU와 AI 코어를 개발하며, AI 하드웨어 분야에서 독창적인 접근법을 보여줌  
  - 모든 소프트웨어 스택과 개발자 도구를 **오픈 소스**로 공개, 개발자 친화적 생태계 구축  
  - 가격 경쟁력을 갖춘 **Samsung Foundry SF4X 공정**을 활용하여 차별화된 AI 칩셋 생산 가능  
- **단점 및 우려**  
  - AI 하드웨어 시장에서 Nvidia의 강력한 지배력  
  - GPU 중심의 경쟁사와 비교 시, Tenstorrent의 상대적 약점은 아직 높은 **지연(latency)** 문제  
- **시장 위치**  
  - Tenstorrent는 AI 하드웨어 및 RISC-V IP의 가능성을 통해 Nvidia, AMD, ARM과 차별화된 가치를 제공  
  - **Inference(추론) 중심**으로 초점을 맞춘 전략이 시장에서 성공 가능성을 높임  
  
#### Tenstorrent의 기술적 개요  
- **Grendel (3세대 AI 칩셋) 주요 특징**  
  - **칩렛(chiplet) 아키텍처** 도입: 고성능 RISC-V CPU 코어와 AI 코어를 분리  
  - 각 코어 간 효율적인 데이터 이동을 위해 메시 토폴로지 설계  
- **코어 구조**  
  - **큰 RISC-V 코어**: 리눅스 실행 가능, 범용 코드 처리용  
  - **Baby RISC-V 코어**: 초소형 코어로 데이터 이동 및 커널 실행에 사용. 752개 코어가 전체 다이 면적의 1% 미만 차지  
  - **Tensix 코어**: 벡터 및 매트릭스 연산 전용 AI 컴퓨팅 유닛. 각 Tensix 코어는 5개의 Baby RISC-V 코어가 커널 실행 관리  
- **컴파일러**  
  - GCC를 기반으로 수정된 컴파일러 사용. 사용자는 단일 커널만 작성하면 GCC가 자동으로 처리  
  
#### AI 하드웨어 스타트업의 도전 과제  
1. **훈련(Training) 시장 경쟁**  
   - Nvidia의 H100 GPU가 시장을 지배  
   - Amazon, Google 등 대형 클라우드 기업은 반도체 설계 파트너와 협력해 자체 칩 생산  
2. **추론(Inference) 시장의 기회**  
   - 비용과 성능에서 Nvidia와 경쟁 가능성이 있음  
   - **삼성 공정과 HBM 미사용**으로 인한 가격 경쟁력  
3. **고객 확보**  
   - 소형 기업이나 스타트업을 대상으로 한 Inference 중심 하드웨어 시장이 주요 타겟  
  
#### Tenstorrent의 소프트웨어 전략  
- **6번째 버전의 소프트웨어 스택**  
  - 다양한 개발자와 사용자에 맞춘 접근성 제공 (ML 모델부터 저수준 커널까지)  
  - Discord 커뮤니티와 협력하며 혁신적인 커널 개발  
- **과거의 문제 해결**  
  - 이전에는 하드웨어마다 소프트웨어 스택을 새로 구축해야 했음  
  - 이제는 하드웨어와 무관하게 동작하는 통합 소프트웨어 스택을 개발  
  
#### 기술적 논의와 결론  
- **Tenstorrent의 철학**  
  - "AI의 미래는 순수한 선형 대수 작업이 아니라 혼합 작업"  
  - CPU와 AI 코어의 통합 필요성 강조  
- **Jim Keller의 비전**  
  - 미래 AI 워크로드가 CPU 통합을 요구한다면, Tenstorrent가 유일한 준비된 벤더  
- **시장 전망**  
  - AI 훈련 시장은 Nvidia의 독점적 지위로 인해 스타트업에게 거의 기회가 없음  
  - 추론 시장에서 혁신적인 접근법으로 성공 가능성이 있음  
  - 2세대 Blackhole과 3세대 Grendel의 성능이 향후 중요한 평가 기준이 될 것  
  
#### 투자 및 기업 가치  
- **Tenstorrent의 현재 가치 평가**  
  - 최근 시리즈 D 라운드에서 20억 달러 평가  
  - RISC-V IP 시장에서 ARM의 가격 인상과 관련된 기회 포착  
- **경쟁사와 비교**  
  - Cerebras 등 다른 AI 하드웨어 스타트업과 비교해 기술력과 시장 적합성이 우수  
  - Nvidia 대비 CUDA 생태계에서의 경쟁력 약점  
- **향후 전략**  
  - Inference 시장에 주력하며 경쟁력 유지  
  - 개발자 생태계와 오픈 소스 중심의 철학 지속  
  
#### 결론  
- Tenstorrent는 AI 하드웨어와 RISC-V CPU 설계에서 독창적 접근법을 취하며, Nvidia와 ARM이 지배하는 시장에서 중요한 차별화 요소를 제공  
- 추론 시장에서의 성장 가능성이 높으며, AI 스타트업 중에서 투자 가치가 높은 기업으로 평가.

## Comments



### Comment 32379

- Author: neo
- Created: 2024-12-16T09:55:09+09:00
- Points: 1

###### [Hacker News 의견](https://news.ycombinator.com/item?id=42421157) 
- 고성능 컴퓨팅 대여 사업을 운영 중이며, 누구나 쉽게 접근할 수 있도록 컴퓨팅을 민주화하고 싶음. Nvidia의 지배적인 위치 때문에 다른 장비에 대한 관심이 부족함을 느낌. 이러한 서비스에 대한 관심과 수요가 증가하길 바람.
  - ARM이 라이선스 가격과 로열티를 인상하면서 RISC-V CPU IP의 미래가 밝다고 생각함. 계약을 깨는 회사들이 늘고 있어 우려됨.
  - AI 하드웨어라기보다는 전통적인 고성능 컴퓨팅의 축소판으로, AI 열풍과 상관없이 다양한 작업에 유용할 것임.
  - Tenstorrent는 AI의 미래가 혼합 작업 부하에 있다고 봄. CPU 작업 부하가 필요할 것이며, 현재까지는 큰 변화가 없음.
  - Groq의 사기 가능성을 언급하며, Llama 3.1 405B가 주니어 엔지니어를 대체할 수 있다고 주장함.
  - ARM-Qualcomm 분쟁을 거의 잊고 있었으며, 곧 큰 변화가 있을 것임.
  - AMD와 NVIDIA가 데이터 센터 및 슈퍼컴퓨팅 시장에 적극적으로 진출하면 좋겠다고 생각함. 현재의 상황은 스포츠 팀 팬덤과 같다고 비유함.
  - Tenstorrent 팀의 개방적인 토론 태도를 칭찬하며, 더 많은 회사들이 이렇게 되길 바람.
  - Llama가 시니어 엔지니어에게는 유용하지만 주니어 엔지니어의 학습을 방해할 수 있다는 우려가 있음. 주니어 엔지니어가 효과적으로 학습하고 이해할 수 있는 방법을 고민해야 함.
  - Llama 3.1 405B가 주니어 엔지니어를 대체할 수 있다는 주장에 대해 비웃음.