# 라즈베리파이의 새로운 AI HAT, 로컬 LLM을 위한 8GB RAM 추가

> Clean Markdown view of GeekNews topic #25885. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=25885](https://news.hada.io/topic?id=25885)
- GeekNews Markdown: [https://news.hada.io/topic/25885.md](https://news.hada.io/topic/25885.md)
- Type: GN+
- Author: [neo](https://news.hada.io/@neo)
- Published: 2026-01-17T06:32:38+09:00
- Updated: 2026-01-17T06:32:38+09:00
- Original source: [jeffgeerling.com](https://www.jeffgeerling.com/blog/2026/raspberry-pi-ai-hat-2/)
- Points: 1
- Comments: 1

## Topic Body

- **Raspberry Pi AI HAT+ 2**는 **Hailo 10H NPU**와 **8GB LPDDR4X RAM**을 탑재해 로컬 **LLM 추론**을 독립적으로 수행할 수 있음  
- 최대 **3W 전력 소모**, **40 TOPS(INT8)** 성능을 제공하지만 실제 테스트에서는 **Pi 5 CPU보다 느린 결과**를 보임  
- **전력 제한(3W)** 과 **RAM 용량(8GB)** 이 병목으로 작용해, 중간 규모 모델 실행에는 **16GB Pi 5**가 더 효율적임  
- **비전 처리(Computer Vision)** 에서는 기존 AI HAT 대비 **10배 빠른 속도**를 보였으나, **소프트웨어 호환성 문제**와 **동시 모델 실행 오류**가 발생함  
- 저전력 환경에서 **비전 + 추론 병행**이 필요한 경우를 제외하면, **개발용 보드나 실험용 플랫폼**으로서의 가치가 더 큼  

---

### AI HAT+ 2의 주요 사양과 특징
- 새 모델은 **가격 130달러**, **Hailo 10H NPU**와 **8GB LPDDR4X RAM**을 포함  
  - Hailo 10H는 **40 TOPS INT8 추론 성능**과 **26 TOPS INT4 비전 성능**을 제공  
  - Pi의 CPU와 시스템 메모리를 점유하지 않고 **독립적으로 LLM 실행 가능**  
- **RAM 업그레이드 불가** 문제는 여전하지만, **AI 보조 프로세서**로 활용 시 메모리 부담을 줄일 수 있음  
- **eGPU 연결 대비 저렴하고 컴팩트**, Microsoft의 ‘AI PC’ 내장 NPU보다 실용적이라는 평가  

### 실제 성능 평가
- 테스트는 **8GB RAM 구성의 Raspberry Pi 5**에서 동일 모델을 CPU와 NPU로 각각 실행해 비교  
  - 대부분의 모델에서 **Pi 5 CPU가 Hailo 10H보다 빠른 성능**을 보임  
  - 유일하게 **Qwen2.5 Coder 1.5B** 모델에서만 근접한 결과  
- Hailo 10H는 **전력 효율성**은 높지만, **3W 전력 제한**으로 인해 성능이 제약됨  
  - Pi 5 SoC는 최대 **10W 전력 사용** 가능  

### LLM 실행 한계와 Qwen 30B 사례
- **8GB RAM**은 LLM 실행 시 가장 큰 제약 요소  
  - 중간 규모 모델은 **10~12GB RAM**을 요구하며, **16GB Pi 5**에서 더 적합  
- **ByteShape**는 **Qwen3 30B A3B Instruct** 모델을 **16GB Pi 5**에 맞게 **10GB로 압축**해 실행 성공  
  - 품질 손실은 있으나, **간단한 앱 생성 등 기본 작업 수행 가능**  
- **llama.cpp**를 이용해 Pi 5에서 모델을 실행한 결과, 속도는 느리지만 **로컬 모델로 실용적 작업 수행 가능**  

### 비전 처리 성능 및 소프트웨어 문제
- **Computer Vision** 작업에서는 **Pi CPU 대비 10배 빠른 처리 속도**를 보임  
  - **Camera Module 3**으로 테스트 시 키보드, 모니터, 휴대폰, 마우스 등을 정확히 인식  
- 그러나 **Hailo 예제 코드(hailo-rpi5-examples)** 는 아직 **AI HAT+ 2 지원 미비**  
  - 수동 설정 시 **모델 로드 실패** 또는 **오류 발생**  
- **동시 모델 실행(비전 + LLM)** 시 **세그멘테이션 오류**와 **‘device not ready’** 문제 발생  
  - **Hailo의 작동 예시 부재**로 테스트 완료 불가  

### 결론 및 활용 가능성
- **8GB RAM**은 유용하지만, **16GB Pi 5**가 더 빠르고 유연한 선택  
- **저전력 환경에서 비전 처리와 추론을 병행해야 하는 경우**에 한해 실용성 존재  
- **AI Camera(70달러)** 나 **기존 AI HAT+(110달러)** 조합이 더 효율적일 수 있음  
- **소형 LLM 실행(10W 이하)** 또는 **Hailo 10H 기반 장치 개발용 키트**로서의 활용 가능성  
- 전반적으로 **하드웨어는 앞서 있으나 소프트웨어 완성도 부족**, **니치한 용도 중심의 제품**으로 평가됨

## Comments



### Comment 49365

- Author: neo
- Created: 2026-01-17T06:32:39+09:00
- Points: 1

###### [Hacker News 의견들](https://news.ycombinator.com/item?id=46629682) 
- 몇 분 사이에 **8GB AI HAT**이 RPi용으로 대단하다는 의견과, 내 **M2 MAX 96GB MacBook**이 LLM에는 쓸모없다는 의견을 동시에 보게 됨  
  그래도 후자는 훌륭한 노트북이기도 하다는 점이 위안임  

- Raspberry가 예전 Pi 시절의 **‘마법’과 목적의식**을 잃은 것 같음  
  초창기에는 새로운 시장을 만들었지만, 지금은 이미 포화된 분야에 뛰어드는 느낌임  
  물론 생존을 위해 확장하려는 건 이해하지만, 예전처럼 ‘Raspberry Pi 순간’을 다시 만들지는 못한 듯함  
  Frigate 같은 솔루션이 Coral TPU 판매를 끌어올렸듯, 이번에도 그런 수요가 있을 수는 있겠지만, **고유한 가치 제안**이 부족해 보임
  - 예전 RPi는 독보적이었지만 지금은 **중고 노트북**이나 **ESP32** 같은 대안이 훨씬 효율적임  
    이제 RPi는 산업용 임베디드 보드보다 저렴하다는 이유로 **상업용 시장**을 겨냥하는 듯함  
    소비자보다는 기업 고객이 주요 대상이 된 느낌임  
  - 그래도 RPi의 강점은 여전히 **탄탄한 소프트웨어 생태계**와 오픈성임  
    다른 SBC들은 소프트웨어 품질이 엉망이었는데, Raspbian과의 결합이 진짜 혁신이었음  
  - 다른 ARM 기기 중에서 소비자나 소기업이 **지속적으로 구매 가능한 합리적 가격대**의 제품은 거의 없음  
    RPi는 여전히 이런 틈새를 채워주는 존재임  
  - 사실 RPi는 사람들이 이미 사용하던 방향으로 제품을 발전시켰음  
    **Pico**는 소형 작업용, 새 Pi는 대형 작업용, 구형 Pi와 Zero는 여전히 판매 중임  
    AI 관련 제품도 이런 흐름의 연장선으로, Pi5에서 AI를 하던 사람들을 위한 자연스러운 확장임  
  - 예전 Pi도 여전히 저렴하고 잘 작동함  
    Pi의 본질은 **GPIO + 범용 컴퓨팅**이고, 이제 AI도 그 일부가 되었음  
    로컬 AI로 할 수 있는 일들이 놀라울 정도로 많아졌고, **드론·로봇의 자율 주행** 같은 새로운 활용이 가능해짐  

- 실제로는 그리 대단하지 않음  
  Pi에서 **8GB RAM으로 AI**를 돌린다는 건 다소 실망스러움  

- 영국에서는 **Hailo HAT**이 LLM용으로 광고된 걸 본 적이 없음  
  주로 **실시간 영상 객체 탐지**용으로 쓰였고, 나도 집과 정원에서 동물이나 방문자 감지용으로 써보고 싶음  
  최근 Pimonori 버전에서는 LLM과 VLM 지원을 언급하긴 하지만, 그쪽이 더 현실적인 활용 같음  

- “8GB? 개미용 LLM인가?”라는 농담이 나올 정도임  
  - CPU 추론만으로도 **Gemma 3** 같은 경량 모델은 꽤 잘 돌아감  
    무거운 작업엔 부적합하지만, 단순한 텍스트 생성 정도는 충분히 가능함  
  - 사실 GPT-4 수준을 기대하기보다는 **Pi에서 가능한 것의 시연**에 가깝음  
    초소형 특화 LLM을 위한 실험용임  
    다만 **비싼 가격 대비 비전 처리 향상폭이 작고**, 소프트웨어 지원도 부족한 점이 문제임  

- 몇 년 전만 해도 이런 제품은 그냥 **ML 가속기**로 불렸을 것임  
  하지만 요즘은 ‘AI’라는 이름을 붙이면서 기대치가 달라져, 평가가 엇갈리는 듯함  

- 작은 LLM이 **임베딩이나 학습 외에** 쓸모가 있는지 모르겠음  
  학습용이라면 더 나은 하드웨어를 더 싸게 쓸 수 있고, 임베딩용이라면 느리고 비쌀 뿐임  
  - 그래도 **자연어 기반 스마트홈 인터페이스**처럼 특정 목적에 맞게 미세조정하면 쓸모가 있음  
    작은 모델도 **특화된 데이터로 파인튜닝**하면 훨씬 큰 범용 모델에 근접한 성능을 낼 수 있음  

- 흥미로운 아이디어지만, 이 용도라면 **Jetson Orin Nano**가 더 나은 선택임  
  다만 RAM이 공유되어 OS 오버헤드로 약 1GB를 잃는 게 단점임  

- “LLM을 실행할 수 있다”는 말이 “LLM을 실행하는 게 합리적이다”는 뜻은 아님  
  **스펙 숫자와 실제 경험**은 전혀 다름을 보여주는 사례임  

- **엣지 컴퓨팅** 관점에서 보면, 이번 시도는 RPi 생태계의 의미 있는 도약임  
  저전력 추론 가속기가 내장되면 **클라우드 없이 로컬 AI**를 구현할 수 있음  
  아직 초기 단계지만, 진짜 엣지 워크로드를 위한 올바른 방향임  
  - 어떤 구체적 활용을 염두에 둔 건지 궁금함