▲

라즈베리파이의 새로운 AI HAT, 로컬 LLM을 위한 8GB RAM 추가

 (jeffgeerling.com)
1P by GN⁺ 6시간전 | ★ favorite | 댓글 1개
  • Raspberry Pi AI HAT+ 2는 Hailo 10H NPU와 8GB LPDDR4X RAM을 탑재해 로컬 LLM 추론을 독립적으로 수행할 수 있음
  • 최대 3W 전력 소모, 40 TOPS(INT8) 성능을 제공하지만 실제 테스트에서는 Pi 5 CPU보다 느린 결과를 보임
  • 전력 제한(3W) 과 RAM 용량(8GB) 이 병목으로 작용해, 중간 규모 모델 실행에는 16GB Pi 5가 더 효율적임
  • 비전 처리(Computer Vision) 에서는 기존 AI HAT 대비 10배 빠른 속도를 보였으나, 소프트웨어 호환성 문제와 동시 모델 실행 오류가 발생함
  • 저전력 환경에서 비전 + 추론 병행이 필요한 경우를 제외하면, 개발용 보드나 실험용 플랫폼으로서의 가치가 더 큼

AI HAT+ 2의 주요 사양과 특징

  • 새 모델은 가격 130달러, Hailo 10H NPU와 8GB LPDDR4X RAM을 포함
    • Hailo 10H는 40 TOPS INT8 추론 성능과 26 TOPS INT4 비전 성능을 제공
    • Pi의 CPU와 시스템 메모리를 점유하지 않고 독립적으로 LLM 실행 가능
  • RAM 업그레이드 불가 문제는 여전하지만, AI 보조 프로세서로 활용 시 메모리 부담을 줄일 수 있음
  • eGPU 연결 대비 저렴하고 컴팩트, Microsoft의 ‘AI PC’ 내장 NPU보다 실용적이라는 평가

실제 성능 평가

  • 테스트는 8GB RAM 구성의 Raspberry Pi 5에서 동일 모델을 CPU와 NPU로 각각 실행해 비교
    • 대부분의 모델에서 Pi 5 CPU가 Hailo 10H보다 빠른 성능을 보임
    • 유일하게 Qwen2.5 Coder 1.5B 모델에서만 근접한 결과
  • Hailo 10H는 전력 효율성은 높지만, 3W 전력 제한으로 인해 성능이 제약됨
    • Pi 5 SoC는 최대 10W 전력 사용 가능

LLM 실행 한계와 Qwen 30B 사례

  • 8GB RAM은 LLM 실행 시 가장 큰 제약 요소
    • 중간 규모 모델은 10~12GB RAM을 요구하며, 16GB Pi 5에서 더 적합
  • ByteShape는 Qwen3 30B A3B Instruct 모델을 16GB Pi 5에 맞게 10GB로 압축해 실행 성공
    • 품질 손실은 있으나, 간단한 앱 생성 등 기본 작업 수행 가능
  • llama.cpp를 이용해 Pi 5에서 모델을 실행한 결과, 속도는 느리지만 로컬 모델로 실용적 작업 수행 가능

비전 처리 성능 및 소프트웨어 문제

  • Computer Vision 작업에서는 Pi CPU 대비 10배 빠른 처리 속도를 보임
    • Camera Module 3으로 테스트 시 키보드, 모니터, 휴대폰, 마우스 등을 정확히 인식
  • 그러나 Hailo 예제 코드(hailo-rpi5-examples) 는 아직 AI HAT+ 2 지원 미비
    • 수동 설정 시 모델 로드 실패 또는 오류 발생
  • 동시 모델 실행(비전 + LLM) 시 세그멘테이션 오류와 ‘device not ready’ 문제 발생
    • Hailo의 작동 예시 부재로 테스트 완료 불가

결론 및 활용 가능성

  • 8GB RAM은 유용하지만, 16GB Pi 5가 더 빠르고 유연한 선택
  • 저전력 환경에서 비전 처리와 추론을 병행해야 하는 경우에 한해 실용성 존재
  • AI Camera(70달러) 나 기존 AI HAT+(110달러) 조합이 더 효율적일 수 있음
  • 소형 LLM 실행(10W 이하) 또는 Hailo 10H 기반 장치 개발용 키트로서의 활용 가능성
  • 전반적으로 하드웨어는 앞서 있으나 소프트웨어 완성도 부족, 니치한 용도 중심의 제품으로 평가됨
▲
GN⁺ 6시간전  [-]
Hacker News 의견들

  • 몇 분 사이에 8GB AI HAT이 RPi용으로 대단하다는 의견과, 내 M2 MAX 96GB MacBook이 LLM에는 쓸모없다는 의견을 동시에 보게 됨
    그래도 후자는 훌륭한 노트북이기도 하다는 점이 위안임

  • Raspberry가 예전 Pi 시절의 ‘마법’과 목적의식을 잃은 것 같음
    초창기에는 새로운 시장을 만들었지만, 지금은 이미 포화된 분야에 뛰어드는 느낌임
    물론 생존을 위해 확장하려는 건 이해하지만, 예전처럼 ‘Raspberry Pi 순간’을 다시 만들지는 못한 듯함
    Frigate 같은 솔루션이 Coral TPU 판매를 끌어올렸듯, 이번에도 그런 수요가 있을 수는 있겠지만, 고유한 가치 제안이 부족해 보임

    • 예전 RPi는 독보적이었지만 지금은 중고 노트북이나 ESP32 같은 대안이 훨씬 효율적임
      이제 RPi는 산업용 임베디드 보드보다 저렴하다는 이유로 상업용 시장을 겨냥하는 듯함
      소비자보다는 기업 고객이 주요 대상이 된 느낌임
    • 그래도 RPi의 강점은 여전히 탄탄한 소프트웨어 생태계와 오픈성임
      다른 SBC들은 소프트웨어 품질이 엉망이었는데, Raspbian과의 결합이 진짜 혁신이었음
    • 다른 ARM 기기 중에서 소비자나 소기업이 지속적으로 구매 가능한 합리적 가격대의 제품은 거의 없음
      RPi는 여전히 이런 틈새를 채워주는 존재임
    • 사실 RPi는 사람들이 이미 사용하던 방향으로 제품을 발전시켰음
      Pico는 소형 작업용, 새 Pi는 대형 작업용, 구형 Pi와 Zero는 여전히 판매 중임
      AI 관련 제품도 이런 흐름의 연장선으로, Pi5에서 AI를 하던 사람들을 위한 자연스러운 확장임
    • 예전 Pi도 여전히 저렴하고 잘 작동함
      Pi의 본질은 GPIO + 범용 컴퓨팅이고, 이제 AI도 그 일부가 되었음
      로컬 AI로 할 수 있는 일들이 놀라울 정도로 많아졌고, 드론·로봇의 자율 주행 같은 새로운 활용이 가능해짐

  • 실제로는 그리 대단하지 않음
    Pi에서 8GB RAM으로 AI를 돌린다는 건 다소 실망스러움

  • 영국에서는 Hailo HAT이 LLM용으로 광고된 걸 본 적이 없음
    주로 실시간 영상 객체 탐지용으로 쓰였고, 나도 집과 정원에서 동물이나 방문자 감지용으로 써보고 싶음
    최근 Pimonori 버전에서는 LLM과 VLM 지원을 언급하긴 하지만, 그쪽이 더 현실적인 활용 같음

  • “8GB? 개미용 LLM인가?”라는 농담이 나올 정도임

    • CPU 추론만으로도 Gemma 3 같은 경량 모델은 꽤 잘 돌아감
      무거운 작업엔 부적합하지만, 단순한 텍스트 생성 정도는 충분히 가능함
    • 사실 GPT-4 수준을 기대하기보다는 Pi에서 가능한 것의 시연에 가깝음
      초소형 특화 LLM을 위한 실험용임
      다만 비싼 가격 대비 비전 처리 향상폭이 작고, 소프트웨어 지원도 부족한 점이 문제임

  • 몇 년 전만 해도 이런 제품은 그냥 ML 가속기로 불렸을 것임
    하지만 요즘은 ‘AI’라는 이름을 붙이면서 기대치가 달라져, 평가가 엇갈리는 듯함

  • 작은 LLM이 임베딩이나 학습 외에 쓸모가 있는지 모르겠음
    학습용이라면 더 나은 하드웨어를 더 싸게 쓸 수 있고, 임베딩용이라면 느리고 비쌀 뿐임

    • 그래도 자연어 기반 스마트홈 인터페이스처럼 특정 목적에 맞게 미세조정하면 쓸모가 있음
      작은 모델도 특화된 데이터로 파인튜닝하면 훨씬 큰 범용 모델에 근접한 성능을 낼 수 있음

  • 흥미로운 아이디어지만, 이 용도라면 Jetson Orin Nano가 더 나은 선택임
    다만 RAM이 공유되어 OS 오버헤드로 약 1GB를 잃는 게 단점임

  • “LLM을 실행할 수 있다”는 말이 “LLM을 실행하는 게 합리적이다”는 뜻은 아님
    스펙 숫자와 실제 경험은 전혀 다름을 보여주는 사례임

  • 엣지 컴퓨팅 관점에서 보면, 이번 시도는 RPi 생태계의 의미 있는 도약임
    저전력 추론 가속기가 내장되면 클라우드 없이 로컬 AI를 구현할 수 있음
    아직 초기 단계지만, 진짜 엣지 워크로드를 위한 올바른 방향임

    • 어떤 구체적 활용을 염두에 둔 건지 궁금함
답변달기