몇 분 사이에 8GB AI HAT이 RPi용으로 대단하다는 의견과, 내 M2 MAX 96GB MacBook이 LLM에는 쓸모없다는 의견을 동시에 보게 됨
그래도 후자는 훌륭한 노트북이기도 하다는 점이 위안임
Raspberry가 예전 Pi 시절의 ‘마법’과 목적의식을 잃은 것 같음
초창기에는 새로운 시장을 만들었지만, 지금은 이미 포화된 분야에 뛰어드는 느낌임
물론 생존을 위해 확장하려는 건 이해하지만, 예전처럼 ‘Raspberry Pi 순간’을 다시 만들지는 못한 듯함
Frigate 같은 솔루션이 Coral TPU 판매를 끌어올렸듯, 이번에도 그런 수요가 있을 수는 있겠지만, 고유한 가치 제안이 부족해 보임
예전 RPi는 독보적이었지만 지금은 중고 노트북이나 ESP32 같은 대안이 훨씬 효율적임
이제 RPi는 산업용 임베디드 보드보다 저렴하다는 이유로 상업용 시장을 겨냥하는 듯함
소비자보다는 기업 고객이 주요 대상이 된 느낌임
그래도 RPi의 강점은 여전히 탄탄한 소프트웨어 생태계와 오픈성임
다른 SBC들은 소프트웨어 품질이 엉망이었는데, Raspbian과의 결합이 진짜 혁신이었음
다른 ARM 기기 중에서 소비자나 소기업이 지속적으로 구매 가능한 합리적 가격대의 제품은 거의 없음
RPi는 여전히 이런 틈새를 채워주는 존재임
사실 RPi는 사람들이 이미 사용하던 방향으로 제품을 발전시켰음 Pico는 소형 작업용, 새 Pi는 대형 작업용, 구형 Pi와 Zero는 여전히 판매 중임
AI 관련 제품도 이런 흐름의 연장선으로, Pi5에서 AI를 하던 사람들을 위한 자연스러운 확장임
예전 Pi도 여전히 저렴하고 잘 작동함
Pi의 본질은 GPIO + 범용 컴퓨팅이고, 이제 AI도 그 일부가 되었음
로컬 AI로 할 수 있는 일들이 놀라울 정도로 많아졌고, 드론·로봇의 자율 주행 같은 새로운 활용이 가능해짐
실제로는 그리 대단하지 않음
Pi에서 8GB RAM으로 AI를 돌린다는 건 다소 실망스러움
영국에서는 Hailo HAT이 LLM용으로 광고된 걸 본 적이 없음
주로 실시간 영상 객체 탐지용으로 쓰였고, 나도 집과 정원에서 동물이나 방문자 감지용으로 써보고 싶음
최근 Pimonori 버전에서는 LLM과 VLM 지원을 언급하긴 하지만, 그쪽이 더 현실적인 활용 같음
“8GB? 개미용 LLM인가?”라는 농담이 나올 정도임
CPU 추론만으로도 Gemma 3 같은 경량 모델은 꽤 잘 돌아감
무거운 작업엔 부적합하지만, 단순한 텍스트 생성 정도는 충분히 가능함
사실 GPT-4 수준을 기대하기보다는 Pi에서 가능한 것의 시연에 가깝음
초소형 특화 LLM을 위한 실험용임
다만 비싼 가격 대비 비전 처리 향상폭이 작고, 소프트웨어 지원도 부족한 점이 문제임
몇 년 전만 해도 이런 제품은 그냥 ML 가속기로 불렸을 것임
하지만 요즘은 ‘AI’라는 이름을 붙이면서 기대치가 달라져, 평가가 엇갈리는 듯함
작은 LLM이 임베딩이나 학습 외에 쓸모가 있는지 모르겠음
학습용이라면 더 나은 하드웨어를 더 싸게 쓸 수 있고, 임베딩용이라면 느리고 비쌀 뿐임
그래도 자연어 기반 스마트홈 인터페이스처럼 특정 목적에 맞게 미세조정하면 쓸모가 있음
작은 모델도 특화된 데이터로 파인튜닝하면 훨씬 큰 범용 모델에 근접한 성능을 낼 수 있음
흥미로운 아이디어지만, 이 용도라면 Jetson Orin Nano가 더 나은 선택임
다만 RAM이 공유되어 OS 오버헤드로 약 1GB를 잃는 게 단점임
“LLM을 실행할 수 있다”는 말이 “LLM을 실행하는 게 합리적이다”는 뜻은 아님 스펙 숫자와 실제 경험은 전혀 다름을 보여주는 사례임
엣지 컴퓨팅 관점에서 보면, 이번 시도는 RPi 생태계의 의미 있는 도약임
저전력 추론 가속기가 내장되면 클라우드 없이 로컬 AI를 구현할 수 있음
아직 초기 단계지만, 진짜 엣지 워크로드를 위한 올바른 방향임
Hacker News 의견들
몇 분 사이에 8GB AI HAT이 RPi용으로 대단하다는 의견과, 내 M2 MAX 96GB MacBook이 LLM에는 쓸모없다는 의견을 동시에 보게 됨
그래도 후자는 훌륭한 노트북이기도 하다는 점이 위안임
Raspberry가 예전 Pi 시절의 ‘마법’과 목적의식을 잃은 것 같음
초창기에는 새로운 시장을 만들었지만, 지금은 이미 포화된 분야에 뛰어드는 느낌임
물론 생존을 위해 확장하려는 건 이해하지만, 예전처럼 ‘Raspberry Pi 순간’을 다시 만들지는 못한 듯함
Frigate 같은 솔루션이 Coral TPU 판매를 끌어올렸듯, 이번에도 그런 수요가 있을 수는 있겠지만, 고유한 가치 제안이 부족해 보임
이제 RPi는 산업용 임베디드 보드보다 저렴하다는 이유로 상업용 시장을 겨냥하는 듯함
소비자보다는 기업 고객이 주요 대상이 된 느낌임
다른 SBC들은 소프트웨어 품질이 엉망이었는데, Raspbian과의 결합이 진짜 혁신이었음
RPi는 여전히 이런 틈새를 채워주는 존재임
Pico는 소형 작업용, 새 Pi는 대형 작업용, 구형 Pi와 Zero는 여전히 판매 중임
AI 관련 제품도 이런 흐름의 연장선으로, Pi5에서 AI를 하던 사람들을 위한 자연스러운 확장임
Pi의 본질은 GPIO + 범용 컴퓨팅이고, 이제 AI도 그 일부가 되었음
로컬 AI로 할 수 있는 일들이 놀라울 정도로 많아졌고, 드론·로봇의 자율 주행 같은 새로운 활용이 가능해짐
실제로는 그리 대단하지 않음
Pi에서 8GB RAM으로 AI를 돌린다는 건 다소 실망스러움
영국에서는 Hailo HAT이 LLM용으로 광고된 걸 본 적이 없음
주로 실시간 영상 객체 탐지용으로 쓰였고, 나도 집과 정원에서 동물이나 방문자 감지용으로 써보고 싶음
최근 Pimonori 버전에서는 LLM과 VLM 지원을 언급하긴 하지만, 그쪽이 더 현실적인 활용 같음
“8GB? 개미용 LLM인가?”라는 농담이 나올 정도임
무거운 작업엔 부적합하지만, 단순한 텍스트 생성 정도는 충분히 가능함
초소형 특화 LLM을 위한 실험용임
다만 비싼 가격 대비 비전 처리 향상폭이 작고, 소프트웨어 지원도 부족한 점이 문제임
몇 년 전만 해도 이런 제품은 그냥 ML 가속기로 불렸을 것임
하지만 요즘은 ‘AI’라는 이름을 붙이면서 기대치가 달라져, 평가가 엇갈리는 듯함
작은 LLM이 임베딩이나 학습 외에 쓸모가 있는지 모르겠음
학습용이라면 더 나은 하드웨어를 더 싸게 쓸 수 있고, 임베딩용이라면 느리고 비쌀 뿐임
작은 모델도 특화된 데이터로 파인튜닝하면 훨씬 큰 범용 모델에 근접한 성능을 낼 수 있음
흥미로운 아이디어지만, 이 용도라면 Jetson Orin Nano가 더 나은 선택임
다만 RAM이 공유되어 OS 오버헤드로 약 1GB를 잃는 게 단점임
“LLM을 실행할 수 있다”는 말이 “LLM을 실행하는 게 합리적이다”는 뜻은 아님
스펙 숫자와 실제 경험은 전혀 다름을 보여주는 사례임
엣지 컴퓨팅 관점에서 보면, 이번 시도는 RPi 생태계의 의미 있는 도약임
저전력 추론 가속기가 내장되면 클라우드 없이 로컬 AI를 구현할 수 있음
아직 초기 단계지만, 진짜 엣지 워크로드를 위한 올바른 방향임