Darkbloom – 유휴 Mac을 활용한 개인용 AI 추론 네트워크
(darkbloom.dev)- Darkbloom은 유휴 상태의 Apple Silicon Mac을 연결해 분산형 AI 추론을 수행하는 네트워크로, 중앙 클라우드 없이 개인 기기에서 AI 연산을 처리
- 기존 GPU·클라우드·API 사업자 간의 3중 마진 구조를 제거해 최대 70% 비용 절감을 달성
- 모든 요청은 종단 간 암호화되어 운영자가 사용자 데이터를 볼 수 없으며, Apple 보안 하드웨어 기반 인증 체인으로 신뢰 확보
- OpenAI 호환 API를 제공해 채팅, 이미지 생성, 음성 인식 등 기존 SDK와 동일한 기능을 지원
- 운영자는 수익의 95~100%를 유지하고, 유휴 Mac을 통해 전력비 외 추가 비용 없이 USD 수익을 얻을 수 있음
유휴 Mac을 활용한 개인 AI 추론 네트워크
- Darkbloom은 Eigen Labs가 개발한 분산형 AI 추론 네트워크로, 유휴 상태의 Apple Silicon Mac을 연결해 AI 연산을 수행
- 현재 AI 연산은 GPU 제조사 → 하이퍼스케일러 → API 제공자 → 최종 사용자로 이어지는 3단계 마진 구조를 거치며, Darkbloom은 이를 제거해 최대 70% 비용 절감을 실현
- 네트워크 운영자는 사용자 데이터를 볼 수 없으며, 모든 요청은 종단 간 암호화 처리
- API는 OpenAI 호환으로, 기존 SDK와 동일하게 채팅·이미지 생성·음성 인식 기능을 지원
- 운영자는 수익의 95~100%를 유지하며, 전력비 외 추가 비용이 거의 없음
사용자용 기능
- 유휴 하드웨어의 한계비용이 거의 0이므로 절감된 비용이 사용자 가격에 직접 반영
- OpenAI 호환 API를 통해 채팅, 이미지 생성, 음성-텍스트 변환 기능 제공
- 모든 요청은 종단 간 암호화되어 전송
하드웨어 소유자용 기능
- Apple Silicon Mac을 보유한 사용자는 유휴 시간 동안 AI 추론을 수행해 USD 수익을 얻을 수 있음
- 운영자는 100%의 추론 수익을 유지하며, 전력비는 시간당 $0.01~$0.03 수준
- 나머지 금액은 순이익으로 귀속
AI 연산 시장의 구조적 문제
- 현재 AI 연산 시장은 GPU 제조사 → 클라우드 사업자 → AI 기업 → 최종 사용자로 이어지는 3중 마진 구조
- 이로 인해 최종 사용자는 실제 실리콘 비용의 3배 이상을 지불
- 반면, 1억 대 이상의 Apple Silicon 기기가 하루 평균 18시간 이상 유휴 상태로 남아 있음
- 이러한 유휴 연산 자원을 연결하면 Airbnb나 Uber처럼 분산형 자산 활용이 가능
- Darkbloom은 이러한 유휴 Mac을 AI 추론 노드로 전환해 중앙 집중형 인프라를 대체
신뢰 문제와 해결 과제
- 분산형 연산 네트워크의 핵심 문제는 신뢰성
- 사용자는 자신의 데이터를 모르는 제3자의 기기에서 처리해야 하므로 단순한 약관 수준의 보안으로는 부족
- 검증 가능한 프라이버시(Verifiable Privacy) 없이는 분산형 추론이 불가능
Darkbloom의 기술적 접근
-
접근 경로 제거
- 운영자가 데이터에 접근할 수 있는 모든 소프트웨어 경로를 제거
- 네 가지 독립적 계층으로 구성되어 각각 검증 가능
-
암호화 계층
- 요청은 사용자의 기기에서 전송 전 암호화
- Coordinator는 암호문만 라우팅하며, 대상 노드의 하드웨어 키만 복호화 가능
-
하드웨어 계층
- 각 노드는 Apple의 보안 하드웨어 내에서 생성된 키를 보유
- Apple Root CA로부터 이어지는 인증 체인(attestation chain) 을 통해 검증
-
런타임 계층
- 추론 프로세스는 OS 수준에서 잠금 처리
- 디버거 연결 및 메모리 검사 차단
- 운영자는 실행 중인 프로세스에서 데이터를 추출할 수 없음
-
출력 계층
- 모든 응답은 해당 하드웨어의 서명으로 검증 가능
- 전체 인증 체인이 공개되어 누구나 독립적으로 검증 가능
-
결과적으로 운영자는 추론을 실행하지만 데이터는 볼 수 없음
- 프롬프트는 전송 전 암호화
- Coordinator는 내용을 읽지 못한 채 라우팅
- Provider는 검증된 격리 환경에서 복호화 및 실행
- 인증 체인은 공개되어 투명성 확보
구현 세부사항
-
OpenAI 호환 API
- 기존 OpenAI SDK와 완전 호환
- Base URL만 변경하면 동일한 코드로 사용 가능
- Streaming, Function Calling, Image Generation, Speech-to-Text 모두 지원
- 지원 기능
- Streaming: SSE 기반, OpenAI 포맷
- Image Generation: FLUX.2 on Metal
- Speech-to-Text: Cohere Transcribe
- Large MoE: 최대 239B 파라미터 모델 지원
비용 비교 결과
- 유휴 하드웨어의 한계비용이 거의 없어 가격 절감 효과 발생
- 구독료나 최소 사용량 제한 없음
- OpenRouter 대비 50% 절감 수준
| 모델 | 입력 | 출력 | OpenRouter | 절감율 |
|---|---|---|---|---|
| Gemma 4 26B4B | $0.03 | $0.20 | $0.40 | 50% |
| Qwen3.5 27B | $0.10 | $0.78 | $1.56 | 50% |
| Qwen3.5 122B MoE | $0.13 | $1.04 | $2.08 | 50% |
| MiniMax M2.5 239B | $0.06 | $0.50 | $1.00 | 50% |
- 이미지 생성: $0.0015/이미지 (Together.ai 대비 50%)
- 음성 인식: $0.001/분 (AssemblyAI 대비 50%)
- 플랫폼 수수료 0%, 운영자가 100% 수익 유지
운영자 경제성
- Apple Silicon 기기를 제공하면 USD 수익 획득 가능
- 전력비 외 추가 비용 없음, 수익의 100% 유지
- CLI 설치 방식 지원, macOS 메뉴바 앱은 개발 중
-
설치 방식
- 터미널 명령으로 provider 바이너리 다운로드 및 launchd 서비스 등록
-
의존성 없음**,** 자동 업데이트**,** 백그라운드 실행
- macOS 14 이상, Apple Silicon 전용
-
예상 수익
- 하루 18시간 가동 기준으로 수익 예측 가능
- 실제 수익은 네트워크 수요와 모델 인기에 따라 달라짐
연구 및 모델 카탈로그
- 연구 논문에서 아키텍처, 위협 모델, 보안 분석, 경제 모델을 상세히 설명
- 하드웨어 검증 기반 개인 추론 구조를 다룸
- PDF 다운로드 링크 제공
-
사용 가능한 모델
- Gemma 4 26B: Google 최신 멀티모달 MoE, 4B 활성 파라미터
- Qwen3.5 27B: 고품질 추론 모델 (Claude Opus distillation)
- Qwen3.5 122B MoE: 10B 활성 파라미터, 토큰당 최고 품질
- MiniMax M2.5 239B: SOTA 코딩 모델, Mac Studio에서 100 tok/s
- Cohere Transcribe: 2B conformer, 최고 수준 음성-텍스트 변환
Hacker News 의견들
-
나는 그들의 수익 계산이 믿기 어렵다고 느꼈음
맥 미니 한 대를 2~4개월 만에 상환하고 이후 매달 1~2천 달러를 번다면, 왜 그들은 단순히 맥 미니를 사서 돌리지 않는지 의문임- 계산 자체는 낙관적인 가정에 기반한 것임. 모든 머신에 항상 수요가 있다고 가정했기 때문임
지금은 그렇지 않지만, 언젠가 그렇게 될 거라 기대함. 그래서 새 기기를 사는 건 추천하지 않음. 이미 있는 기기로 돌리면 비용이 거의 없음
전기료는 요청이 들어올 때만 발생하며, 그때마다 상쇄됨
궁금한 점이 있으면 @gajesh에게 DM 보내면 됨 - 맥 미니를 직접 사기 시작하면 전력, 냉각, 보관 문제로 결국 소형 데이터센터를 짓게 됨
규모의 경제가 작동하면서 점점 더 큰 센터를 원하게 되지만, 이건 비용이 많이 들고 이웃들도 싫어함
결국 하이퍼스케일러에 맞서는 비대칭 전쟁처럼 보임 - 어떤 GPU 제공자도 100% 가동률을 유지하지 않음. 수요는 들쭉날쭉함
예를 들어 주식시장 시간대엔 바쁘지만, 그 외엔 한산함
과잉 프로비저닝을 하지 않으면 고객이 떠나고, 너무 하면 수익이 줄어듦
현실적으로는 1/8 수준의 활용률이 될 것 같음. 내 M4 Pro 미니로 계산해보면 Gemma 4 모델 기준 월 24달러 정도로 보임 - 초기 자본이 부족한 게 핵심임. 대부분의 사람은 이미 놀고 있는 컴퓨터가 있고, 소프트웨어 설치만 설득하면 됨
하드웨어를 직접 구매하고 유지하는 건 훨씬 비쌈. 초기 투자금이 가장 큰 진입 장벽임 - 세상엔 놀고 있는 맥이 많기 때문에 사용자 기반을 모으는 건 쉬움
VC 자금 없이도 시작할 수 있고, 차별화도 명확함
다만 누군가 더 높은 수수료로 같은 걸 구현할 수도 있으니 시장 선점이 중요함
- 계산 자체는 낙관적인 가정에 기반한 것임. 모든 머신에 항상 수요가 있다고 가정했기 때문임
-
내가 직접 설치해봤는데, 완성도가 높지 않았음
이미지 모델 다운로드 실패, 오디오/TTS 모델 로드 실패 등 오류가 많았음
15분 동안 Gemma를 서비스했지만 실제 추론 요청은 0건이었고, 헬스체크만 여러 번 들어왔음
현재는 수요가 부족해서 수익 예측이 맞지 않음- 출시된 지 하루밖에 안 됐으니 아직 수요가 없는 건 당연함. 시간이 좀 필요함
- 반대쪽에서 실제로 프롬프트를 보내고 응답을 받는 테스트를 해본 사람이 있는지 궁금함
- 통계 페이지를 보면 공급자는 많지만 실제 수요는 거의 없음
지금은 공급자 확보에 집중한 것 같고, 유료 고객 확보가 시급함 - 초기에라도 자체적으로 요청을 발생시켜 호스팅 동기부여를 줄 줄 알았는데, 그런 기능이 없음
- 나도 같은 오류를 봤는데, 로그에 “STT 백엔드 헬스체크 실패” 경고가 있었음. 실제 수요가 있어도 이게 원인일 수 있음
-
이 서비스를 쓰려면 MDM(기기 관리 소프트웨어) 을 설치해야 함
사실상 그 순간부터 그 컴퓨터는 그들의 통제하에 놓임
은행 업무 등 민감한 작업을 하는 컴퓨터에는 절대 추천하지 않음- macOS의 MDM은 AccessRights로 권한이 제한되어 있어서 SSL 인증서 교체 수준의 접근은 불가능함
하지만 그들의 프라이버시 정책은 허술하므로 신뢰하기 어려움 - MDM은 절대 불가 조건임. 내 맥북을 잠재적 벽돌로 만들 순 없음
게다가 월 몇 달러 벌자고 그 위험을 감수할 이유가 없음
- macOS의 MDM은 AccessRights로 권한이 제한되어 있어서 SSL 인증서 교체 수준의 접근은 불가능함
-
이들은 TEE(Trusted Execution Environment) 를 이용해 모델과 코드의 무결성을 검증한다고 함
AWS에서도 비슷한 걸 해봤는데, GPU를 쓸 때 메모리 보호가 가능한지는 의문임
관련 논문은 여기에서 볼 수 있음- 논문 전체가 LLM 냄새가 남. 과도한 수식 사용이 신뢰를 떨어뜨림
- 현실적으로 외부 서버에 데이터를 보내면 어느 정도 데이터 보존은 피할 수 없음
민감한 데이터 대신 분류나 이미지 생성 같은 비상업적 용도로만 쓰는 게 안전함 - Apple Silicon은 CPU와 GPU가 통합 메모리를 사용함
논문에서 말하는 하이퍼바이저 페이지 테이블 기법은 GPU 메모리를 RDMA로부터 보호한다고 주장함 - 맥에는 SGX 같은 하드웨어 TEE가 없고, Secure Enclave만 존재함
-
오늘날 맥북에서는 검증 가능한 프라이버시가 물리적으로 불가능함
Secure Enclave는 있지만 SGX/TDX/SEV 같은 공개형 엔클레이브는 아님
결국 OS 강화 수준의 보안일 뿐, 진정한 기밀 실행 환경은 아님- SGX SDK를 직접 만들어본 경험이 있음. Apple 플랫폼에서도 어느 정도 비슷한 보안 수준을 구현할 수 있음
macOS는 부트 시퀀스와 TCC 구성을 원격 검증할 수 있다면 꽤 신뢰할 만한 구조임
완벽한 SGX만큼은 아니지만 사용성 면에서는 더 나음 - 중앙화된 제공자(OpenAI 등)보다 무작위 분산 노드가 오히려 더 신뢰된다고 느낌
- 충분한 인센티브가 있으면 어떤 하드웨어 키도 결국 뚫림. 그들의 주장은 과신에 가까움
- SGX SDK를 직접 만들어본 경험이 있음. Apple 플랫폼에서도 어느 정도 비슷한 보안 수준을 구현할 수 있음
-
단순 계산을 해보면 내 M5 Pro는 Gemma 4 26B 기준 초당 130토큰(4스트림)을 생성함
Darkbloom의 가격은 Mtok당 $0.20이므로, 24시간 가동 시 월 $67 정도 수익임
전력비를 빼면 월 $9 정도 비용이므로 연 $700 정도의 용돈벌이 수준임- 실제로는 50W보다 훨씬 많은 전력을 소모함. 전기료도 비싸고 하드웨어 노후화도 빨라짐
개인적으로는 수익성보다 아이디어가 흥미로움 - 그들의 계산은 Gemma 4 26B 기준으로 tok/s를 414로 잡고 있음
전력 계산 시 유휴 전력 12W를 빼는 꼼수를 쓰는데, 대부분 사람은 컴퓨터를 24시간 켜두지 않음 - 130 tok/s 수치는 높아 보임. 어떤 양자화(quantization) 기준인지 궁금함
- 하드웨어 고장은 고려되지 않음. 예전에 GPU로 채굴하다가 팬이 한 달 만에 나가서 손해 본 적 있음
- OpenAI도 유료 고객이 5%밖에 안 되는데, 이런 모델이 지속 가능할지 의문임
예전에 Cubbit 같은 분산 스토리지 시도도 있었지만 실패했음
- 실제로는 50W보다 훨씬 많은 전력을 소모함. 전기료도 비싸고 하드웨어 노후화도 빨라짐
-
@eigengajesh에게 전하고 싶은 건, Mac Mini M4 Pro는 64GB 옵션도 있음
그리고 여러 버그가 있음 — metallib 로드 실패, 모델 다운로드 404, 문서의 수익 배분(100% vs 95%) 불일치 등
전반적으로 LLM이 쓴 듯한 문서가 많고, 좀 더 다듬은 후 공개하는 게 좋을 듯함 -
이 프로젝트는 예전에 학교 컴퓨터에 배포했던 DataseamGrid를 떠올리게 함
비슷한 개념의 분산 연산 네트워크였음 -
흥미로운 개념임. 양면 시장(two-sided marketplace) 은 초기 부팅이 어렵지만, 호기심이 동력을 줄 수도 있음
공급자뿐 아니라 스스로 서비스를 써보게 유도하면 수요-공급 균형을 맞출 수 있을 듯함
기업용으로 자체 호스팅 버전이 있으면 좋겠음. 많은 회사가 맥 재고를 가지고 있으니 내부 추론 네트워크로 활용 가능함 -
하드웨어 기반 프라이버시도 흥미롭지만, 경제적으로는 로드 비용이 큰 리스크임
예를 들어 MiniMax M2.5 239B 모델은 239B 중 11B만 활성화돼도 120GB를 로드해야 함
SSD에서 이걸 불러오는 데 수십 초가 걸림
요청이 다른 맥으로 라우팅되면 매번 콜드 로드 지연이 발생함
모델을 항상 메모리에 유지하면 전력비가 늘어나고, 그렇지 않으면 지연이 커짐
특히 16GB~32GB 맥은 대형 모델을 아예 호스팅할 수 없어서, 실제로 가능한 공급자는 극히 제한적임