백서 내용을 보면 inference provider가 여전히 프롬프트와 응답의 평문에 접근할 수 있는 구조로 보임
다만 이 방식은 API 라우터 같은 제3자는 평문을 볼 수 없고, 클라이언트의 신원도 요청과 연결되지 않게 숨겨줌
README에 이런 프라이버시 보장 범위를 명확히 요약해두면 좋겠음
이런 점을 고려할 때, 단순히 사용자가
중간 라우터 없이 inference provider에 직접 요청을 보내고
익명 암호화폐로 결제하며
VPN으로 IP를 숨기는
방식보다 이 구조가 어떤 이점이 있는지 궁금함
나는 confident.security의 엔지니어링 리드로, 이 프로젝트가 공개된 걸 보니 반가움
여기서 말하는 inference provider가 정확히 뭘 의미하는지 궁금함
실제로는 복호화된 후에도 워크로드가 외부(OpenAI 등)로 나가지 않고, 오픈소스 모델이 로드된 컴퓨트 머신에서 직접 실행됨
이 머신들은 실행 중인 소프트웨어를 암호학적으로 증명(attestation) 하며, 민감한 정보를 외부로 유출할 수 없음을 보장함
Apple의 PCC도 같은 원리로 동작하며, 클라이언트는 이런 보증을 제공하지 않는 노드에는 요청을 보내지 않음
즉, 하드웨어 운영자조차 프롬프트를 볼 수 없다는 게 핵심 프라이버시 보장임
공급자가 프롬프트 평문에 접근할 수 있다는 점은 많은 이들이 과소평가함
BYOK로 대부분 해결되지만, 여전히 키를 제공하는 순간 위험이 존재함
Apple의 Private Cloud Compute나 AWS의 Nitro Enclaves 같은 시스템은 이 마지막 단계를 해결하려 함
NCC Group이 AWS를 검증한 결과, 직원이 호스트에 로그인하거나 고객 데이터를 접근할 수 있는 관리 API가 존재하지 않음을 확인했음
이런 구조는 투명성과 보안 측면에서 매우 이례적임
Apple의 PCC 보안 연구 블로그도 참고할 만함
OpenPCC는 Apache 2.0 라이선스이며 CLA 없이 rugpull을 방지함
반면 edgeless는 BSL을 사용함
핵심은 attestation임
inference provider가 프롬프트를 볼 수 없게 하는 것이 USP이며,
Privatemode는 소스 코드 → 재현 가능한 빌드 → TEE attestation report로 이어지는 체인을 통해 이를 달성함
또한 Kata/CoCo 같은 격리 기술과 런타임 정책으로 보안을 강화함
“provably private”이라지만, 물리적 접근과 약간의 장비만 있으면 메모리 버스를 분석할 수도 있음
관련 토론: HN thread
GCP는 confidential VM을 실시간 마이그레이션함
수만 대의 머신 중 어느 곳에 분석기를 붙이겠음?
게다가 그런 공격엔 무한한 시간과 물리적 접근이 필요함
멋진 작업임. 오픈소스로 공개된 것도 인상적임
우리는 동형암호(homomorphic encryption) 문제와 유사한 과제를 연구 중인데, OpenPCC가 도움이 될지 궁금함
예를 들어, 웨어러블 기기(AR 안경 등)가 시각 데이터를 로그로 남길 때 개인정보 문제가 생김
이런 데이터를 개발자 디버깅용으로 익명화하는 데 OpenPCC가 쓸 수 있을까?
가능함. OpenPCC 노드 안에서 익명화 워크로드를 실행할 수 있음
기본적으로 OpenPCC는 내부를 볼 수 없는 attested HTTP 서버임
웨어러블이 데이터를 OpenPCC로 보내면, 그 안에서 익명화 프로세스를 돌릴 수 있음
물론 기기 자체에서 익명화하는 게 더 단순함
참고로 동형암호는 아직 실용 단계가 아님
그런데 그들의 소스 코드를 찾을 수가 없음
투명성 측면에서 중요한 부분인데 혹시 본 적 있는지 궁금함
이론적으로는 멋지지만, 실제로 무엇을 돌릴 수 있을지 잘 모르겠음
스패머가 아닌 이상 어떤 유즈케이스가 있을까?
연상되는 건 federated learning이나 FlowerLLM 같은 분산 학습 시스템인데, inference 용도는 아니었음
폐쇄형 소프트웨어에서 벗어나는 시도는 환영하지만, 실제 활용 예시가 궁금함
구체적인 예시를 알려주면 좋겠음
예를 들어 OpenAI Whisper를 /e/OS에서 익명 프록시로 STT 서비스처럼 돌리는 건 가능할 듯
하지만 그 정도는 로컬에서도 충분히 가능하니, 여전히 명확한 사용처를 찾고 있음
Hacker News 의견
백서 내용을 보면 inference provider가 여전히 프롬프트와 응답의 평문에 접근할 수 있는 구조로 보임
다만 이 방식은 API 라우터 같은 제3자는 평문을 볼 수 없고, 클라이언트의 신원도 요청과 연결되지 않게 숨겨줌
README에 이런 프라이버시 보장 범위를 명확히 요약해두면 좋겠음
이런 점을 고려할 때, 단순히 사용자가
방식보다 이 구조가 어떤 이점이 있는지 궁금함
여기서 말하는 inference provider가 정확히 뭘 의미하는지 궁금함
실제로는 복호화된 후에도 워크로드가 외부(OpenAI 등)로 나가지 않고, 오픈소스 모델이 로드된 컴퓨트 머신에서 직접 실행됨
이 머신들은 실행 중인 소프트웨어를 암호학적으로 증명(attestation) 하며, 민감한 정보를 외부로 유출할 수 없음을 보장함
Apple의 PCC도 같은 원리로 동작하며, 클라이언트는 이런 보증을 제공하지 않는 노드에는 요청을 보내지 않음
즉, 하드웨어 운영자조차 프롬프트를 볼 수 없다는 게 핵심 프라이버시 보장임
BYOK로 대부분 해결되지만, 여전히 키를 제공하는 순간 위험이 존재함
Apple의 Private Cloud Compute나 AWS의 Nitro Enclaves 같은 시스템은 이 마지막 단계를 해결하려 함
NCC Group이 AWS를 검증한 결과, 직원이 호스트에 로그인하거나 고객 데이터를 접근할 수 있는 관리 API가 존재하지 않음을 확인했음
이런 구조는 투명성과 보안 측면에서 매우 이례적임
Apple의 PCC 보안 연구 블로그도 참고할 만함
자금세탁 방지 규정 때문에 추적 가능한 결제만 허용됨
다만 구체적으로 어느 수준까지 금지되는지는 불명확함
관련 기사: EU to ban trading of privacy coins from 2027
나도 비슷한 일을 하는 팀에 있었음
유료 서비스이긴 하지만 소스 공개와 의미 있는 attestation을 제공함
서비스: privatemode.ai
코드: github.com/edgelesssys/privatemode-public
반면 edgeless는 BSL을 사용함
inference provider가 프롬프트를 볼 수 없게 하는 것이 USP이며,
Privatemode는 소스 코드 → 재현 가능한 빌드 → TEE attestation report로 이어지는 체인을 통해 이를 달성함
또한 Kata/CoCo 같은 격리 기술과 런타임 정책으로 보안을 강화함
“provably private”이라지만, 물리적 접근과 약간의 장비만 있으면 메모리 버스를 분석할 수도 있음
관련 토론: HN thread
수만 대의 머신 중 어느 곳에 분석기를 붙이겠음?
멋진 작업임. 오픈소스로 공개된 것도 인상적임
우리는 동형암호(homomorphic encryption) 문제와 유사한 과제를 연구 중인데, OpenPCC가 도움이 될지 궁금함
예를 들어, 웨어러블 기기(AR 안경 등)가 시각 데이터를 로그로 남길 때 개인정보 문제가 생김
이런 데이터를 개발자 디버깅용으로 익명화하는 데 OpenPCC가 쓸 수 있을까?
기본적으로 OpenPCC는 내부를 볼 수 없는 attested HTTP 서버임
웨어러블이 데이터를 OpenPCC로 보내면, 그 안에서 익명화 프로세스를 돌릴 수 있음
물론 기기 자체에서 익명화하는 게 더 단순함
참고로 동형암호는 아직 실용 단계가 아님
정말 멋진 릴리스임
더 많은 기업이 이를 활용해 사용자 프라이버시를 강화하길 바람
Go 언어가 등장해서 반가움
내 생각엔 AI 분야에서 Go가 Python을 넘어설 것임
Azure의 Confidential AI Inference와 유사함
참고 링크: Azure AI Confidential Inferencing Deep Dive
투명성 측면에서 중요한 부분인데 혹시 본 적 있는지 궁금함
이론적으로는 멋지지만, 실제로 무엇을 돌릴 수 있을지 잘 모르겠음
스패머가 아닌 이상 어떤 유즈케이스가 있을까?
연상되는 건 federated learning이나 FlowerLLM 같은 분산 학습 시스템인데, inference 용도는 아니었음
폐쇄형 소프트웨어에서 벗어나는 시도는 환영하지만, 실제 활용 예시가 궁금함
예를 들어 OpenAI Whisper를 /e/OS에서 익명 프록시로 STT 서비스처럼 돌리는 건 가능할 듯
하지만 그 정도는 로컬에서도 충분히 가능하니, 여전히 명확한 사용처를 찾고 있음
컴퓨트 노드의 소스 코드는 어디에 있는지 궁금함