개인 데이터 저장의 시대가 왔다

(blog.muni.town)

6P by GN⁺ 5일전 | ★ favorite | 댓글 1개

웹의 창시자 팀 버너스리가 제안한 사용자 중심 데이터 저장 개념이 현실화되고 있음
그의 초기 구상인 Solid 프로토콜은 개인이 데이터를 직접 소유하고, 애플리케이션은 사용자의 허가를 받아 접근하도록 하는 구조를 목표로 함
최근에는 Bluesky의 AT 프로토콜이 같은 방향으로 발전하며, 개인 서버(PDS)에 데이터를 저장하는 탈중앙화 소셜 웹을 구현 중임
이런 개인 데이터 저장은 기술적 구현을 넘어, 데이터 협동조합(Data Coop) 형태로 시민이 소유하고 운영하는 구조로 확장되고 있음
결국 이는 웹을 다시 개인의 공간으로 되돌리는 움직임으로, 플랫폼 의존적 인터넷 구조를 근본적으로 재구성하려는 시도로 볼 수 있음

팀 버너스리의 비전: Socially Aware Cloud Storage

2009년 버너스리가 제안한 “Socially Aware Cloud Storage” 는 응용 프로그램이 독립적인 저장 계층 위에서 작동하도록 설계된 웹 사양임
- 사용자는 URI 기반의 전역 식별자로 관리되며, 접근 제어가 표준화된 형태로 이루어짐
- 데이터 저장소는 애플리케이션과 분리되어 범용적이고 교체 가능한 자원으로 정의됨

Solid 프로토콜의 등장과 발전

2015년 팀 버너스리는 Solid 프로토콜 개발 자금을 확보하고 MIT에서 연구를 진행함
- Solid의 목표는 데이터 소유권을 사용자에게 되돌려 주고, 앱 간 자유로운 전환을 가능하게 하는 웹 아키텍처 구축
- 사용자는 데이터를 한 곳에서 관리하며, 앱은 사용자의 허락 하에 데이터를 요청해야 함
Solid는 공식 W3C 웹 사양으로 발전했지만, 아직 대중적 채택에는 이르지 못함
- 버너스리가 공동 설립한 Inrupt는 기업 시장을 중심으로 사업화 중

AT 프로토콜과 개인 데이터 서버(PDS)

Bluesky 팀이 개발한 AT 프로토콜(Atproto) 은 현재 3천만 명 이상이 사용하는 개방형 소셜 네트워크임
- Solid와 달리 기술적 구조는 다르지만, 사용자 주권 데이터 저장이라는 철학은 동일함
- AT 프로토콜에서는 개인의 데이터가 Personal Data Server(PDS) 에 저장되며, 이는 Solid의 “Pod” 개념과 유사함
사용자는 자신의 도메인을 인터넷 핸들로 사용해 소셜 네트워크 간 독립적인 정체성을 유지할 수 있음
- 예: @alice.com처럼 개인 도메인을 핸들로 사용하는 구조

데이터 협동조합(Data Co-op)의 부상

대다수 일반 사용자는 여전히 개인 PC보다는 클라우드 기반 기관형 스토리지를 선호함
기존 은행의 신용조합 모델처럼, 회원이 공동 소유한 데이터 은행 구조로의 전환이 논의되고 있음
- 이는 크레딧 유니언(Credit Union) 모델을 데이터에 적용한 것으로, 회원 중심의 투명한 관리가 핵심임
실제로 social.coop, data.coop, cosocial.ca 같은 협동조합형 데이터 플랫폼이 페디버스(fediverse) 생태계에서 활발히 운영 중임
- 새로운 프로젝트 Northsky도 AT 네트워크 기반의 공동 데이터 기관으로 준비 중임
이러한 조직은 법적으로 협동조합일 필요는 없으며, 민주적이고 투명한 데이터 관리를 수행하는 모든 형태를 포함함

데이터 주권의 새로운 패러다임

데이터가 기업이 아닌 시민이 통제하는 기관에 저장될 경우, 데이터 소유에 대한 논의의 초점이 전환됨
- “우리가 어떤 데이터를 내려받을 수 있는가”가 아니라, “플랫폼이 우리의 서버에서 어떤 데이터를 복사할 수 있는가”로 바뀜
Solid와 AT 간의 기술적 교류도 확대 중이며, ActivityPub과 같은 표준과의 상호운용성 논의도 활발함
개인 데이터 저장은 이제 특정 프로토콜을 넘어선 개념으로 확장되었으며, 데이터 형식은 변환 가능하고, 프로토콜은 상호 교체 가능함
핵심은 개인이 자신의 데이터를 통제함으로써 플랫폼 붕괴 시에도 자신의 디지털 정체성을 복원할 수 있는 자유를 확보하는 것

결론: 웹을 다시 개인의 공간으로

개인 데이터 저장은 기술이 아니라 인터넷 철학의 회귀임
플랫폼 중심의 웹에서 벗어나, 개인과 커뮤니티가 데이터를 직접 소유하고 운영하는 구조로 이동 중임
Solid, AT, ActivityPub의 다양한 시도는 모두 같은 목표로 수렴함 — 웹을 다시 개인의 것으로 되돌리는 것

참고 링크

▲

GN⁺ 5일전 [-]

Hacker News 의견

저는 Blobcache라는 FOSS 프로젝트에 참여하고 있음
https://github.com/blobcache/blobcache
서버가 애플리케이션 상태를 저장하는 것과, 서버가 이에 대해 수정 권한이나 데이터 읽기 권한을 갖는 것은 완전히 다르다고 생각함
미래에는 서버는 단순히 내 데이터를 안전하게 보관해주는 역할만 하고, 클라이언트가 스마트해지는 방향으로 가야한다고 봄
앱을 사용할 때 E2E(종단 간)로 암호화된 상태를 서버에서 받아와 그걸 수정하고, 새로운 암호화 데이터를 서버에 다시 저장하는 구조를 원함
서버는 오직 데이터의 내구성만 책임져야 하며, 진짜로 해당 역할을 잘하고 있는지까지 신뢰할 필요는 없음
Blobcache는 ‘멍청한’ 저장 서버와 ‘스마트’ 클라이언트가 E2EE 상태에서 트랜잭션을 할 수 있도록 API를 제공함
오래된 하드웨어에 Blobcache와 Tailscale 같은 VPN을 설치해 다른 디바이스의 데이터를 쉽게 옮길 수 있음
설정 방법은 SSH와 유사해서, 키만 설정 파일에 추가하면 접근 권한이 생김
저장소 활용에서 발생하는 대부분의 불편이 사라짐
집 전체 홈 디렉터리를 위한 Git 스타일의 E2EE 버전 관리 툴을 Blobcache로 만들고 있음
https://github.com/gotvc/got
- Peergos에서 앱이 E2EE 데이터를 사용하는 방식이 Blobcache와 매우 유사함
  서로 협업하면 좋을 것 같아서 연락해보고 싶음
  https://peergos.org/posts/a-better-web
- 사용자별 스토리지로 https://remotestorage.io/도 있다는 점을 참고하면 좋을 것 같음
제가 읽은 바로는, 이런 제안들은 진화론적 테스트를 통과하지 못한다고 생각함
대규모에서 아이디어를 실행하려면 멀리 있는 목표를 그리기보다는 단계별로 점진적으로 현 상황을 개선해야 함
지금 현 상황이 이미 꽤 높은 국지적 최대치에 근접해 있어서, 새로운 정보 통제 방식을 내세우는 사람들은 비용이나 노력이 크게 드는 방법밖에 제시하지 않았음
전 과정을 알 필요는 없지만, 적어도 처음 두 시도는 현 상황보다 나은 방향이어야 한다고 생각함
결국 날고 싶다면 먼저 깃털부터 진화시켜야 한다는 의견임
- 현실적으로 발전 가능한 방향은 다음과 같다고 봄
  - Twitter를 대체하는 용도로 Bluesky에서 채팅을 하다 보면 Fediverse에 익숙해지고 PDS(개인 데이터 서비스)를 얻게 됨
  - PDS에 결제 정보를 저장해서 처음에는 클라이언트 단에서 결제 정보를 제출하는 새로운 경험이 가능함
  - 그 다음 단계로, 소매점이 내 PDS에서 결제 정보를 받아가는 토큰을 제공하는 게 자연스러워짐
    초기 사용 매장에겐 PCI/PII 저장 부담이 줄어들어 도입 유인이 생김
  - 점점 더 많은 사용자와 소매점이 이런 방식에 익숙해지면, 사용자가 자기 데이터를 직접 통제하게 되어 현재의 불편한 UX(구독 취소 불가 등)보다 낫다는 인식이 퍼짐
  - PDS에 결제 정보를 저장하는 게 브라우저에 저장하는 것만큼 쉽고 추가 이점이 있다면, 수요가 늘어나고 채택이 빨라짐
  - 기술적으로 사이트들이 PII/PCI를 저장하지 않고도 서비스 운영이 가능해지면, 그런 저장을 금지하는 법 제정도 현실 가능
- 각 단계마다 현 체제보다 나아지는 느낌임
- 한 번에 큰 변화가 아니라, 각 단계에서 체감할 수 있는 개선이 필요하다는 의견에 동의함
  일반적인 사용자의 관점에서 ‘내 데이터를 소유한다’는 것만으로 실제로 UX가 나아졌다고 느낄까?
  광고가 줄어들고, 사용자를 최우선으로 생각하는 제품과 결합된다면 가능성 있을 것 같음
  돈이 많이 들지 않는 작업이 많이 필요해서 걱정이 되긴 하지만, 그래도 희망적으로 생각하고 있음
- 현재 BlueSky 사용자의 99.9%는 BlueSky 서비스만 쓰지만, BlueSky는 각 사용자별로 Personal Data Service(PDS)가 있음
  언제든 BlueSky에서 자신의 데이터를 빼내어 다른 곳에 옮길 수 있고, 최근에는 다시 BlueSky로 옮길 수도 있게 됨
  각자의 PDS에 원하는 데이터, 예를 들어 https://tangled.org에서 git 데이터나, https://teal.fm에서 음악 감상 기록, https://leaflet.pub에서 블로그 등 다양한 데이터 저장 가능
  스스로 PDS를 운영하거나 커뮤니티 단위로 호스팅하는 사례가 빠르게 늘고 있음
  PDS 데이터를 집계·연계하는 중계 서버도 발전하고 있고, 네트워크 연결을 완전히 제공하는 집계 계층 운영은 좀 더 어렵지만 점진적으로 좋아지는 중임
  기존 구조에 대비하면 확실히 혁신이라 할 만하고, 개발자들의 열정이 가시적으로 나타나 큰 힘이 느껴짐
  아키텍처 분리 덕분에 다양한 분야에서 발전이 가능하고, 기반이 견고하여 확장성도 높음
  진화론적 실험이 실제로 이루어지는 느낌이라 기대감이 큼
개인 데이터 저장 개념을 정말 좋아하고 기본값이 되었으면 함
하지만 기술적으로 아예 해결이 불가능할지도 모를 문제가 있음
예를 들어, 이 글에서는 ‘스키마(schema)’에 대한 언급이 없는데, 스키마가 진짜 데이터 이식성을 방해하는 큰 요인임
간단한 CRUD 앱에서조차 필드 형식을 바꾸는 게 얼마나 어려운지 직접 겪어봤음
Google이나 Facebook에서 내 데이터를 내보낼 수 있지만, 해당 데이터가 원래 앱에서 어떻게 보이고 활용되는지 재현하려면 원본 UI 전체를 복제하는 수준으로 어렵고, 원본 서비스 스키마가 변하면 렌더링이나 연동 문제, 심지어 데이터 소실까지 발생
독립적인 데이터 사일로에서는 자유롭게 형식 변경이 가능하지만, 여러 저장소가 서로 독립적으로 데이터 스키마를 변경하면 결국 동기화가 거의 불가능해져 데이터 분실의 위험이 큼
또, 스키마 별로 권한 부여와 신원 검증이 골치 아픈 문제임
예를 들어 A가 특정 필드만 볼 수 있도록 제한해야 하는데, 여러 서버 간 동기화 과정에서 일부 서버는 userA가 누구인지 몰라서 데이터가 마치 존재하지 않는 것처럼 취급됨
신뢰·정체성·감사 절차가 분산된 시스템에선 미세한 접근 제어가 정말 힘든 문제가 됨
요즘 Hacker News 상위 글을 보면 ‘웹을 다시 우리가 되찾자’ 혹은 ‘90년대처럼 자가 호스팅, 페더레이션 등등을 부활시키자’는 이야기들이 회자됨
현실에서는 아무것도 변하지 않고 점점 악화되는 느낌이고, 90년대 인터넷이나 모바일 기기 등장 이전 감성을 모르는 세대가 계속 등장함
요즘 뭔가를 신청하려면 전 세계 수많은 DB에 쓸데없는 개인정보 복사본만 양산되고, 결국 나중에 해킹, 오용, 판매, 방치가 반복
해결책이 있는지조차 모르겠고, 때론 지구 반대 방향으로 도는 게 더 쉬울 것 같은 느낌임
- 유럽에서는 이런 개인정보 이슈가 사실상 거의 해결된 수준임
  법이 실질적인 영향을 미치고 있기 때문에, 진짜 기업들은 불법적으로 데이터 보관이나 판매를 함부로 못 함
  하지만 사람들은 쿠키 배너 같은 피상적인 면만 보고 진짜 성과를 제대로 못 느끼는 듯함
  실제로는 시민 삶의 질을 올릴 디지털 세상의 변화를 유럽이 주도하고 있음
  예로 무수수료 즉시 은행 이체 같은 공공재도 있음
- 만약 직접 달랐던 시기를 경험한 우리마저 ‘아무것도 바뀌지 않는다’는 이유로 포기하면 정말 변화는 없겠다는 생각임
  실제로 보면 지금은 오픈소스, 자가 호스팅 대안들을 구축하는 게 역사상 가장 쉽고 간단함
  90년대 온라인에 있던 특징적 사람들이 여전히 존재하고, 그들은 계속 예전 스타일로 온라인 활동 중임
  지금 인터넷이 훨씬 더 단순하고 접근이 쉬워진 결과, 재미나 마법이라고 느끼지 않는 다수의 일반인이 쉽게 쓸 수 있는 것일 뿐임
  현재의 온라인 환경을 늘 나쁘다고만 비하하는 태도는, 남아 있는 가치 있는 서비스와 커뮤니티를 폄하하는 것이라서 아쉬움
  기존 서비스들이 세련되거나 멋진 건 아니지만, 여전히 존재하고 역할을 하고 있음
- 개인정보가 무분별하게 복제돼 방치·해킹·판매되는 걸 어떻게 하나 모르겠다는 고민엔
  데이터는 오히려 소유자에게 ‘위험한 부채’로 인식돼야 개선 가능성이 있다고 생각함
  예를 들어 “Megabank, 데이터 유출로 파산 및 임원 구속” 같은 사건이 일반화되어야 데이터 관리에 대한 태도가 완전히 바뀔 것임
  현재처럼 “또 데이터 유출, 이번엔 LifeLock 무료!”라는 식으로 지나가선 인식 변화가 어려움
- 예로 들었던 사례가 실제로는 단순한 환상이 아닌 이유는, Bluesky와 AT-net 등은 실제로 운영되는 네트워크이고, 현실 세계에 영향을 끼칠 정도라서 여러 권위주의 국가로부터 위협받고 있음
- 이 문제에 대해 가장 설득력 있고 타당하다고 본 해결책은 Tim Berners Lee(웹의 창시자)가 만든 Solid라는 표준임
  [https://en.wikipedia.org/wiki/Solid_(web_decentralization_project)](https://en.wikipedia.org/wiki/Solid_(web_decentralization_pr...)
  이 정도면 인터넷 데이터 구조를 바꿀 자격이 충분하다 생각하고, Solid 기술 자체도 꽤 탄탄함
  아쉬운 점은, Solid가 널리 확산되지 못한 것임
  아마 기존 웹 환경이 너무 거대하며, 기존 기술 스택 대부분이 ‘진짜 데이터 소유권’을 전제로 짜여 있지 않기 때문임
  단순히 라이브러리 몇개 바꾸는 게 아니라, 근본적으로 개발 및 데이터 처리 방식을 새로 생각해야 해서 채택에 진입장벽이 있음
  Solid 팀은 이런 문제를 제대로 이해하고, 새로운 프로젝트에 도입하는 게 차츰 쉬워지도록 도구와 라이브러리를 잘 만들어오고 있음
  그래서 Solid의 미래와 확장성에 상당히 기대를 걸고 있음
“여러 기업·사이트 등에 분산 저장되는 게 아니라, 내 데이터가 한 곳에서 내 통제하에 있다”는 주장엔 동의하지 않음
현실에선 어떤 사이트에 데이터를 올리는 순간, 그쪽이 함부로 복사·판매할 수 있고 이를 막을 방법이 제대로 없음
결국 데이터 이동성과 상호운용성, 그리고 차단·스팸 관리 책임을 사이트가 아니라 이용자에게 넘긴 것에 불과하다고 봄
프라이버시나 ‘내가 누구에게 내 정보를 공유할지 직접 제어한다’는 근본 문제가 해결된 것 같지 않음
사이트A에만 내 데이터를 제공하고, 데이터 수집업자B엔 제공하지 않는다고 해도, A가 데이터를 B에 팔지 못할 이유가 없고
실제론 지금과 전혀 다를 것 없는 상황임
데이터를 한 곳에만 두려면 외부 사이트나 서비스와 아예 아무 데이터도 공유하지 않아야 하지만, 그건 현실적으로 불가능함
- 막을 방법이 없긴 하지만, 적어도 제 3자가 가져가는 건 ‘복사본’임
  내 데이터의 소유권은 여전히 내게 있고 한 곳에서 직접 접근, 공유, 백업, 분석이 더 쉬움
  데이터 자체를 락인(lock-in)에서 해방시키는 데 큰 효과가 있음
  제3자가 내 데이터를 팔았는지 판별해서 소송하는 것도 불가능하진 않고, 데이터 포맷의 비독점화도 의무화됨
  지금 시스템보다는 훨씬 낫다고 느낌
- 만약 내 데이터의 원본과 소유권을 확실하게 주장할 수 있다면, 재판매를 금할 수 있다고 생각함
  유럽(EU)에서는 실제로 회사에게 ‘개인정보 삭제’를 요구할 권리가 생겼고,
  이런 권리는 데이터가 ‘내 것’이라고 명확히 정의할 수록 주장하기가 쉬워짐
- 최신 데이터가 과거 데이터보다 훨씬 가치가 큼
  내가 누구에게 어떤 목적으로 어떤 데이터를 제공할지 직접 관리하고 필요할 때마다 접근 권한을 켜고 끌 수도 있음
  데이터 재판매는 원칙적으로 불법으로 간주돼야 함
  변호사나 의사가 내 정보를 팔면 절대 안된다는 상식이 있듯이, 개인 데이터를 처리하는 누구에게나 동일한 법 적용이 필요하다고 봄
모든 것을 자가 호스팅하고 싶은 욕구는 계속 존재해옴
하지만 기업들이 중앙집중화가 더 쉽고, 거기서 데이터를 수익화까지 할 수 있기에 이런 트렌드가 확산됨
- 사실 사용자가 직접 호스팅하는 것보다 Facebook, instagram, gmail 등 대형 서비스를 쓰는 게 훨씬 쉽고, 모두가 그 안에 있으니 나도 그 곳에 머무는 것이 편리함
  아직 일반 사용자에게 접근성 좋은 분산화 솔루션이 충분히 나오지 않았고, 실질적인 인센티브도 약하다고 생각함
  근본적으로 그런 접근성을 해결하지 못한다면 트렌드는 바뀌기 힘들 것이라 봄
- Plex 사용 경험에서 사람들은 우리가 생각하는 것보다 훨씬 더 자가 호스팅 욕구가 있다고 느끼지만, 그 생각을 명확히 정리하기가 어려움
  Plex는 완전한 자가 호스팅 솔루션은 아니지만 Netflix 같은 서비스보다 훨씬 가깝고, IT실력이 아주 높지 않은 사람들도 최근 들어 Plex 서버를 직접 세팅해보려는 모습이 늘고 있음
  단순히 무료로 영화를 보고 싶어서가 아니라, 아이들을 위해 시작하는 경우가 많음
  직접 콘텐츠를 큐레이션하면서 아이가 무엇을 보는지 통제할 수 있어 한결 안심이 됨
  어릴 때 부모가 TV 채널을 제한하면 마음이 놓였던 그 시절의 감정과 비슷함
  오늘날 인터넷은 너무 무질서하고 위험 요소가 많다 느껴, 내 손으로 다시 통제권을 조금이라도 되찾고 싶은 부모가 늘고 있음
  이런 생각들이 언젠가 더 유용한 흐름으로 연결될 수 있을지 기대하고 있음
Opera Unite를 언급해줘서 반가움
누구나 별다른 지식 없이도 브라우저만으로 간단한 정적 사이트를 쉽게 만들 수 있었던 혁신적인 아이디어였음
이게 성공해서 사람들이 자기 콘텐츠를 자율적으로 공유하는 문화가 자리잡았다면, 지금의 상업화와 조작이 만연한 SNS 대신 훨씬 건강한 인터넷이 됐을 것임
PDS(개인 데이터 서비스) 개념이 매우 마음에 듦
하지만 커뮤니티가 컨텐츠 농장, 스팸, 원본 출처 명확성 같은 문제를 더 높은 우선순위로 다뤄야 한다고 생각함
이런 보호 장치가 없으면 악의적 행위자들이 federation 구조를 쉽게 붕괴시킬 수 있음
이미 이메일(SMTP) 네트워크만 봐도 이 문제의 심각성을 알 수 있음
수직통합된 앱이 훨씬 운영 비용이 저렴함
Instagram 은 사진의 일부만 저장하지만 수익성은 뛰어남
반면 iCloud 같은 계정 서비스는 웹 API도 거의 없고, 사실상 Apple 기기 전용임에도 사람들이 비용을 기꺼이 지불함(더 큰 iPhone 구매를 막는 효과 정도)
그런데도 웹 파일시스템 위에서 독립적으로 작동하는 앱이 많지 않은 이유는
1. Amazon이 트래픽/대역폭 비용을 스토리지보다 훨씬 비싸게 책정해서 직접 내 데이터 접근 시 물리적으로 같은 데이터센터에 두지 않으면 이용요금이 큼
2. 단일 사진 선택과 Dropbox 폴더 전체 접근 같은 보안·사용성 격차가 큼
  결국 범용 솔루션들은 직접 써보면 정말 느리거나 속도, 비용 문제로 실사용이 어려운 경우가 많음
  이중으로 스토리지 비용까지 이미 내고 있다면 대역폭 비용을 추가로 부담하려는 사용자는 극히 적음
“데이터가 기업이 아닌, 사람 중심 조직에 저장될 때 데이터 소유 담론이 바뀐다”는 주장에 동의하기 힘듦
기업 역시 사람에 의해 운영되는 조직임
주주가 이사진을 통해 통제하는 구조고, 외계인이 운영하는 것도 아니고 시스템 자체가 자율적으로 움직이지 않음
아마도 서비스 고객이 직접 운영에 투표할 수 없는, 영리기업을 반대한다는 뜻이었을 수 있을 듯
‘기업’이라는 단어가 종종 ‘악의 세력’처럼 쓰이지만, 결국 소수 특정 사람들이 소유하는 조직일 뿐
그리고 예시로 든 “@alice.com”처럼 .com을 쓰는 것도 아이러니하게 상업적 영역을 대표한다는 점을 생각하면 묘함
https://en.wikipedia.org/wiki/Institution#Examples
https://en.wikipedia.org/wiki/.com
- 사실 요즘 .com은 상업적 의미보다도 ‘공식, 기본, 대표’ 도메인 느낌이 강하다고 생각함
  보통 비상업적 웹사이트라도 일단 .com 주소부터 시도하는 경우가 많음

답변달기