GN⁺: 블루스카이 1300만 사용자 시각화
(joelgustafson.com)13백만 BlueSky 사용자 시각화
-
Twitter와 BlueSky 비교
- Twitter는 방대한 사용자 기반과 다양한 부분이 있는 큰 플랫폼임.
- BlueSky는 최근 몇 달 동안 사용자 기반이 급격히 증가했으며, 특히 Twitter의 사용자 기반에 대한 지속적인 적대감과 브라질의 Twitter 금지로 인해 성장함.
- BlueSky의 데이터를 사용하여 전체 네트워크를 시각화할 수 있음.
-
데이터 수집
- BlueSky는 AT 프로토콜을 기반으로 하며, 개인 데이터 서버(PDS)를 통해 데이터를 자가 호스팅할 수 있도록 설계됨.
- 프로젝트에서는
bsky.network
의 WebSocket을 통해 실시간으로 이벤트를 수집하고, 이를 SQLite 데이터베이스에 저장함.
-
그래프 렌더링
- 13백만 노드와 5억 개의 엣지를 가진 그래프를 렌더링하는 것은 복잡한 작업임.
- 포스-디렉티드 레이아웃 알고리듬을 사용하여 그래프를 시각화하며, 이는 물리 시뮬레이션과 유사함.
- Barnes-Hut 최적화를 사용하여 계산 복잡성을 줄임.
-
Andromeda 엔진
- Zig로 개발된 멀티스레드 엔진으로, GTK4와 OpenGL을 사용하여 GUI를 만듦.
- Gephi와 ForceAtlas2 논문에서 영감을 받았으며, 대규모 그래프 시각화를 위한 상호작용성을 강조함.
-
UMAP을 통한 차원 축소
- UMAP은 2차원 시각화에 뛰어난 성능을 보이는 알고리듬 중 하나임.
- 노드 임베딩을 통해 UMAP에 입력하여 더 나은 시각화를 얻음.
- UMAP의 최종 단계에서 포스-디렉티드 그래프를 사용하여 노드 간의 거리를 조정함.
-
색상 추가
- UMAP 출력에 클러스터링 알고리듬을 적용하여 색상을 추가함.
- k-평균 클러스터링을 사용하여 각 클러스터에 색조를 할당하고, 각 노드의 팔로워 수에 따라 밝기를 조정함.
-
결과 및 향후 계획
- 시각화는 대규모 클러스터의 밀도와 구조를 명확히 보여줌.
- 향후 기능으로는 현재 화면에 보이는 계정의 타임라인을 표시하는 사이드바를 추가할 계획임.
Hacker News 의견
- BSKY 피드가 활성화되지 않아 흥미를 잃음. 초기 Twitter와 비교하여 새로운 소셜 네트워크가 활발해야 한다고 생각함
- Bluesky와 atproto는 해킹 가능하게 설계되었음. 커뮤니티에서 Bluesky "Starter Packs"의 검색 가능한 디렉토리를 구축함
- Dan Abramov는 이 프로젝트를 칭찬하며, 소셜 회사들이 API를 닫아버린 것이 공공 웹을 억제했다고 언급함
- Bluesky가 특정 분야에서 급성장 중임. Twitter에서의 대화가 가치가 없어지면서 Bluesky로 옮겨왔고, 최근 활동이 증가함
- Bluesky가 "Truth social"의 좌파 버전이 될 것이라 예상함. 글로벌 브랜드로의 전환이 어렵다고 생각함
- BlueSky API가 훌륭하다고 평가함. 동료가 이를 기반으로 시각화를 제작함
- Bluesky로 이주한 사용자로서 만족감을 느끼고 있음. Bluesky는 2015년의 Twitter와 유사하지만 광고나 성장 해킹이 없음
- Bluesky의 시각화가 정보 전달에 효과적이며 시각적으로 매력적이라고 평가함
- Bluesky의 사용자 이름으로 도메인을 사용할 수 있는 점이 좋음. 검증이 더 의미 있게 이루어짐
- BlueSky가 현재 긍정적인 상태이며, 계정을 설정하는 것을 추천함
- BlueSky 매트릭스를 UMAP에 직접 넣을 수 없지만, 다른 기술을 사용하여 사용자 임베딩을 도출할 수 있음