Reddit은 일반 HTML이 안전하지 않다고 판단했다

 (cole-k.com)
1P by GN⁺ | ★ favorite | 댓글 1개
  • Reddit은 Old Reddit의 로그아웃 이용을 악성 스크래핑과 자동화 트래픽의 주요 원천으로 보고 로그인을 요구하기 시작했지만, New Reddit은 여전히 로그아웃 상태로 접근할 수 있음
  • Old Reddit은 게시물과 댓글을 대부분 일반 HTML로 제공하며 약 1MB를 내려받고 0.5MB를 전송하는 반면, JavaScript가 필요한 New Reddit은 약 5배 많은 데이터를 불러옴
  • 제한적인 브라우저 실험에서는 New Reddit도 일부 JavaScript와 댓글 API 요청만으로 댓글 텍스트를 받을 수 있어, 이번 변경이 스크래핑을 실제로 차단하는지는 확인되지 않음
  • Old Reddit은 처음부터 댓글 200개를 불러오지만 New Reddit은 25개만 불러오고 스크롤 후에도 약 35개에 그쳐, 스크래퍼가 더 간결한 Old Reddit을 선호할 이유가 분명함
  • 모호한 ‘안전’ 명분보다 스크래핑 억제나 서비스 종료 목적을 직접 밝혔어야 하며, 로그인 강제는 사람이 작성한 검색 결과를 읽으려는 이용자에게 불필요한 장벽을 만듦

Reddit과 사람이 작성한 검색 결과

  • Reddit은 수많은 인기 포럼을 호스팅하면서 이용자가 만든 커뮤니티에서 최대한 많은 가치를 추출하는 회사로 여겨짐
  • LLM 시대의 인간 생성 데이터가 높은 가치를 갖게 되면서 Reddit 커뮤니티의 게시물은 더욱 중요한 자산이 됨
  • 과거 Reddit API 논란도 커뮤니티에서 가치를 회수하려 한 사례로 이어짐
  • 검색어에 site: reddit.com을 붙이면 실제 사람이 작성한 결과를 찾기 쉬워, Reddit을 적극적으로 사용하지 않더라도 검색 결과는 계속 방문할 가치가 있었음

Old Reddit의 로그인 요구

  • old.reddit.com은 Reddit의 기존 디자인을 제공하는 프런트엔드지만, 이제 로그아웃 상태에서는 정상적으로 이용하기 어려움
  • Firefox와 NoScript를 사용하는 소수 이용자는 정상 작동하던 제품에서 지원 중단으로 밀려나는 일을 반복해서 겪어 왔음
    • 8년 된 휴대전화와 10년 된 태블릿은 운영체제가 오래됐다는 이유로 사용할 수 없게 됨
    • 앱스토어에서 사라진 Stack Exchange 앱이 사용하던 API도 중단됨
  • Reddit은 이번 조치를 “Reddit을 안전하게 유지하기 위해서”라고 안내했지만, 지식에 접근하려는 이용자가 플랫폼에 어떤 위협이 되는지는 명확하지 않음

Reddit이 밝힌 스크래핑 문제

  • Reddit의 공식 공지에 따르면 Old Reddit의 로그아웃 이용은 악성 스크래핑과 자동화 트래픽의 주요 원천임
  • New Reddit은 로그아웃 상태에서도 접근할 수 있어 Old Reddit만 제한하는 이유에는 의문이 남음
  • 관련 댓글은 악성 트래픽 방식이 계속 바뀌면서 차단과 우회가 반복되고, 사후 탐지는 쉽지만 선제 차단은 어렵다고 봄
  • Old Reddit에는 현대적인 보안 스택이 없어 자동화 트래픽 대응이 더 어렵다는 해석이 나왔으며, Reddit 관리자는 이를 답변으로 대신함

Old Reddit의 동작과 전송량

  • 로그인 후 공지 스레드를 조사한 결과, Old Reddit은 사용자 콘텐츠를 대부분 일반 HTML로 제공함
  • 추가 댓글을 불러올 때가 아니라면 JavaScript 없이도 페이지를 읽을 수 있음
  • 측정한 페이지는 약 1MB를 다운로드하고 0.5MB를 전송했으며, 응답 대부분은 HTML이 차지함
  • 응답까지 약 2초가 걸렸고 크기 대비 GitHub보다 약 4배 느렸음
    • 속도 제한 때문인지 Reddit 자체가 원래 느린지는 확인되지 않음
  • 추가 댓글 요청은 간결하고 빠르게 처리됐으며, 일반 웹페이지와 다른 뚜렷한 보안 문제도 발견되지 않음

New Reddit의 JavaScript 의존성

  • New Reddit은 JavaScript 없이는 게시물 외의 콘텐츠를 거의 불러오지 못함
  • 전체 로딩량은 Old Reddit의 약 5배였으며, 정확한 보안 체계를 우회하는 대신 브라우저에서 콘텐츠를 가져오는 데 필요한 최소 요청만 남기는 방식으로 시험함
  • 다음 요청만 허용해도 페이지 자체는 로드됐음
  • 필터를 적용하면 추가 댓글 버튼은 계속 로딩 상태에 머물렀지만, 실제 요청 응답에는 댓글 텍스트가 들어 있었음
  • 페이지의 JavaScript를 실행하고 필요한 요청을 보내는 것만으로 댓글 정보를 받을 수 있어, JavaScript 실행이 스크래퍼를 막는 핵심 장벽인지는 불분명함

캡차와 사용자 동작 전송

  • 페이지를 여러 번 새로 고치고 댓글과 답글을 불러오는 동안 대부분 실패하지 않았음
  • 요청 필터를 해제한 한 번의 실험에서는 리디렉션과 함께 캡차 필드가 쿼리 매개변수로 전달됐지만, 같은 현상을 재현하지 못함
  • 댓글 API를 직접 반복 호출할 때 캡차가 나타나는지도 확인되지 않음
  • New Reddit은 사용자가 스크롤하거나 커서를 움직일 때마다 하트비트 신호를 Reddit으로 전송함

스크래핑 억제 효과의 한계

  • 프런트엔드 자체의 안전 문제라기보다 Reddit이 가치 있는 사용자 생성 데이터의 스크래핑을 어렵게 만들려는 조치로 보임
  • New Reddit을 여전히 스크래핑할 수 있다고 입증한 것은 아니며, Old Reddit보다 작업이 어려울 가능성은 남아 있음
  • 스크래퍼가 Old Reddit을 선호하는 이유는 페이지가 간결하고 초기 댓글 로딩량이 많기 때문임
    • Old Reddit은 처음부터 댓글 200개를 불러옴
    • New Reddit은 처음에 25개만 불러오며, 스크롤하면 약 35개까지 자동으로 늘어남
  • New Reddit은 일반 HTML 중심의 기존 화면을 웹 컴포넌트 등에 의존하는 약 5배 무거운 구조로 바꿨고, 그 결과 브라우저가 더 많은 데이터를 받고 더 많은 작업을 수행함
  • 브라우저의 부담을 키워 스크래핑 비용도 높였을 수 있지만, 실제 차단 효과는 확인되지 않음

‘안전’이라는 명분에 대한 반발

  • Reddit이 old.reddit.com에 30X·40X 응답을 조용히 적용하거나 이용자가 적어 제거한다고 밝혔다면, 불쾌하더라도 예측 가능한 결정이었음
  • 실제 이용자와 직접 관련 없는 모호한 보안·스크래핑 명분으로 정상 작동하던 접근 방식을 빼앗는 점이 더 큰 반발을 부름
  • Anubis처럼 필요성이 납득되는 경우에는 JavaScript를 활성화할 의사도 있어, 반감의 핵심은 JavaScript 자체가 아니라 설명과 조치의 불일치임
  • 개인 블로그도 Old Reddit처럼 일반 HTML로 텍스트를 제공하지만, Reddit의 사용자 생성 콘텐츠와 달리 원래 운영자 자신의 콘텐츠라는 차이가 있음

남은 선택지와 우려

  • 로그인할 수는 있지만, 기존에 불필요했던 절차를 강제받는 데 대한 불만은 남음
  • New Reddit을 써야 할 수도 있으며, Reddit이 Old Reddit 지원을 계속 유지할지도 알 수 없음
  • Reddit이 가능하다고 판단하면 향후 New Reddit의 로그아웃 접근도 차단할 수 있다는 우려가 있음
  • 사람들의 실제 글을 읽기 위해 거대하고 비싼 LLM을 거치는 환경보다, 인간이 작성한 텍스트를 직접 검색하고 읽을 수 있는 인터넷을 원함
  • 관련 논의는 Lobste.rs에도 게시됨

함께 보면 좋은 글 β

GN⁺   [-]
Lobste.rs 의견들

  • 소셜 미디어의 엔시티피케이션(enshittification) 을 보여주는 가장 좋은 예가 구 Reddit에서 신 Reddit으로의 전환임. 구 버전은 낡았지만 빠르고 군더더기 없으며, 브라우저에 부담을 주지 않고 수십 개의 답글을 불러올 수 있고 RES나 Toolbox 같은 도구로 불편한 부분도 개선 가능함
    몇 달마다 신 버전을 다시 써보지만, 가입한 지 거의 15년이 됐는데도 적응하기 어려움. 거대한 사이드바 두 개가 공간을 차지하고, 글을 여는 과정은 느리고 혼란스러우며, 댓글 묶음을 불러오다 페이지가 새로고침돼 맥락을 잃기도 함
    이미지 게시, 투표, 새 운영 도구 같은 좋은 기능도 있지만 여전히 구 버전을 쓰게 됨. 회사가 다시 사용자 편의성을 중시할 가능성도 없어 보이며, 구 버전을 무기한 지원한다던 입장이 최근 “당장은 아니다”로 약화된 것도 불길함

    • 사회적이고 작은 커뮤니티가 많았던 옛 웹과 구 Reddit은 계속 쇠퇴해 왔음. Old Reddit까지 종료되면 남아 있던 사용자들이 떠나거나 계정을 삭제하면서 쇠퇴가 더 빨라질 것이고, 나도 확실히 그중 하나임
      자주 참여하는 /r/rust도 운영자와 장기 사용자 대부분을 잃고 무너질 가능성이 큼. Rust가 성숙하고 지나치게 주류가 되면서 10년 전보다 품질이 크게 떨어지기도 했음. 신 Reddit은 회사가 원하는 방향에는 더 적합하지만 옛 웹에는 가망 없는 완전히 다른 제품임
    • 믿기 어렵겠지만 모바일에서도 Old Reddit을 사용함. 글자가 작아도 훨씬 빠르기 때문임
    • 가장 심한 사례라는 건 과감한 평가임. 친구와 가족의 소식을 보던 피드에 정치적 분노 유발 콘텐츠와 AI 저품질 콘텐츠를 끼워 넣은 Facebook도 상위권에 들어야 함
    • 신 Reddit 데스크톱 화면은 전반적으로 내용을 파악하기 더 어려움. 관심 가는 제목을 훑거나 무엇이 관련 있는지 알아보기도 힘들어짐

  • 핵심 문제는 홍보 문구가 “서버의 스크래핑 부하를 줄이기 위해서”가 아니라 “보안을 위해서”라고 쓴 데 있음. 요즘 웹사이트 운영자에게 스크래핑 부하는 충분히 타당한 우려이며, 나머지는 정당한 짜증이긴 해도 당면한 문제와는 다소 거리가 있음
    Philips Hue 조명 앱도 수년간 계정 없이 조명을 제어하지 못하게 할 예정이라며 “보안을 위해서”라는 배너를 띄웠음. 진정한 보안은 모든 통신을 내 네트워크 안에 두는 것이지, 홈 네트워크의 장치를 제어하려고 외부 서버와 외부 인증 체계를 끌어들이는 게 아님. 다행히 아직은 경고에 그쳤고 계정 없이도 잘 작동함

    • 이제 “보안을 위해서”를 “우리 사업의 안전을 위해서”로 읽기 시작했음
    • 봇 차단은 분명 보안 작업에 포함된다고 보므로, 그 표현이 틀렸는지는 잘 모르겠음
    • Hue의 보안 운운에 질려 결국 Raspberry Pi, deCONZ 동글, Node-RED/Homebridge 조합으로 옮겼고, 이후로 전혀 후회하지 않음
    • 로그인 화면은 “안전을 위해서”, 홍보 문구는 “보안을 위해서”라고 하지만 실제 의미는 스크래핑을 막아 Reddit 자신을 보호하기 위해서임. 신 Reddit이 스크래핑하기 더 어렵다는 근거를 확인해 보려 해도 결국 복잡한 웹 앱이라는 점밖에 남지 않음
      스크래퍼 때문에 타격받는 소규모 사이트는 안타깝지만 Reddit에는 별로 동정이 가지 않음. Google 등이 API 접근에 거액을 지불했다면, Old Reddit이 유지할 가치가 있는 한 비로그인 접근도 계속 지원하지 못할 이유를 모르겠음. CAPTCHA 리디렉션도 본 것 같은데 이를 Old Reddit에 추가하는 게 그렇게 어려운지도 의문임
      냉소적으로 추측하면 누군가 Old Reddit에 2초 속도 제한을 걸었는데 스크래핑 수치가 그대로인 것을 보고 종료를 결정했고, 내부 충돌 끝에 지금의 절충안이 나온 듯함

  • 이런 분야에서는 노골적인 거짓말이 터무니없이 흔하고 너무 자주 묵인됨. Cloudflare도 몇 달 전까지 “example.com에서 계속 진행하기 전에 연결 보안을 검토해야 합니다”라고 표시하다가, 최근에야 악성 봇 차단 서비스가 사용자를 확인하고 있다고 더 솔직하게 바꿈
    Google이 XSLT를 제거한 명분도 비슷함. 처음에는 보안을 주된 이유로 들었지만, 실제 제거를 시작하기 전 확장 프로그램으로 구현한 완전 호환 대체품을 제공해 스스로 보안 논리를 무효화했음. 그런데도 실제 제거 단계에서 계속 “보안을 위해서”라고 했으며, 정당한 다른 이유를 솔직히 제시했어야 함. 모든 브라우저 업체가 XSLT 제거를 원했다는 점이 아니라 Google이 이를 포장한 방식이 거슬림

  • 기업은 무엇이든 “안전을 위해서”라고 말하길 좋아함. 오래전 편의점에서 작은 휴대용 가방을 들고 들어갈 수 없으며 나와 다른 고객의 안전을 위해서라고 들었음. 빈 가방으로 누군가를 때릴 수도 있고 강도를 당한 적도 있겠지만, 실제 걱정은 거의 확실히 절도였을 것임
    솔직하게 “안전”을 “이익률을 유지하고 높이기 위해서”로 치환했다면 훨씬 존중했을 것임. 사업의 목적이 돈을 버는 것이라는 건 당연함

  • libredirect 같은 리디렉션 플러그인과 함께 redlib, libreddit, teddit 같은 Reddit 읽기 전용 개인정보 보호 프런트엔드를 쓰면 됨. 해당 인터페이스 개발자를 제외하면 누구도 Reddit의 최신 횡포를 직접 감수할 이유가 없음

  • old.reddit.com을 이용하면 성적인 주제뿐 아니라 다른 민감한 내용도 포함하는 18세 이상 서브레딧의 로그인 장벽을 우회할 수 있음
    Reddit 계정 없이 특정 주제에 접근하려는 사람에게 이번 변경은 더 나쁨. Reddit은 여전히 방대한 자료원이어서 검색어에 site:reddit.com을 자주 추가함

  • Reddit이 JSON API도 제거하면서 계정, 로그인 장벽, JavaScript 없이 Reddit을 볼 수 있게 해주던 lurker(https://tangled.org/oppi.li/lurker) 같은 도구도 막혔음. 언젠가 올 일임은 알았고, 고품질 사용자 생성 데이터가 Reddit의 방어벽인 듯함

  • Old Reddit은 Reddit의 사업적 이해에도 “안전하지” 않음. 신 Reddit은 이제 휴대전화에서 아예 작동을 거부하고 앱 다운로드로 강제 이동시키는데, 앱에서는 일반적인 광고 차단기도 작동하지 않아 Reddit이 브라우저보다 훨씬 강하게 통제할 수 있음. 반면 구 사이트는 아직 모바일에서 이용 가능함

    • 브라우저의 “데스크톱 사이트 요청”을 사용하면 앱 강제를 피할 수 있음

  • Reddit과 HN에서도 명백한 봇과 홍보성 마케팅을 많이 봤음. 온라인에서 교류하는 몇 안 되는 곳 중 하나가 lobste.rs인데, 대부분 진짜 사람이라고 믿을 만하기 때문임

  • 모바일에서 신 Reddit의 댓글을 어느 정도 읽다 보면 닫을 수 없는 앱 설치 장벽이 나타나 “Reddit은 앱에서 더 좋다”고 강요함. 앱을 설치하지 않고 이를 피하는 유일한 방법이 Old Reddit임
    정성껏 만든 모바일 웹사이트를 한두 페이지 넘게 보는 행위가 “안전하지” 않은 모양이며, Old Reddit 종료는 앱 설치 유입 경로의 이 구멍을 막으려는 것으로 보임

답변달기