이 곳은 대체로 기술에 밝은 사람들이 모이는 곳이기 때문에, 많은 사람들이 진심으로 Anubis 같은 보호책의 원리나 취지를 이해 못하는 것인지, 아니면 일부러 못 알아들은 척하며 이를 경시하는 척하는 것인지 궁금증이 생김
AI 스크래퍼 봇 개발자라면 언젠가 방법을 알아낼 것이라는 점은 당연하지만, 일단 한동안 효과가 있었던 것이 중요함
봇 개발자들이 새로운 우회법을 내놓으면, 또 새로운 ‘봇 아님 증명’ 도구가 등장할 것임
결국 이건 단순함: 새로운 방법을 적용해서 한 두 달이라도 사이트가 안전하다면 그것만으로도 만족할 만한 성과임
네트워크 전체를 차단해야 할지 고민하며 초당 수십 개의 요청을 감당하는 것보다 훨씬 나음
예를 들어 폼에 “7+2가 얼마인가요?”와 같은 질문을 넣는다면, 물론 수집기는 답을 계산할 수 있지만, 이를 스크래퍼에게 “어떻게 하라고” 알려주는 게 결국 사람의 몫이 됨
나는 Anubis의 PoW(Proof-of-Work)가 실제로 사이트에 어떤 효과를 냈는지 숫자로 확인할 수 있기를 바랐음
개인 서버에서 만든 작은 웹사이트라 로깅이나 통계를 잘 확인하지 않지만, 언젠가 내 사이트도 공격적인 크롤링을 당할 수 있음
현재 공개된 자료에서 볼 수 있는 건 PoW의 성능 자체뿐이지, 실제로 사이트에서 얼마나 효과를 냈는지는 알 수 없음
이상적으로는 “OpenAI 봇이 전체 요청의 17%였는데, 하루 90만 건에서 0건으로 줄었다”처럼, 봇 종류별 통계가 있으면 정말 좋음
검색해보면 “Anubis가 크롤링을 막아줬다”는 블로그 글들만 잔뜩 나오고 실제 데이터는 부족함
추가로 아래 스레드에서 이런 PDF 데이터를 찾았지만, 실제 고객이 몇 명이나 차단당했는지에 대한 분석은 없음
더 다양한 데이터가 있었으면 하는 마음임
요즘 사이트마다 Cloudflare 중간 로딩 화면을 보는 일이 흔해졌음에도, 사람들은 Anubis 같은 보호책이 많이 쓰이지 않는다고 불만을 터트림
이 현상이 다소 아이러니하게 느껴짐
처음 Anubis가 나왔을 때부터 비효율적이라고 생각했음
첫째, 스크래퍼는 이미 전체 브라우저를 돌려 페이지가 모두 안정화될 때까지 기다리는 작업을 하고 있었으니, 이 방식을 우회하는 건 어렵지 않음
둘째, AI가 페이지를 읽으려면 약 5초 동안 1600W에 달하는 연산이 필요하며, 내 휴대폰이 서버급 성능만큼 효율적일 리 없으니 5초보다 더 오래 걸릴 수 있음
이 모든 일을 동시에 처리하려면 기기도 뜨거워지고 그만큼 비효율적인 구조임
내 생각엔 PoW 자체가 AI 스크래퍼를 막는 게 아니라, Anubis가 만든 특이한 사이트 접근 절차 때문에 막히는 것 같음
만약 이게 사실이라면 정당한 인간 방문자가 로딩 화면을 몇 초씩 보며 기기를 낭비하지 않도록, Anubis는 PoW 기능만 빼고도 충분할 수 있음
7+2처럼 간단한 체크는 뭔가 제출하려는 사용자만 제한하지만, Anubis는 사이트에서 단순히 읽기만 해도 모든 사용자에게 영향을 미침
Anubis의 핵심 목적이 크롤러의 신분 세탁(Sybil 공격)이나 병렬 크롤링을 제어하는 것이라고 생각함
접근 유형은 다음과 같음:
예전에는 이런 절차적 접근방식이 귀찮을 뿐 아니라, 진짜 사람 인증하는 데 실질적인 도움이 되냐는 의문이 있었음
이런 도전은 쉽고 저렴하게 자동화 가능함
나는 실제로 Anubis가 도는 사이트의 User Agent에서 "Mozilla"를 빼는 브라우저 확장 프로그램을 만들어 적용함
대부분 JS, 쿠키를 쓰지 않으니 챌린지조차 못 깨고, JS, 쿠키를 허용하는 일부 self-hosted Gitlab 등은 내 컴퓨터 자원이 채굴에 쓰이는 걸 원치 않음
User Agent 헤더를 건드리면 거의 즉시 나만의 식별자가 생기니 주의가 필요함
브라우저 핑거프린팅은 특별한 헤더 값을 가진 사용자에게 특히 잘 먹힘
손대지 않은 Safari만 써도 수백만 사용자가 똑같은 값을 공유하는데, User Agent를 바꾸는 순간 유일한 식별자가 되어버림
사이트가 "스티키"한 경우 진짜로 Monero 등 암호화폐를 백그라운드에서 채굴하는 것도 가능하지 않을까라는 생각이 듦
“이 사이트는 귀하의 컴퓨터를 백그라운드에서 과도하게 사용하고 있습니다. 중단하시겠습니까?” 같은 경고가 브라우저에 있으면 좋겠음
User Agent 값을 바꾸면 오히려 다른 기능들이 깨질 수 있지 않겠냐는 의문이 있음
대부분의 브라우저 User Agent 문자열은 이미 표준 값으로 ‘거짓말’로 가득 차 있어서 바꾸긴 두려움
본인이 만든 확장 프로그램에 흥미를 느낌
페이지의 텍스트 인코딩을 강제로 일본어로 바꿔볼 수 있을까 고민하게 됨
AI 봇도 똑같이 User Agent를 바꿀 수 있다면, 결국 똑같은 결과가 아니냐는 의문이 듦
Anubis의 캐릭터가 고양이가 아니냐는 논쟁에 대해, Anubis란 이름 자체가 이집트의 신으로 보통 자칼이나 개로 묘사됨
이름에서도 알 수 있듯이 애프터라이프(사후세계)의 문지기임
기술적으로 말하자면 ‘개소녀’, 또는 ‘자칼소녀’가 더 정확함
덕분에 마음이 한결 가벼워졌다고 농담을 던짐
하지만 원래 Anubis의 시각적 특징이 빠져 있다는 점이 아쉬움
AI 서비스 제공자는 사실상 데이터센터에 연산 자원을 두고 있기 때문에 PoW 방식이 오히려 리소스가 적은 개인 사용자만 제한하는 꼴이 된다고 생각함
하지만 현실에서는 Anubis가 그나마 쓸만한 차악 옵션으로 받아들여지는 듯
이론과 현실이 다르다면, 뭔가 빠뜨렸을 수도 있고 이론이 틀린 것일 수도 있음
Anubis 화면을 보자마자 한눈에 알아봤고, 이 프로젝트의 애니메이션 고양이소녀가 사라지지 않길 바라는 마음임
인터넷이 너무 기업적이고 삭막해진 요즘, 이렇게 귀여운 요소가 아직도 남아 있다는 게 기분 좋음
Anubis가 원래 개머리를 한 이집트 신에서 따온 것이니, 그림을 보고 ‘개소녀’라고 생각함
애니메이션 캐릭터가 마스코트인 프로젝트는 이것뿐만이 아님
ComfyUI도 공식 마스코트로 여우소녀 캐릭터를 쓰고 있는데, 이것이 Stable Diffusion 기반 생성 UI의 사실상의 표준임
AI 스크래퍼들이 PoW를 진지하게 구현하거나 User Agent에서 ‘Mozilla’를 빼는 것만으로도 이 보호책이 바로 무의미해진다면, 프로젝트 자체가 곧 사라질 수도 있다는 전망임
“CAPTCHA는 컴퓨터에겐 어렵고 사람에겐 쉬운 문제를 제시한다”는 설명에 대해, 내가 만났던 “정통파 랍비가 있는 칸을 고르시오” 같은 CAPTCHA를 실제로 풀어본 적이 있는지 의문을 가짐
그 유형의 CAPTCHA는 토요일에는 풀 수도 없다는 유머성 응답
요즘은 CAPTCHA를 저렴하게 대신 풀어주는 서비스도 많음
AI 기업의 대규모 트래픽에는 추가 할인을 받을 수도 있고, NopeCHA 같은 브라우저 확장도 99% 정도 성공해서 직접 풀 피로를 줄여줌
결국, 어려운 CAPTCHA를 써도 실제 고객만 힘들게 만들 뿐임
물론 스스로 AI로 CAPTCHA를 해결하지 못할 때를 가정한 이야기임. 요즘엔 AI로도 충분히 가능함
결국 컴퓨터가 모든 걸 잘하게 됨
2000년대 초반의 CAPTCHA는 진짜로 컴퓨터에겐 어려웠음
Anubis가 실행 중인 JWT 토큰의 식별자를 저장하고, 각 토큰에서 발생하는 요청 수나 속도를 추적하고, 일정 임계치를 초과하면 토큰을 취소하거나 지연응답 또는 제한을 거는 방식도 적용할 수 있을 거라 생각함
봇이 챌린지를 풀더라도, 토큰을 유지해 지나치게 빠르게 요청하는 순간 곧바로 제약이 걸림
특정 IP에서 토큰을 여러 개 발급하지 않도록 제한하는 방식도 생각할 수 있음
이따금씩 Anubis 같은 화면을 보면 악성 리디렉션이나 이상한 이미지보드 사이트로 연결되는 건 아닌가 걱정됨
kernel.org가 유료, 비애니메이션 버전이 아닌 무료 버전을 쓰는 것도 의아함
리눅스재단이 BMW 다 타고 다니더니 정말로 돈이 없는 건가 이런 농담도 듦
애니메이션이 요즘 더 대중적이라 넷플릭스도 연간 수십억을 벌 정도인데, 이런 순수한 애니 그림만 봐도 일부는 딴 생각을 하는 현상이 신기하다고 느낌
Anubis는 사실 독창적인 프로젝트가 아닌 Kiwiflare의 클론이라 완전히 틀린 인상은 아님
Kiwiflare 관련 링크
굳이 비브랜드 버전이 필요할까 의문임
오픈소스는 보통 별도의 라이센스나 다운로드 페이지가 없어 배포가 더 쉬움
의존하는 프로젝트라면 기부만 해도 되는 일이고, 굳이 디브랜딩하는 게 아니라면 오히려 원래 브랜드가 신뢰를 줄 수 있음
예를 들어, Anubis 마스코트가 나오면 자바스크립트를 더 믿고 활성화할 수 있지만, 브랜드가 없으면 이상한 캡차업체 코드일 수 있다는 의심이 생김
LKML은 예나 지금이나 디자인 신경 안 쓰니 사실 별 상관없음
사람만 쉽게 풀 수 있는 질문을 카운팅하는 등 인간 인증법이 LLM 필터에도 의외로 효과가 있음
예시로, 등록할 때 특정 키워드의 철자 수를 세거나, 자동차 부품의 직경 등을 묻는 포럼들이 있는데 실제로 효과가 좋았음
작은 포럼은 가입 절차 맞춤 전략만 잘 써도 스팸 가입이 확 줄어듦
나는 예전에 스팸 가입이 많은 포럼에서 6자리 숫자에 1을 더해 입력하게 바꿨고, 효과가 극적이었음
검증된 방식임
예전에 moparscape라는 게임 포럼에서는 'mopar가 뭐냐' 물어서 매번 검색하곤 했음
하지만 이런 질문도 일반 사용자 중 일부는 풀기 어려워한다는 점을 상기할 필요가 있음