▲

웹 봇과 봇 탐지 기술의 짧은 역사

 (sinja.io)
15P by neo 1일전 | ★ favorite | 댓글과 토론
  • Web Bot은 HTTP 클라이언트 단순 요청부터 실제 브라우저 자동화까지 발전해왔으며, 이에 맞서 Bot 탐지 기법도 지속적으로 정교해짐
  • IP 평판, TCP/TLS/브라우저 환경 지문, 자바스크립트 기반 행위 분석 등 다양한 기술이 봇 탐지에 활용됨
  • Headless 브라우저, 프록시, User-Agent 변조 등 봇 우회 기법은 발전하지만, 탐지 알고리듬도 함께 진화해 양자간 ‘고양이와 쥐’ 게임이 계속됨
  • 최근에는 행동 데이터 기반 AI 모델을 활용한 고도화된 행동 분석까지 결합, 봇 탐지가 한층 복잡해짐
  • CAPTCHA, 프록시 탐지, Proof-of-Work, 행동 기반 인증 등 다층 방어 체계가 일반화되고 있음

도입: 웹 봇과 탐지 기술의 진화

  • 웹 봇은 단순한 크롤러·자동화 스크립트부터, 실제 사용자처럼 행동하는 고도화된 프로그램까지 다양한 유형 존재
  • 검색 엔진, 아카이브 봇 등 유익한 봇도 있지만, 스팸·불법 스크래핑 등 문제적 활용도 많음
  • 사이트 운영자들은 초창기부터 봇과의 싸움을 이어왔으며, 탐지·우회 기법이 동시에 고도화됨

가장 단순한 봇: HTTP 클라이언트

  • curl, wget 등 단순 HTTP 클라이언트로 사이트에 요청을 보내는 방식이 가장 기본적인 봇임
  • 모든 HTTP 클라이언트는 User-Agent 헤더에 자신을 노출하므로, 사이트는 손쉽게 탐지·차단 가능
  • User-Agent를 브라우저로 위조해도, 브라우저는 추가적인 헤더(언어, 인코딩 등)를 포함하므로, 완벽한 위장이 아니면 여전히 탐지됨

IP 평판 및 프록시

  • 서버는 IP 주소를 활용해 봇을 탐지함. 특히 클라우드·데이터센터 IP 대역은 봇/자동화 트래픽으로 인식되어 신뢰도가 낮음
  • 프록시 없이 운영하면 금방 차단되므로, 주거지/모바일 프록시로 IP를 우회해야 하고, 이를 위해 비용이 듦
  • 사이트는 IP 평판, 프록시 포트(1080 등) 오픈 여부, IP 대역, 접속 패턴 등을 적극적으로 점검함
  • IP 차단을 우회하기 위해 회전 프록시(rotating proxy), 모바일 프록시 등이 활용됨

TCP 지문(TCP Fingerprinting)

  • HTTP 요청 전 TCP 연결을 맺을 때, 운영체제별로 TCP 패킷 구성 방식이 달라 이를 분석해 OS를 식별할 수 있음
  • User-Agent와 실제 OS(TCP 지문)가 불일치할 경우, 봇/위장 트래픽으로 판단됨
  • 프록시 서버도 TCP 지문에 영향을 미칠 수 있어, 프록시 선택시 OS 일치 여부 고려 필요

TLS 지문(TLS Fingerprinting)

  • TLS 핸드셰이크 과정에서 지원 암호화 방식, 버전, 확장 등이 브라우저/OS별로 다름
  • TLS 지문을 통해 브라우저, 운영체제, 라이브러리 종류를 추정하고 User-Agent와 교차 검증 가능

자바스크립트 탐지

  • 서버는 응답 전, 또는 페이지 로드 후 JavaScript로 클라이언트 환경·행동 정보를 추가 수집함
  • 봇이 JavaScript를 실행하지 않으면 곧바로 탐지되며, 봇도 Selenium, Puppeteer, Playwright 등 브라우저 자동화 도구를 이용해 대응함
  • 단순 HTTP 요청 수준에서 브라우저 자동화로 진화 중

Headless 브라우저와 탐지

  • Headless 모드(창 없는 Chrome 등)는 봇 개발에 필수적이나, navigator.webdriver 등 고유 속성, 빈 플러그인 리스트 등 다양한 차이점으로 탐지가 가능함
  • 각종 속성을 패치해 위장할 수 있으나, 수십 개 힌트를 모두 처리해야 하고, 새로운 탐지 포인트가 계속 등장함
  • 2023년부터 도입된 New Headless 모드는 실제 Chrome과 동일 엔진을 사용해 탐지가 더 어려워짐

오케스트레이션 프레임워크 탐지 및 IPC

  • Selenium, Playwright 등 자동화 프레임워크는 고유 플래그·옵션, 브라우저 버전, 환경 구성에서 특이점을 노출함
  • 예시: --disable-ipc-flooding-protection 등 플래그는 봇 환경을 식별하는 단서가 됨
  • 일부 JS 함수(예: window.history.pushState)를 과도하게 호출해 IPC flood 상태 유도 및 탐지 가능

프록시 탐지: JS 기반 고도화

  • Latency(지연 측정): WebSocket 등으로 측정한 전체 지연과 TCP 지연 차이를 비교해 프록시 존재 여부 확인
  • WebRTC Leak: 브라우저의 WebRTC를 이용해 실제 클라이언트 IP를 얻고, HTTP 요청 IP와 비교해 불일치시 프록시/봇 의심
  • DNS Leak: 자바스크립트에서 임의의 서브도메인 요청 → DNS 서버 위치/IP를 통해 비정상적 패턴(국가 불일치 등) 탐지
  • Timezones: 브라우저의 타임존과 IP 위치 비교로 프록시 사용·위장 탐지

캡차(Captcha)와 인증

  • Captcha는 봇 탐지/차단 목적의 별도 인증으로, 사람이 해결 가능한 문제(글자 인식, 클릭 등)로 구성됨
  • 최근에는 Proof-of-Work 기반 캡차(연산 작업 부과), 행동 기반 캡차(단순 클릭, 행동 분석 결합)가 도입됨
  • 대다수 봇은 저가의 외부 캡차 솔버 서비스를 활용해 캡차를 우회함

단순/고급 행동 분석

  • 행동 분석은 마우스 움직임, 키 입력 패턴, 클릭 위치·속도 등 인간 행동 특유의 비효율성과 다양성을 분석함
    • 예시: 마우스 곡선 이동, 클릭 딜레이, 키 입력 간 시간 차, 모바일 기기 orientation/motion 이벤트 등
    • 봇은 직선 이동, 일정/빠른 타이핑, 비현실적 반응 속도 등에서 쉽게 드러남
  • 고급 행동 분석은 대규모 인간·봇 행동 데이터를 수집·학습해, AI/머신러닝으로 미세 패턴까지 식별
    • 예: 마우스 이동 궤적, 키스트로크 간 미묘한 시간 차, 페이지 탐색 패턴 등 복합적 데이터 기반 분류

결론 및 시사점

  • 웹 봇 vs. 탐지 기술은 끊임없는 진화와 대응의 싸움이며, 정적 지문·행동 분석·AI 기반 탐지까지 다양한 기법이 혼합 활용됨
  • 각종 우회·위장 기법에도 불구하고, 서비스 운영자는 다층적 탐지 체계, 실시간 행동 분석, AI 모델 등으로 대응하며 지속적 업그레이드가 필요함
  • 봇 개발자는 완벽한 위장 환경을 구성하는 데 한계가 있으며, 최신 탐지 트렌드와 대응 방법에 대한 이해가 필수적임