OpenAI 내부 연락처 보유자 누구든지, 거미 문제 해결 요청

OpenAI GPTBot의 웹사이트 크롤링 문제

• 저자는 자신의 웹사이트 web.sp.am에 OpenAI의 GPTBot이 방문해 과도하게 페이지를 크롤링하는 문제가 있음

  • 하루에 약 300만 페이지를 요청했고, 그 중 180만건은 robots.txt 요청이었음
  • 저자의 사이트는 Content Farm 형태로 68억 5900만개의 웹사이트가 각각 1개의 페이지를 가지고 있는 구조임
  • 모든 페이지가 거의 동일해 보이고 같은 IP, 같은 와일드카드 SSL 인증서를 사용하고 있어 크롤러가 상황을 파악하기 어렵지 않은 상황임

• 1~2달 전에는 아마존의 크롤러도 비슷한 문제를 일으켜, 연락을 취해 크롤링을 중단시킬 수 있었음

• 저자는 OpenAI에도 연락할 수 있는 사람이 있는지 문의하고 있음

• 저자는 GPT-5 학습에 자신의 웹사이트 데이터가 사용되고 있는 것 같다고 농담을 하고 있음

GN⁺의 의견

• 크롤러가 robots.txt를 제대로 해석하지 못하고 과도한 요청을 보내는 것은 악의적이진 않더라도 상대방 입장에서는 서비스에 피해가 갈 수 있는 심각한 문제임. OpenAI도 빠른 시일 내에 크롤러 로직을 보완해야 할 것으로 보임
• 특히 Content Farm처럼 수많은 도메인을 운영하는 곳에서는 각각의 사이트를 개별적으로 크롤링하지 않도록 IP 기반 필터링 등의 방안을 고려해야 함
• 크롤링 봇의 동작을 모니터링하고 이상 징후를 탐지해 빠르게 대응할 수 있는 프로세스와 시스템이 필요해 보임
• 크롤링 대상 사이트 관리자와 긴밀히 커뮤니케이션 하면서 피해를 최소화할 수 있도록 해야 함. 무조건 데이터 수집에만 집중할 것이 아니라 상생의 관점이 중요함

[GN⁺]

Hacker News 의견들

• GPT-2/3/J가 https://reddit.com/r/counting을 접했던 일이 떠오름. Reddit 사용자들이 숫자를 하나씩 올려 무한히 세는 곳인데, SolidGoldMagikarp 같은 사용자명이 인터넷에서 너무 흔한 문자열로 보였는지 토큰화 과정에서 독립 토큰처럼 취급됐음
  https://www.alignmentforum.org/posts/8viQEp8KBg2QSW4Yc/solid...
  https://www.lesswrong.com/posts/LAxAmooK4uDfWmbep/anomalous-...
  어휘는 무한하지 않고, GPT-3의 어휘도 50,257개 토큰뿐이었다고 알려져 있음. Reddit의 이 틈새 취미 때문에 생긴 추가 전력 비용과, 그 자리를 실제 텍스트에서 더 흔한 부분 문자열에 배정해 평균 입력 토큰 수를 줄였을 때의 차이가 측정 가능했을지도 궁금함
  OP 사이트의 부제인 IECC ChurnWare 0.3이 GPT-5 토큰이 되면 웃길 듯함

  • 환각의 원인이 대규모 언어 모델 자체의 본질이라기보다 원본 콘텐츠에 얼마나 있는지 궁금함. 인터넷 포럼에서 내가 답을 모르는 질문이 올라와도 “모릅니다”라고 굳이 쓰지는 않을 테니 말임
    실제로 일대일 대화가 아닌 곳에서는 “모릅니다”라는 답이 대체로 유용하지 않음. 그룹 안에서 모르면 침묵이 이미 그 사실을 나타내기 때문임
  • 토큰화 중에는 사용자명이 토큰이 됐지만, 실제 모델을 학습하기 전에 그런 텍스트를 학습 데이터에서 제거해버렸기 때문에 모델은 그 토큰이 포함된 텍스트로 학습되지 않았음. 그래서 아무 의미와도 연결되지 않은 글리치 토큰이 생김
  • Computerphile에도 글리치 토큰 관련 논의가 있음
    https://www.youtube.com/watch?v=WO2X3oZEJOA
  • 요즘 가장 흔한 어휘 크기는 32k임

• 저 콘텐츠 팜이 무엇을 위한 건지가 더 궁금함. 무의미해 보이지만 이상한 경제적 유인이 있을 것 같음. 제휴 링크가 있긴 한데, 그걸로 얼마나 벌 수 있을까 싶음

  • 이건 허니팟임. 작성자인 https://en.wikipedia.org/wiki/John_R._Levine은 새롭고 규모 있는 스크래핑 작업이 시작되면 반드시 이 작은 팜을 치고, 로그에 남도록 하려고 유지하는 것임
    그는 수십 년 전부터 여러 활동을 해온 유명한 안티스팸 인물임. NANOG 메시지에 랜딩 페이지 링크를 자연스럽게 흘리는 것도 봇이 미끼를 물게 하려는 방식임
  • iecc.com의 John Levine이라는 이름은 웹 1.0 시절 Invincible Electric Calculator Company로 기억남. 그는 Usenet의 comp.compilers 뉴스그룹 운영자였고 IBM PC RT용 첫 C 컴파일러를 작성했음
    https://compilers.iecc.com/
  • 봇을 위한 허니팟에 더 가까워 보임. 목적은 꽤 비슷함
  • Linkers & Loaders는 그가 쓴 책이 맞음. 다른 책들은 확인하지 않았음
    https://www.iecc.com/linker/ 페이지에서 예전에는 책 초안을 여러 형식으로 공개했는데, https://news.ycombinator.com/item?id=18424233에 올라왔을 때 내가 오프라인 읽기용으로 파일을 묶었더니 이후 “만성적인 불법 복제 때문에 더 이상 제공하지 않는다”는 문구로 바뀜
    이메일로 괜찮은지 물었지만, 파일을 불법 복제했다는 불친절한 답을 받아 링크를 내렸고 그쪽은 문구를 바꿨음. 내가 책 저자는 아니고 그들이 저자이니 그럴 수는 있음. 다만 페이지에 하지 말아 달라고 적어두라고 제안했는데, 그들은 더 급진적인 방식을 택했음
  • 그냥 재미로 만든 것이고 지금 제 역할을 아주 잘하고 있음. 모든 것에 경제적 목적, 100개의 추적기, 광고, 회사 후원이 붙을 필요는 없음

• OpenAI 서버 팜에 진짜 거미가 들끓어서 다른 사람들의 랙으로 기어들어간다는 내용이길 바랐던 게 나뿐이었나 싶음. 그럴 리 없다는 건 알았지만 기대했음

  • 큰 키워드 묶음이 거미 이미지를 생성했다는 내용이길 바랐음

• robots.txt를 제대로 해두지 않았음. 실제로 차단하는 부분을 주석 처리해놨음
  Amazonbot과 GPTBot에 대한 Disallow: /가 모두 주석 처리되어 있고, 현재 적용되는 건 User-agent: *에 대한 /archive 차단뿐임

  • 그때와 지금 사이에 내용이 바뀌었음

• robots.txt를 따른다면 OpenAI에는 봇 차단과 데이터 수집 문제가 함께 있음: https://x.com/AznWeng/status/1777688628308681000
  상위 10만 개 웹사이트 중 11%가 이미 OpenAI 크롤러를 막고 있으며, 이는 경쟁사들인 Google, FB, Anthropic, Perplexity를 모두 합친 것보다 많음

  • 이건 학습뿐 아니라 최종 사용자에게도 문제임. 긴 글에 대해 질문하거나 요약을 요청했는데 스스로 읽을 수 없다고 해서 결국 텍스트를 채팅창에 복사해 붙여넣어야 했던 적이 많음
    robots.txt가 구속력 없는 성격이고, 다른 맥락에서는 공개 데이터를 빨아들이는 데 꽤 거리낌 없어 보이는 점을 생각하면, 이런 것이 사용자 경험의 장애물이 되도록 놔두는 게 의외임

• 그냥 하게 두면 되지 않나 싶음. 인터넷을 원한다면 이게 진짜 인터넷임. 그가 수백만 페이지를 가져가는 것에 크게 신경 쓰지 않는 것처럼 보이니 그냥 하게 두면 됨

  • 그 웹 팜의 다른 정상 사용자들에게 성능 영향이 생김
  • 일부 스크래퍼는 robots.txt를 존중함. OpenAI는 그렇지 않음. SP는 그 사실을 세상에 알리고 있는 것뿐임
  • CTO조차 데이터가 어디서 오는지 모른다고 함
  • 바로 그게 핵심임. 그가 불평하는 건 OpenAI가 robots.txt를 존중하지 않는다는 점임

• 네트워크 보안 세계에서는 이런 것을 타르핏이라고 부름. 데이터를 아주 느리게 보내거나 무한 재귀를 유발하는 방식으로 공격, 스캔, 기타 자동화를 지연시킬 수 있음
  결과적으로 공격자의 시간과 에너지를 낭비시키고, 우리 쪽 방어를 강화할 시간을 벌 가능성이 생김

  • 이메일 내용을 보면 그냥 허니팟이라는 인상을 받음. 콘텐츠가 반환될 때 지연도 보이지 않음
    타르핏은 스캔이나 스크래핑을 늦추고 상대 자원을 의도적으로 낭비시키도록 설계된 것이어서 다름. 여러 기법이 있지만 대부분 응답이나 응답 속도를 지수적으로 제한함

• 2011년에도 picolisp 프로젝트가 즉석에서 페이지를 생성하는 마르코프 체인 같은 ‘ticker’를 공개했을 때 비슷한 일이 있었음
  https://picolisp.com/wiki/?ticker
  꽤 괜찮은 형태의 허니팟임

• 결국 OpenAI와 비슷한 회사들은 거의 전부 AI 생성 콘텐츠로 모델을 학습하게 될 것이고, Q&A 관점에서는 그런 콘텐츠가 꽤 자주 조금씩 틀려서 그걸로 학습한 AI 응답 품질도 빠르게 나빠질 것임
  지금은 인터넷 콘텐츠 대부분을 인간이 쓰지만 5년 뒤에는 그렇지 않을 수 있음. AI 분야가 빨리 해결해야 할 큰 문제 중 하나라고 봄. 옛말처럼 쓰레기를 넣으면 쓰레기가 나옴

  • 웹 텍스트 학습의 종착점은 늘 우로보로스였음. 광고 기술의 유인이 미세한 수익을 얻기 위해 낮은 품질의 콘텐츠를 대량 생산하도록 만들기 때문임
    이 모든 상황의 아이러니가 혹독함
  • 긁어올 원시림 같은 콘텐츠는 더 이상 없게 되겠지만, 인간이 원하는 콘텐츠는 여전히 가장 인기 있고 홍보되고 큐레이션되고 편집될 것임. 유기적 콘텐츠로 학습하는 게 불가능해져도 좋은 콘텐츠를 얻는 것은 가능함
  • 이미 해결된 문제임. Microsoft가 Phi를 어떻게 학습했는지 보면 됨. 기존 모델로 교과서 기반 합성 데이터를 생성했고, 그래서 Common Crawl 같은 것보다 훨씬 높은 품질로 “사실”에 기반한 새 데이터셋을 만들 수 있었음
    우로보로스라기보다는 부트스트래핑 문제에 더 가까워 보임
  • 앞으로는 멀티모달이 될 것이고, 분산 감지망의 피드로 학습하고 추론하게 될 것임. 라디오, 광학, 음향, 가속도계, 진동, 휴대폰 안에 있는 것과 그 밖의 많은 센서가 포함됨
    텍스트만 다루는 트랜스포머의 시대는 이미 지나갔다고 봄
  • OpenAI와 그 친구들이 결국 거의 전부 AI 생성 콘텐츠로 학습하게 된다고 왜 생각하는지 모르겠음. 인터넷에 실제 콘텐츠보다 AI 생성 콘텐츠가 더 많아질 가능성은 크고 이미 그랬을 수도 있지만, AI 회사들이 이를 알아차리고 학습 방법을 조정하지 않을 거라고 볼 이유는 없음

• OpenAI는 robots.txt를 읽기는 하지만 그래도 색인한다고 봄. 다만 색인하면 안 되는 콘텐츠였다는 표시만 남겨둘 것 같음

  • 그리고 그런 콘텐츠에는 학습에서 두 배 가중치를 줄 듯함