▲crawler 2025-01-14 | parent | ★ favorite | on: OpenAI의 봇이 작은 회사 웹사이트를 'DDoS 공격'처럼 마비시켜(techcrunch.com)한 사이트에 접속한 ip 600개가 진짜라면 미친듯이 긁는구나 싶긴 한데 robots.txt를 안 썼다는 거에서 조금 '응?' 하네요 데이터가 중요한 기업 같고 사이트도 활성화된 거 같은데 가장 기본인 robots.txt 설정부터 하지...
한 사이트에 접속한 ip 600개가 진짜라면 미친듯이 긁는구나 싶긴 한데 robots.txt를 안 썼다는 거에서 조금 '응?' 하네요
데이터가 중요한 기업 같고 사이트도 활성화된 거 같은데 가장 기본인 robots.txt 설정부터 하지...