최근 LLM 연계 서비스로부터의 과도한 트래픽으로 인한 피해 사례가 간간이 보이는데, 사실상 그런 유형을 위한 방편으로도 볼 수 있을 것 같습니다. 예를 들어 챗지피티의 웹 검색 기능 등을 보면 그 유저 풀 특성상 '악의적이지 않은' 과도한 트래픽 발생 여지가 다분한데, 이들은 간단한 에이전트 매칭으로 쉽게 걸러진다고 들었습니다. 이게 진짜 의도가 맞다면 애꿎은 OpenAI 서버비(와 평판?)만 축내는 길이지만요..
말씀하신 User-Agent든 원글에서 언급된 IP 기반 탐지든, 식별 정보는 위장이 가능하기에 악성 여부를 단정하기 어렵다는 점에 동의합니다. 실제 악의적인 봇은 더 교묘하게 접근하겠지요.
제 생각에는 이런 공격보다는, 차라리 부하 제한이 있는 크롤링 API를 제공해서 합법적인 자동화 접근은 허용하되 서버 자원은 보호하는 방향이 더 현실적인 '넛지'가 아닐까 싶습니다. ㅎㅎ
이런 글을 올리는 목적이 뭘까요?
실제로 크롤러를 돌리는 기업들이 이 글을 읽고 제외까지 할 가능성은 거의 없다고 생각하는데 말입니다.
그럼 이 글은 어떤 독자들을 대상으로 쓴 글일까요?
같이 블로그를 운영하는 사람들에게 이런 방법이 있다고 알려주는 소개글,
아니면 내 블로그 이렇게 보안 쎄니까 할 수 있으면 한번 크롤링 해보라는 어그로?
글을 올려서 얻는 게 뭘지 정말 궁금해집니다
와.. 엄청나네요.. 진짜. 이렇게 자연스럽다니
최근 LLM 연계 서비스로부터의 과도한 트래픽으로 인한 피해 사례가 간간이 보이는데, 사실상 그런 유형을 위한 방편으로도 볼 수 있을 것 같습니다. 예를 들어 챗지피티의 웹 검색 기능 등을 보면 그 유저 풀 특성상 '악의적이지 않은' 과도한 트래픽 발생 여지가 다분한데, 이들은 간단한 에이전트 매칭으로 쉽게 걸러진다고 들었습니다. 이게 진짜 의도가 맞다면 애꿎은 OpenAI 서버비(와 평판?)만 축내는 길이지만요..
와 정보가 귀에 쏙쏙 박히네요...
윤리적으로 좋은 방식은 아니네요. 근본적인 해결책도 아니구요.
재밌는글이네요! 생각지못한 방법이라 알려주셔서 감사합니다!
오~ 기대됩니다.
요즘 구글이 파운데이션 모델의 성능만 좋아진 게 아니고, 이런 서비스와 접목하는 부분도 너무 좋은 것 같습니다.
와 이건;; 대박이네요
https://freederia.com/researcharchive/
Ai 과학자 사이트입니다
이런 방향이 다양한 방향성을 더욱 촉진시킬겁니다
보상이 개인의 자율성을 침해할 때, 내재적 동기를 저해한다
는 말이 와닿네요말씀하신 User-Agent든 원글에서 언급된 IP 기반 탐지든, 식별 정보는 위장이 가능하기에 악성 여부를 단정하기 어렵다는 점에 동의합니다. 실제 악의적인 봇은 더 교묘하게 접근하겠지요.
제 생각에는 이런 공격보다는, 차라리 부하 제한이 있는 크롤링 API를 제공해서 합법적인 자동화 접근은 허용하되 서버 자원은 보호하는 방향이 더 현실적인 '넛지'가 아닐까 싶습니다. ㅎㅎ
걍.. 미쳤습니다.. 유료로 전환된다 해도 돈내고 쓸 퀄리티 입니다.
내가 관심있어 하는 주제를 팟캐스트 형태로 들으니 더 관심있게 정보를 습득하게 됩니다
너무 좋네요
썹핬는데 진짜 대박....
돈내고 쓰라면 리거 하나만 쓸것 같네요. 비슷한 서비스들은 여파가 크겠네요.
물론 공적인 장소가 아니니까 그냥 별 생각 없이 올린 글일수도 있죠.
커뮤니티에서 별 생각 없이 댓글을 달 수도 있듯이요
저는 크롤러를 완전히 막을 수는 없으니 시도 자체를 안 받는 게 가장 좋을 텐데, 어그로를 끄는 의도가 궁금했습니다.
와우 대단하네요.
개인 블로그인데 아무 글이나 쓰면 안 되나요? 🤔
버전 변경에는 어떻게 대처하나요?
이런 글을 올리는 목적이 뭘까요?
실제로 크롤러를 돌리는 기업들이 이 글을 읽고 제외까지 할 가능성은 거의 없다고 생각하는데 말입니다.
그럼 이 글은 어떤 독자들을 대상으로 쓴 글일까요?
같이 블로그를 운영하는 사람들에게 이런 방법이 있다고 알려주는 소개글,
아니면 내 블로그 이렇게 보안 쎄니까 할 수 있으면 한번 크롤링 해보라는 어그로?
글을 올려서 얻는 게 뭘지 정말 궁금해집니다
그래서 ip로 봇 판단한 경우도 폭탄 날리겠다는건데요 ㅎㅎ
작성자에게 분노가 느껴진다는.ㅎㅎ
탭 그룹 많이 쓰일까요? 물론 저도 사용 중이지만...