Curl: 우리는 아직 AI의 도움으로 작성된 유효한 보안 보고서를 보지 못했습니다
(linkedin.com)- curl 프로젝트는 AI 기반 보안 제보의 남용으로 인해 AI 사용 제보자를 즉시 차단하는 정책을 도입
- 이제부터 모든 보안 제보자는 "AI를 사용했는가?"라는 질문에 명확히 답해야 하며, AI 사용 시 추가 검증 질문을 받게 됨
- 프로젝트 측은 AI가 작성한 제보는 대부분 가치 없는 "AI 슬롭(slop)" 이며, 실제 유효한 제보 사례는 단 한 건도 없었다고 강조함
- HackerOne을 통한 AI 남용 제보가 도를 넘었다고 판단, 이는 마치 DDoS 공격 수준의 방해 행위로 간주됨
- 문제의 발단이 된 예시는 https://hackerone.com/reports/3125832 로, 이 보고서가 대응 방침 전환의 계기였음
Hacker News 의견
-
나는 백만 달러 규모의 버그 바운티 프로그램의 보고서를 처리함
- AI 스팸이 심각함
- LLM을 통해 유효한 보고서를 받은 적이 없음
- 사람들이 버그 보고서가 유효하지 않다는 이유를 LLM에 다시 입력하여 더 혼란스러운 결과를 얻음
- "스팸으로 종료" 외에는 응답할 가치가 없음
- 언젠가 훌륭한 코드 보안 도구가 나올 것이라 믿지만, 사람들이 그 날이 오늘이라고 믿는 것이 문제임
- 진실과 쓰레기를 구분하지 못하는 사람들이 걱정임
-
링크를 클릭하기 싫은 사람들을 위해, <a href="https://hackerone.com/reports/3125832" rel="nofollow">https://hackerone.com/reports/3125832</a>는 잘못된 curl 보고서의 최신 예시임
-
주요 오픈 소스 프로젝트에 취약점을 심으려면 AI를 사용해 그들의 취약점 보고서를 DDOS하여 실제 보고서를 찾기 어렵게 만드는 것이 쉬운 방법임
- 가짜 보고서를 보면 실제 사람 같지 않음
- 인정을 받으려는 것이 아니라면 왜 이런 일을 하는지 의문임
-
낙타의 등을 부러뜨린 지푸라기 커밋을 읽으면 문제를 잘 설명함: <a href="https://hackerone.com/reports/3125832" rel="nofollow">https://hackerone.com/reports/3125832</a>;
- 이런 것들을 파헤치는 것은 정말 화가 날 것임
- 평판 시스템이 여기서 작동할 수 있을지 궁금함
- AML/KYC 제공자와 신원을 확인한 사람에게 평판을 부여하고, 정확한 취약점을 발견할 때마다 평판을 높이는 시스템을 제안함
- AI가 이 분야의 경제를 변화시키고 있음
-
보고서를 클릭하지 않아도 모두 환각일 것임을 알 수 있음
- 원래 패치 파일과 세그폴트가 모두 잘못됨
- 이들은 확인도 하지 않고 AI로 생성된 결과를 무작위로 보내는 것 같음
-
evilginx가 심각도를 높였음
- 보고서 작성자가 고용을 원한다고 명시함
- ChatGPT를 사용해 AI로 생성된 프로젝트를 스팸으로 보내는 일을 할 사람을 찾는지 궁금함
-
대부분의 LLM은 코드에서 보안 취약점을 찾으라고 하면 완전히 허구의 것을 만들어냄
- 잘못된 코드로 인해 의미 없는 "수정"을 받음
- 사용자 요구와 시스템의 효과성 사이의 불일치가 주요 문제임
-
AI를 많이 사용하는 사람들과의 상호작용에서 실망스러운 점은 "ChatGPT에게 물어봤더니..."로 시작하는 말을 자주 한다는 것임
- 챗봇이 가르쳐준 것을 이해했다면 설명해주고, 이해하지 못했거나 신뢰하지 않는다면 말하지 말아야 함
-
해결책은 간단함
- 보안 보고서를 제출하기 전에 보고자가 $10를 에스크로에 예치하고, 제출물이 AI로 생성된 쓰레기일 경우 검토자에게 지급함
-
반대 의견으로, 우리는 CVE를 보유하고 있으며, 차이점은 공동 창업자가 공격적 커널 연구자였기 때문임
- 시스템이 평균적인 사람보다 더 잘 조정되어 있음
- curl이 받은 잘못된 보고서의 양이 엄청남
- 도구가 실제로 작동하고 있지만, 빠른 돈을 벌려는 사람들이 많아 소음을 걸러내야 함