▲

GN⁺: AI가 생성한 curl 보안 보고서

 (daniel.haxx.se)
1P by neo 11달전 | favorite | 댓글 1개

버그 현상금

  • 버그 현상금 제도는 해커들이 보안 문제를 보고할 때 실제 돈을 보상으로 제공함.
  • 일부 사람들은 소스 코드에서 패턴을 찾거나 기본 보안 스캐너를 실행한 후 추가 분석 없이 결과를 보고하여 보상금을 희망함.
  • 현상금 운영 몇 년 동안 쓰레기 보고의 비율은 큰 문제가 되지 않았으며, 대부분 쉽게 탐지하고 무시할 수 있었음.
  • 버그 현상금으로 지금까지 70,000 USD 이상이 지급되었고, 415건의 취약점 보고 중 64건이 실제 보안 문제로 확인됨.

더 나은 쓰레기는 더 나쁨

  • 보고서가 더 나아 보이고 포인트가 있는 것처럼 보이게 만들면, 이를 조사하고 폐기하는 데 더 많은 시간이 소요됨.
  • 보안 보고서는 사람이 시간을 들여 검토하고 의미를 평가해야 함.
  • 쓰레기 보고서는 프로젝트에 도움이 되지 않고, 생산적인 활동에서 개발자의 시간과 에너지를 빼앗음.

AI 생성 보안 보고서

  • AI는 많은 좋은 일을 할 수 있지만, 잘못된 일에도 사용될 수 있음.
  • AI가 보안 문제를 찾고 보고하는 데 유용하게 사용될 수 있지만, 아직 그런 좋은 예는 찾지 못함.
  • 현재 사용자들은 LLM을 사용하여 curl 코드를 분석하고 결과를 보안 취약점 보고서로 제출하는 데 열중함.

AI 쓰레기 탐지

  • 보고자들이 영어에 완전히 능숙하지 않아서 때때로 의도를 즉시 이해하기 어려울 수 있음.
  • 때때로 보고자들은 AI나 다른 도구를 사용하여 자신들의 의사를 표현하거나 번역하는 데 도움을 받음.
  • AI나 유사 도구에 의해 생성된 텍스트의 일부가 있다고 해서 즉시 문제가 되는 것은 아님.

전시 A: 코드 변경 공개

  • 2023년 가을, CVE-2023-38545에 대한 공개 예고함.
  • 문제가 발표되기 하루 전, 사용자가 Hackerone에 보고서를 제출함: Curl CVE-2023-38545 취약점 코드 변경이 인터넷에 공개됨.
  • 보고서는 AI 스타일의 환상을 냄새 맡게 함: 현실과 연결이 없는 새로운 것을 만들어 냄.
  • 사용자가 이 문제를 찾기 위해 Google의 생성 AI인 Bard를 사용했다고 알려줌.

전시 B: 버퍼 오버플로 취약점

  • 덜 명백하고, 더 잘 만들어진 문제지만 여전히 환상에서 벗어나지 못함.
  • 2023년 12월 28일 아침, 사용자가 Hackerone에 보고서를 제출함: WebSocket 처리에서의 버퍼 오버플로 취약점.
  • 보고서는 상세하고 적절한 영어로 작성되었으며, 제안된 수정안도 포함함.
  • 여러 질문과 환상 끝에 이 문제가 진짜 문제가 아니라는 것을 깨닫고 당일 오후에 문제를 해결하지 않음.

이러한 보고자들 금지

  • Hackerone에는 프로젝트와의 추가 커뮤니케이션을 금지하는 명시적인 기능이 없음.
  • 문제를 해결하지 않을 때 연구원의 "명성"이 낮아지지만, 단일 프로젝트에서 한 번만 이루어지면 아주 작은 변화임.

미래

  • 이러한 종류의 보고서가 시간이 지남에 따라 더 흔해질 것이며, AI 신호를 더 잘 감지하고 기반으로 보고서를 무시하는 방법을 배울 수 있음.
  • AI가 적절한 작업에 사용될 때 불행한 일이 될 수 있음.
  • AI를 사용하여 실제로 작동하는 도구가 미래에 나타날 것이라고 확신하며, AI가 보안 문제를 찾는 데 반드시 나쁜 생각은 아님.
  • 아주 작은 (지능적인) 인간 검사를 혼합하면 이러한 도구의 사용과 결과가 훨씬 나아질 것임.

토론

  • Hacker news

크레딧

  • 이미지: Haider Mahmood by Pixabay
  • AI
  • cURL and libcurl
  • hackerone
  • Security

GN⁺의 의견

  • AI 기술의 발전은 보안 분야에서도 새로운 도전과 기회를 제공함. AI가 보안 취약점을 찾는 데 도움이 될 수 있지만, 현재는 부정확한 보고로 인해 개발자의 시간을 낭비하는 경우가 많음.
  • 보안 문제를 신속하게 식별하고 해결하는 것은 소프트웨어의 안전성을 유지하는 데 매우 중요함. 그러나 AI 생성 보고서가 증가함에 따라, 이를 효과적으로 관리하는 새로운 접근 방식이 필요함.
  • 이 글은 AI가 보안 분야에서 어떻게 잘못 사용될 수 있는지에 대한 실제 사례를 제공함으로써, AI 기술의 책임 있는 사용과 인간의 감독의 중요성을 강조함.
▲
neo 11달전  [-]
Hacker News 의견
  • 해커뉴스 댓글 요약:

    • LLM(대규모 언어 모델)의 특정한 어조에 대한 의견:

      LLM이 로봇 집사처럼 들리는 특정한 어조를 가지는 것은 괜찮지만, 사람들이 LLM처럼 말하기 시작하는 것이 걱정됨.

    • LLM이 생성한 curl 관련 보안 취약점 보고서에 대한 의견:

      처음에는 이전에 본 내용과 중복된 것으로 생각했지만, 실제로는 다른 LLM이 생성한 가짜 보고서임을 발견함.

    • LLM과 버그 현상금 프로그램에 대한 우려:

      LLM이 버그 현상금 프로그램에 제출하는 가짜 보고서로 인해 프로그램 운영이 어려워질 수 있음. 실제 사람과 보안 연구자만 참여할 수 있도록 프로그램을 더 엄격하게 관리할 필요가 있을지도 모름.

    • LLM의 비용 대비 엔지니어링 시간 낭비에 대한 걱정:

      LLM이 소량의 비용으로 많은 양의 가치 있는 엔지니어링 시간을 낭비하게 만드는 것이 우려됨.

    • LLM에 의한 콘텐츠 신뢰성 문제에 대한 통찰:

      글쓰기라는 최소한의 노력을 증명하는 방법이 LLM에 의해 더 많은 노력을 필요로 하는 것으로 변모함. 이는 버그 현상금 프로그램과 CVE 프로세스에 영향을 미치며, 제출 장벽을 높여 결과적으로 더 많은 보안 취약점이 발견되지 않고 수정되지 않을 수 있음.

    • curl 코드에 대한 기술적 분석:

      curl이 사용자 제공 데이터를 사용하지 않고 컴파일 시점에 고정된 크기를 가지므로 길이 검사에 대한 불만이 특히 이상함. 또한, C 언어에 더 익숙한 사람이 keyval 지역 변수의 사용 목적을 설명해 줄 수 있는지 궁금함.

    • LLM의 코드 리뷰에 대한 비판:

      dineshsec / dinesh_b가 Daniel에게 strncpy 사용법을 가르치는 것은 시간 낭비이며, memcpy를 사용하는 것이 strcpy나 strncpy보다 낫다고 주장함. LLM의 권장사항은 실제로 권장하지 않음.

    • 사이버보안 분야의 AI 문제에 대한 의견:

      최근까지 사이버보안은 쓰레기 정보로부터 어느 정도 면역이 있었지만, 이제는 AI가 사기꾼들에게 더 쉽게 속임수를 쓸 수 있게 해주고 있음. 문제는 AI 자체보다는 윤리에 있으며, 보안 보고서가 "합법적"으로 보이기만 하면 통과될 수 있음.

답변달기