Hacker News 의견

• "confetti" API 키를 도메인 이름의 일부로 넣는 것이 더 나을 것 같음

  • 이렇게 하면 브라우저의 DNS 프리페칭으로 인해 클릭 없이도 키가 유출될 수 있음

• 이 공격의 핵심은 데이터 유출 벡터를 이해하는 것임

  • Slack은 URL이 링크 텍스트 뒤에 숨겨진 Markdown 링크를 렌더링할 수 있음
  • 공격자는 Slack AI를 속여 사용자가 "재인증을 위해 여기를 클릭하세요"와 같은 링크를 클릭하게 만듦
  • 이 링크는 공격자의 서버로 연결되며, 쿼리 문자열에 Slack AI가 접근할 수 있는 개인 정보가 포함됨
  • 사용자가 링크를 클릭하면 데이터가 공격자의 서버 로그로 유출됨

• 채널 권한에 대한 논의는 불필요하게 복잡하게 만듦

  • 사용자 A가 Slack AI를 사용해 검색함
  • 사용자 B가 이전에 AI에게 악성 링크를 반환하도록 메시지를 주입함
  • AI가 사용자 A에게 악성 링크를 반환하고, 사용자가 클릭함
  • 다른 사회 공학 벡터를 사용해도 같은 결과를 얻을 수 있지만, LLMs는 이 경험을 극대화함

• 회사들이 LLMs를 모든 것에 무작정 적용하는 것은 미친 짓임

  • GPT-3 이후 거의 2년이 지났지만 여전히 신뢰할 수 있는 입력과 신뢰할 수 없는 입력을 구분하지 못함

• 피해자가 공격이 작동하기 위해 공개 채널에 있을 필요가 없음

  • 인용이 공격자의 채널을 참조하지 않고, 사용자가 API 키를 넣은 개인 채널만 참조함
  • 모든 기여 메시지를 인용해야 하는 올바른 인용 행동을 위반함
  • LLM 인용이 정확할 것이라고 기대하는 이유를 이해하지 못함
  • 인용은 시청자를 속여 출력이 더 정확하다고 믿게 만드는 인간의 해킹처럼 보임
  • 링크 확장을 AI 응답에 추가하면 클릭 없이도 자동으로 유출될 수 있음

• 유사한 설정이 CTF 챌린지에서 탐구됨

  • 링크가 활성화된 채팅 피드에 게시하는 LLM 앱은 모두 취약함
  • 링크 미리보기를 고려하면 인간의 상호작용이 필요하지 않음

• 기사가 제목에 부합하지 않음

  • "AI를 사회 공학적으로 조작하면 사용자를 피싱할 수 있다"는 아이디어는 흥미로움

• 인공지능은 변하지만 인간의 어리석음은 변하지 않음

• AI 에이전트에게 전용 인증을 제공하는 것을 중단해야 함

  • 모든 작업에 호출 사용자의 인증을 사용하고 사용자를 효과적으로 가장해야 함
  • 문제는 유출된 컨텍스트가 아니라 과도한 권한을 가진 확장임

• 매우 멋진 공격 벡터임

  • LLM 컨텍스트로 데이터를 유출할 수 있는 다양한 방법이 있음