1P by GN⁺ | ★ favorite | 댓글 1개
  • LLM은 채용 인터뷰, 가족 긴급 연락, 은행 이메일, 로맨스 같은 개인별 구실을 만들어 맞춤형 사기를 실행하고, 계정 탈취 뒤 장기 감시와 후속 공격까지 이어갈 수 있음
  • 기존 사기는 저비용 대량 발송형과 고비용 표적형으로 나뉘었지만, LLM은 그 사이를 메우며 표적화된 공격을 저렴하게 반복할 수 있게 함
  • 2024년 논문은 LLM 기반 스피어피싱 이메일 비용을 약 4센트로 봤고, 채용 사기 시나리오는 더 복잡하지만 2026년 LLM 성능에서는 실행 가치가 있을 수 있음
  • “자연스러운 글”, “탄탄한 웹 존재감”, “전화·영상 통화 확인” 같은 휴리스틱은 비용과 능력의 대리 지표였지만, 음성 복제·실시간 딥페이크로 신뢰도가 약해지고 있음
  • 방어는 모든 메시지를 더 의심하는 것만으로 부족하며, 가족 간 구두 암호, 별도 채널 확인, 직접 발신한 채널 우선 신뢰, 하드웨어 2FA 같은 새 관행이 필요함

LLM이 만든 채용 사기 시나리오

  • 구직자는 LinkedIn에서 자신에게 잘 맞는 채용 제안을 받고, 유명 회사의 좋은 조건처럼 보이는 인터뷰 절차에 참여함
  • 인터뷰 전 NDA 서명을 위해 법무 SaaS처럼 보이는 플랫폼에 로그인하고, “Sign in with Google/iCloud” 형태의 흐름을 사용함
  • 로그인 화면은 실제처럼 보이며, 사용자가 입력한 비밀번호와 “기기에서 예 누르기” 2FA 흐름은 공격자가 반대편에서 실제 계정 로그인에 사용함
  • 공격자는 세션 쿠키를 저장하고, 사용자에게는 정상 로그인처럼 보이게 만들어 계정 접근을 숨김
  • 이후 인터뷰와 불합격 통보는 피해자가 의심하지 않게 만드는 연극으로 작동함
  • 몇 달 뒤 피해자는 신원 도용, 본인 명의 신용카드 지출, 증권 계좌 일부 유출, 이메일과 여러 온라인 계정 접근 상실을 알게 됨

탈취 이후 가능한 공격 흐름

  • 공격자는 이메일과 계정에 지속적으로 접근하면서 사용자의 행동 패턴을 감시함
    • 공격 대상 계정의 경고 이메일을 미리 필터링해 알림이 피해자에게 도달하지 않게 함
    • 클라우드 파일을 다운로드하고, 다른 사이트 로그인에도 계정을 사용함
    • 피해자 정보를 이용해 신용카드를 개설함
  • 금융 계좌 자금 유출은 현대 금융 시스템의 보호 장치 때문에 쉽지 않음
    • 온라인 은행 송금은 감지될 수 있고, 며칠이 걸리며, KYC 규제 때문에 대상 계좌 추적 가능성이 있음
    • 은행 사이트는 2FA와 로그인 알림을 사용하는 경우가 많음
  • 그래도 장기적인 미탐지 접근이 있으면 증권 계좌처럼 덜 자주 확인하는 계좌를 노릴 수 있음
    • 급여가 자동 이체되는 계좌를 발견할 수 있음
    • 비밀번호 재설정으로 접근한 뒤, 소액 송금을 통해 사용 패턴을 만들 수 있음
    • 휴가 일정처럼 캘린더에 있는 정보를 이용해 피해자가 알아차리기 어려운 시점을 고를 수 있음
  • 사기가 곧 드러날 것으로 판단하면 피해자를 계정에서 잠가, 무슨 일이 일어났는지 파악하기 어렵게 만들 수 있음

사기의 비용 구조가 바뀌는 지점

  • 기존 사기는 대체로 두 범주로 나뉨
    • 대량 발송형: 저렴하고 쉽게 실행되며, 덜 숙련된 사람을 노림
    • 표적형: 비싸고 정교하며, 공격할 가치가 큰 사람이나 조직 권한을 가진 사람을 노림
  • 스팸성 사기가 일부러 허술해 보이는 이유는 더 숙련된 사람이 초기에 빠져나가게 해, 이후 대응 비용을 줄이기 위해서임
  • 기술에 익숙한 사람은 기본적인 컴퓨터 보안 관행과 시스템 능력에 대한 이해만으로 대량 발송형 사기에 비교적 안전했음
  • 개인 자산을 노리는 정교한 사기도 실제로 존재하지만, 대부분은 자신이 표적이 될 가능성이 낮다고 생각해 왔음
  • LLM은 공격자 능력의 양극화 구조를 바꿈
    • 2024년 논문은 LLM이 수행한 스피어피싱 비용을 이메일당 약 4센트로 봄
    • 채용 사기 시나리오는 더 복잡하고 비싸지만, 2026년 LLM은 더 발전했기 때문에 실행 가치가 있을 수 있음
    • 사기꾼은 수천 건의 사기를 동시에 운영하고, 개인별 자료를 조사해 맞춤형 구실을 만들 수 있음

LLM이 사기에 제공하는 능력

  • 과거에는 표적마다 숙련된 인간의 상당한 노력이 필요했던 작업을 LLM이 저렴하게 수행할 수 있음
    • 피해자 조사와 최적 접근 방식 선택
    • 반응에 따라 조정되는 개인화된 커뮤니케이션
    • 신뢰하는 가족 등의 음성 복제
    • 실시간에 가까운 영상 통화 딥페이크
    • 그럴듯한 가짜 웹 존재감 구축
    • 탈취한 리소스의 실시간 감시와 그에 맞춘 공격 확장
    • 표적 탐색과 선별
    • 서명 기반 스팸 필터 회피
    • 패치되지 않은 배포 소프트웨어의 알려진 CVE 탐색과 연결
  • 이런 능력은 이미 존재하며 앞으로 더 좋아질 가능성이 있음
  • 토큰 비용으로 실행되는 사기는 for 루프처럼 반복할 수 있고, 규모 확대는 개별 사기에서 어려웠던 전략을 가능하게 함

규모가 열어주는 세 가지 변화

  • 규모는 인내심을 가능하게 함
    • 인간 팀이 한 개인을 상대로 몇 달이나 몇 년을 기다리기는 어렵지만, LLM으로 많은 사람을 동시에 상대하면 작전을 한동안 잠복시킬 수 있음
    • 서로 떨어진 시점에 여러 사기를 겹쳐 진행할 수도 있음
  • 규모는 조합을 가능하게 함
    • 작은 사기로 자금 운반책을 모집한 뒤, 더 큰 자금 유출을 가능하게 하는 식의 결합이 가능함
    • 영화 The Sting에서 여러 작은 사기로 신뢰 기관을 흉내 내던 방식이, 현재는 훨씬 적은 비용으로 가능해질 수 있음
  • 규모는 새로운 표적을 만듦
    • 탈취된 1,000개 계정은 각 플랫폼 내부의 인증된 위치 1,000개가 됨
    • 플랫폼이 “가끔 발생하는 사기 비용보다 편익이 큰 틈”으로 감수하던 지점도, 1,000개 계정이 동시에 악용하면 즉시 닫아야 할 큰 구멍이 됨
    • The optimal amount of fraud is nonzero”라는 계산이 대규모 동시 악용 앞에서는 달라질 수 있음
  • 이런 공격을 결합하려면 아직 기술이 필요하지만, 재사용 가능한 도구가 사기꾼 시장에서 팔리면 “사기용 script kiddies”가 등장할 수 있음
  • 일부 사기꾼은 이미 이런 능력을 사용할 가능성이 있지만, 아직 보편화되지 않아 개인과 기업의 휴리스틱은 충분히 재조정되지 않았음

기존 휴리스틱이 약해지는 이유

  • 사람들은 낯선 연락을 받으면 상대를 검색하고, 가족 연락은 전화나 영상 통화로 확인하고, 대화가 영향력 있는 요구로 바뀌는 지점을 경계해 왔음
  • 이런 휴리스틱의 일부는 비용의 대리 지표였음
    • 유창하고 개인화된 글은 실제 사람이 시간을 들였다는 신호였음
    • 강한 웹 존재감은 꾸미기 어렵고 비용이 큰 신호였음
    • 사기꾼이 오직 한 사람을 위해 그 정도 노력을 들이지 않을 것이라는 판단이 작동했음
  • 다른 휴리스틱은 능력의 한계를 전제로 했음
    • 예전에는 가족 목소리를 전화로 자연스럽게 흉내 내기 어려웠음
    • 영상 통화에서 만난 사람은 실제 사람이고, 필요하면 경찰이 식별할 수 있을 것이라는 기대가 있었음
  • LLM과 딥페이크는 비용과 능력이라는 두 기반을 모두 흔듦
  • 결과적으로 사람들은 사기를 피하는 것뿐 아니라, 무엇이 진짜인지 확신하는 데도 더 많은 노력을 들여야 함
    • 다른 도시에 있는 가족이 긴급 송금을 요청할 때, 계정 탈취와 통신 가로채기, 딥페이크 가능성을 함께 고려해야 함
    • 직접 방문하거나 그 지역의 다른 사람에게 확인을 부탁하는 수준의 추가 확인이 필요할 수 있음

제도적 휴리스틱도 흔들림

  • 개인만이 아니라 금융기관과 규제도 휴리스틱에 의존함
  • 미국 소비자 은행 보호는 송금을 누가 승인했는지에 강한 선을 그음
    • 누군가 계정에 접근해 사기 송금을 했다면 은행이 피해를 보전하는 구조임
    • 사용자가 속아서 직접 송금했다면 범죄 신고는 가능하지만, 누군가가 반드시 보전해야 하는 것은 아님
  • 이런 구분은 “비밀번호 탈취”가 표적형 수동 설득 사기보다 쉽던 세계에서는 말이 될 수 있지만, LLM으로 표적형 설득 비용이 낮아지면 흔들림
  • 영국은 2024년에 속아서 송금한 고객을 은행이 보전하도록 요구하는 법을 통과시켰음
  • 다만 모든 사기 피해를 은행이 보전하게 하면 비용이 은행에 과도하게 옮겨지고, 은행이 사기 피해 가능성이 높은 사람과 거래하지 않는 선택을 할 수 있음

새로 필요한 방어 방식

  • 모든 이메일과 모든 전화 음성을 극도로 의심하는 방식만으로는 충분하지 않음
    • 기존 휴리스틱은 이제 저렴하게 위조 가능한 신호를 감지하는 대리 지표였기 때문임
  • Wikipedia를 학교 과제에 쓰지 못하게 하던 시절처럼, 낡은 신뢰 규칙에 매달리는 것은 잘못된 방향의 보정이 될 수 있음
    • 인터넷 정보 폭증 이후에는 출처 확인과 교차 검증 같은 새 휴리스틱이 필요했음
    • LLM 시대의 사기에도 새로운 휴리스틱이 필요함
  • 사기의 공통 골격을 보는 방식이 유효할 수 있음
    • 긴급함, 비밀 유지, 평소와 다른 채널 사용 요구는 많은 사기에서 반복됨
    • 문구가 더 정교해져도 “무언가를 요구한다”는 구조는 남음
  • 가족과는 구두 암호를 정해두는 방식이 유용함
    • 암호가 없다면 공개 기록에 남아 있을 가능성이 낮은 과거 사건을 확인에 활용할 수 있음
    • 기술에 익숙하지 않은 가족에게는 “심각하고 긴급하거나 비밀스러운 내 전화가 오면 의심하고, 끊은 뒤 다른 채널로 확인하라”고 알려둘 수 있음
  • 수신 통신의 진위를 신뢰하기는 어렵지만, 사용자가 의도적으로 발신하는 경로는 상대적으로 더 신뢰할 수 있음
    • 특정 주소로 작성한 이메일은 대체로 해당 받은편지함에 도달함
    • 특정 번호로 건 전화는 대체로 해당 기기에 도달함
    • 반면 이메일 from: 헤더와 발신자 번호는 쉽게 위조될 수 있음

보안 관행과 앞으로의 적응

  • 하드웨어 2FA는 사기꾼 도구의 많은 부분을 막는 데 도움이 될 수 있음
    • FIDO2/WebAuthn은 제공되는 경우 암호 교환에 웹사이트 도메인을 포함하므로, 피싱 사이트가 서명을 단순 전달하기 어려움
    • SMS나 인증 앱보다 강한 보호 수단으로 다뤄짐
  • 완전히 사기당하지 않는 것은 현실적이지 않지만, 표적이 되기 더 비싸고 까다로운 사람이 될 수 있음
  • 방어자도 LLM 능력을 사용할 수 있음
    • Mozilla는 Mythos로 Firefox를 레드팀한 뒤, 이런 도구로 모든 보안 취약점을 찾을 실제 가능성이 있다고 봄
    • Android는 최근 impersonated call detection을 도입함
  • 기관과 시스템은 시간이 지나며 더 나은 보호책을 마련할 수 있지만, 그 과정은 시간이 걸리고 군비 경쟁이 될 수 있음
  • 당분간 사기는 급증할 것으로 예상되며, 개인은 자신과 친구, 가족에게 이 변화가 무엇을 뜻하는지 생각하고 도울 방법을 찾아야 함

댓글과 토론

Lobste.rs 의견들
  • 공중보건 분야에서 일해서 다행임. 저렇게 매끄러운 채용 절차라면 바로 의심했을 것 같고, 지역 보건소에는 그런 예산이 없음
  • 이 흐름에서 비밀번호만으로 어떻게 가능한지 이해가 안 감. 공격자가 휴대폰도 제어해야 하는 것 아닌가?
    피해자는 새 로그인 경고 이메일을 받지 않나? 로그인된 세션도 볼 수 있지 않나?
    • 비밀번호만 있는 게 아니라 세션 쿠키를 가진 것임. 피싱 사이트에 로그인할 때 공격자 쪽에서도 로그인하고 있었고, 그 과정에서 2단계 인증 흐름이 발생하면 그대로 중계했을 수 있음. 경고 이메일은 삭제하거나 필터링할 수 있음
      로그인된 세션은 보이겠지만, 로그인하라는 메시지를 받은 직후 모두가 바로 확인하지는 않음. Google 계정은 여러 이유로 가끔 다시 로그인하라고 뜨는 일이 드물지 않음
      URL 표시줄을 더 주의 깊게 보는 등 완화책은 있지만, 면접 절차라는 설정 자체가 경계를 낮추도록 설계되어 있음
      그리고 강조하자면, 원문이 시작하는 사기는 예전보다 훨씬 자동화하기 쉬워진 사기의 한 예시일 뿐이고, 걱정해야 할 유형이 그것만은 아님
  • “이런 능력은 이미 존재하고, 앞으로 더 나아질 것이다. 이런 기술을 상한이 아니라 하한으로 봐야 한다”는 식의 프레이밍은 납득이 안 됨. 이 기술이 지금보다 더 발전한다는 보장은 없고, 순환 투자라는 경제적 게임은 결국 터질 것 같음
    • 동의함. 딥페이크를 이용한 스피어피싱 같은 실제 사례에서 시작해, 대규모 완전 자동 계정 탈취와 중간자 공격까지 건너뜀
      구성 요소가 어느 정도 있다고 해서 모두 조립 가능하다고 가정하지만, 대규모 언어 모델은 그런 일이 제대로 돌아갈 만큼 신뢰성이 충분하지 않음