▲

10억 달러 규모의 법률 AI 도구를 리버스 엔지니어링하자 10만 개 이상의 기밀 파일이 노출됨

 (alexschapiro.com)
2P by GN⁺ 16시간전 | ★ favorite | 댓글 1개
  • 법률 AI 플랫폼 Filevine의 API를 분석하는 과정에서 인증 없이 전체 관리자 권한이 부여되는 심각한 취약점이 발견됨
  • 연구자는 subdomain enumeration을 통해 margolis.filevine.com 하위 도메인을 찾고, AWS API 엔드포인트를 확인하여 테스트 요청을 보냄
  • 단순한 POST 요청에 인증 토큰 없이 응답이 반환되었으며, 그 안에는 Box 파일시스템 전체 접근이 가능한 관리자 토큰이 포함되어 있었음
  • 이 토큰을 통해 약 10만 개의 “confidential” 문서가 검색 가능했으며, 의료·법률·급여 등 극도로 민감한 자료가 포함되어 있었음
  • Filevine은 제보 후 즉시 대응 및 수정을 완료했으며, 이번 사례는 AI 기반 법률 서비스의 보안 관리 중요성을 보여줌

취약점 발견 및 공개 일정

  • 연구자는 2025년 10월 27일 Filevine 보안팀에 취약점을 이메일로 보고
    • 11월 4일 Filevine은 문제를 인지하고 빠른 수정 계획을 회신
    • 11월 20일 연구자가 패치 적용 여부를 확인하고 블로그 공개 의사를 전달
    • 11월 21일 Filevine은 수정 완료를 확인하고 감사 인사를 전달
    • 12월 3일 기술 블로그 게시
  • Filevine은 전 과정에서 신속하고 전문적인 대응을 보였으며, 책임 있는 보안 공개의 모범 사례로 평가됨

Filevine과 법률 AI 시장 배경

  • Filevine은 10억 달러 이상 가치로 평가되는 법률 AI 플랫폼으로, 빠르게 성장 중
  • 법률 사무소들은 이 플랫폼에 극도로 기밀성이 높은 데이터를 업로드하여 업무를 처리
  • 연구자는 Yale Law School과의 프로젝트 경험을 바탕으로 Filevine의 데이터 보안 구조를 검토하게 됨

리버스 엔지니어링 과정

  • Filevine의 접근 제한으로 인해 연구자는 공개 데모 환경을 찾기 위해 subdomain enumeration 기법을 사용
  • margolis.filevine.com 하위 도메인을 발견했으나, 페이지가 로딩되지 않아 Chrome 개발자 도구로 네트워크 요청을 분석
  • JS 파일 내에서 POST await fetch(${BOX_SERVICE}/recommend) 코드를 발견하고, BOX_SERVICE 변수가 AWS API 엔드포인트로 지정된 것을 확인
  • {"projectName":"Very sensitive Project"} 형태의 요청을 /prod/recommend로 전송하자, 인증 없이 응답이 반환됨

관리자 토큰 노출 및 영향

  • 응답에는 Box API의 전체 관리자 권한 토큰(boxToken) 이 포함되어 있었음
  • 이 토큰은 법률 사무소의 내부 Box 파일시스템 전체에 접근할 수 있는 권한을 제공
    • 문서, 로그, 사용자 정보 등 모든 데이터 접근 가능
  • “confidential” 키워드로 검색 시 약 10만 건의 결과가 반환됨을 확인
  • 연구자는 즉시 테스트를 중단하고 Filevine에 취약점을 보고
  • 악의적 공격자가 이 토큰을 이용할 경우, HIPAA 보호 문서, 법원 명령 문서, 내부 급여 자료 등이 모두 유출될 수 있었음

보안 교훈

  • AI 도입 경쟁 속에서 기업들은 데이터 보호 체계 강화가 필수적임
  • 특히 법률·의료 등 기밀성이 높은 산업의 AI 서비스는 보안 검증 절차를 엄격히 유지해야 함
  • 이번 사례는 AI 기반 SaaS의 인증·권한 관리 실패가 초래할 수 있는 위험성을 명확히 보여줌
▲
GN⁺ 16시간전  [-]
Hacker News 의견

  • 이런 명백한 보안 취약점을 분류하고 수정하는 데 이렇게 오래 걸리는 게 항상 놀라움
    10월 27일에 공개되고 11월 4일에 이메일 확인이라니, 그동안 클라이언트 파일 시스템 전체가 노출된 상태였음
    실제 수정은 아마 1시간 이내의 패치였을 텐데, QA 테스트까지 포함해도 그렇게 오래 걸릴 일은 아님
    혹시 security@ 이메일을 아무도 안 보는 걸까, 아니면 휴가 중이었을까, 스팸이 너무 많아서 진짜 문제를 못 찾는 걸까 궁금함

    • 내 경험상 이런 지연은 조직 구조와 프로젝트 관리 문제 때문임
      보안팀이 security@ 이메일을 맡지만, 실제로 버그를 고칠 팀은 따로 있어서 전달 과정이 복잡해짐
      코드 소유 팀을 찾는 데만 몇 주가 걸리고, 일정이 꽉 차 있어서 우선순위를 올리기 어려움
      법무팀 승인까지 필요하니 대응이 더 늦어짐
      똑똑한 회사는 보안팀에 긴급 대응 권한을 주지만, 그게 또 남용되면 내부 피로도가 커짐
    • 대부분의 경우 “보안 메일함을 안 본다”기보다는, 그 부분을 아는 한 사람이 다른 일 12개를 동시에 처리 중인 경우임
      보안 패치는 1시간짜리 수정이지만, 내부 승인과 코드 소유자 찾기 때문에 2주가 걸림
      결국 진짜 문제는 조직의 엔트로피임
    • security@ 메일함에는 요즘 가짜 리포트가 너무 많음
      LLM이 그럴듯한 취약점 보고서를 만들어내기도 해서, 전문가가 몇 시간 낭비하는 경우도 있음
      그래서 일부 회사는 근무 시간 중에만 메일을 검토하는 정책을 씀
    • 실제로 스팸은 많지만, 하루에 몇 통 정도라서 이런 심각한 취약점을 바로 패치하지 못할 이유는 없음
      아마 말한 대로 담당자가 휴가 중이었을 가능성이 큼
    • 내가 일하는 글로벌 대응 센터에는 600명이 있는데, 우선순위 이슈가 26,000건임
      시스템이 복잡해질수록 문제는 줄지 않고 늘어남
      결국 “우리가 감당할 수 있다”는 착각 속에서 일하는 셈임

  • 이 회사가 10억 달러 가치평가를 받았다면, 이런 기본적인 취약점 하나로 그만큼의 손실을 입을 수도 있었음
    악의적인 사람이 발견했다면 복구 불가능했을 것임
    고객 데이터 전체가 유출됐을 수도 있으니, 발견자에게 보상을 줬어야 함

    • 맞음. 이런 취약점은 랜섬웨어 그룹에 팔려 수십만 달러에 거래될 수도 있었음
      이후 데이터 유출과 협박, 소송, 벌금까지 이어졌을 것임
      이런 이유로 화이트햇 대신 그레이마켓으로 가는 해커들이 생김
    • 정말로 큰 보상을 줬어야 함

  • 나는 금융회사에서 일하는데, 왜 SaaS X에는 고객 데이터를 맡기면서 AI SaaS Y에는 세금 서류를 못 올리는지 다들 의아해함
    내 생각엔 지금 AI 업계는 서부 개척시대(Wild West) 같음
    너무 빠르게 발전하면서 보안 절차가 생략되고 있음
    이번 사건이 그걸 잘 보여줌

    • FileVine은 법률 AI 도구이긴 하지만, 이번 문제는 AI 자체와는 관련이 없음
      단순히 Box API 연동 문제로 보임
    • 참고로 이 회사는 2014년에 설립됐고, 최근에야 LLM 기능을 추가했음
      Reuters 기사 링크
    • SaaS X가 IAM 기능을 제공하고, 자체 접근 정책을 적용한다면 상대적으로 안전함
      반면 SaaS Y가 단순히 “데이터를 맡기면 안전하다”고만 말한다면 의심스러움
    • 근데 애초에 SaaS X를 왜 신뢰했는지부터 따져봐야 함
    • 흥미로운 건, 이번 취약점은 AI와 전혀 상관없고 어느 SaaS 회사에서도 일어날 수 있는 문제라는 점임

  • 이번 사건은 “빠르게 API를 붙이는 스타트업 문화”와 “** 데이터 유출 시 인생이 망가질 수 있는 법률·의료 업계**”의 충돌임
    문제는 2010년대 수준의 버그 패턴인데, 2025년 AI 마케팅 포장으로 덮여 있음
    AI 모델 학습을 위해 문서를 중앙화하면서, 사고 시 피해 범위가 훨씬 커짐
    영업에서는 데이터 접근을 쉽게 해야 계약을 따내기 때문에, 최소 권한 원칙 같은 건 나중으로 밀림
    결국 변호사들은 “AI 비서”를 산다고 생각하지만, 실제로는 기관의 기억 전체에 대한 외부 접근권을 주는 셈임
    진짜 질문은 “이런 시스템 중 몇 개가 제대로 된 레드팀 테스트를 통과할 수 있을까”임

    • 조금 웃김. 회사는 사이버보안 쇼를 하면서, 동시에 LLM 워프홀을 만들어 모든 걸 우회함
      비기술 임원들이 AI를 이해하지 못한 채 마케팅만 외치는 게 문제임
      그래도 내가 우주 비유를 두 번 쓴 건 마음에 듦

  • Filevine 팀은 공개 과정 내내 전문적이고 신속하게 대응했음
    문제의 심각성을 인정하고 수정했으며, 투명하게 소통했음
    그래서 이런 경우엔 회사 이름을 굳이 공개하지 않아도 된다고 생각함
    문제를 해결했다면 굳이 망신을 줄 필요는 없다고 봄

    • 하지만 책임 있는 공개 절차에서는 회사 이름을 밝히는 게 일반적임
      그래야 어떤 회사가 보고를 진지하게 받아들이는지 업계가 알 수 있음
    • 윤리적 공개란 양쪽이 함께 기술 세부사항을 공개하는 것임
      해커와 회사 모두에게 좋은 사례로 남음
    • 잘못을 숨기면 투명성과 신뢰를 잃음
    • 이번처럼 심각한 문제라면 고객이 알아야 함
      또 다른 AI SaaS 업체들이 이 글을 보고 같은 실수를 피할 수도 있음

  • SOC2, HIPAA 같은 보안 인증 절차는 일종의 ‘보안 연극’ 같음
    실제로 중요한 부분은 무시되고, 형식적인 스크린샷과 문서 작업만 넘침

    • SemiAnalysis가 이런 인증을 FAA 자격증처럼 중요하다고 평가했지만, 정작 자신들이 단순한 보안 통제 미비로 해킹당했음
      관련 글 링크
      결국 이건 진짜 보안이 아니라 돈으로 사는 체크박스에 불과함

  • 보안 소프트웨어는 여전히 사용성과 복잡성 면에서 개선할 게 많음
    Google과 Meta에서 일할 때 ACL 시스템이 너무 복잡해서 이해하는 데 4년이 걸렸음
    이런 시스템은 비기술 기업이 절대 쓸 수 없음
    그래서 오히려 보안을 단순화하는 스타트업을 만들고 싶어짐
    AI보다 훨씬 어려운 문제 같음

  • 이 회사가 블로그 게시를 허용한 건 정말 다행임
    나도 예전에 큰 취약점을 발견했지만, 회사가 공개를 막았음

    • “허락받을 필요 있나?” 그냥 책임 있게 공개하면 됨
    • 공개 통제권이 왜 회사에 있지? 보고 절차를 지켰다면 이후엔 자유롭게 써야 함

  • 이번 공격은 전혀 정교하지 않았음
    Filevine이 침투 테스트를 한다고 웹사이트에 써놨는데, 이런 걸 놓쳤다는 게 믿기지 않음
    버그 바운티를 침투 테스트로 착각한 듯함
    정말 변명의 여지가 없음

  • 요즘 “healthcare + AI” 스타트업이 너무 많아서, 몇 달 안에 HIPAA 데이터 대형 유출이 터질까봐 걱정됨
    관련 사례는 이 스레드에서도 볼 수 있음

답변달기