Hacker News 의견들

• Pam Bondi의 법무부 팀이 이 일에 최고의 인력을 투입하지 않은 것 같음

  • 초반에 FB 요원들 간의 메시지 대화가 흥미로웠음. 혹시 일부러 엉망으로 처리해서 정보가 다시 검열되기 전에 흘러나가게 한 악의적 준수(malicious compliance) 였을지도 모른다는 생각을 함
  • 인터넷이 그녀의 실수를 다 찾아주고 있어서, 오히려 크라우드소싱으로 잘 해결되고 있는 듯함. 사람들 덕분에 오류가 계속 수정되는 중임

• Claude Opus가 만든 스크립트를 공유함
  스크립트 링크 / 텍스트 출력 / 정리된 버전
  첫 페이지 정도는 읽을 수 있는 PDF를 생성함

  • 혹시 정상화된 PDF로 다시 내보내거나 스크린샷을 공유할 수 있는지 궁금함. 내 PDF 리더들이 전부 열기를 거부함
  • 450명이 참석한 공개 행사였다는 걸 확인함. Mount Sinai 기사와 Business Insider 기사에서 이름이 일치하지만 날짜가 다름
  • 멋진 작업임

• Tesseract는 특정 폰트로 학습시킬 수 있음. 이게 좋은 출발점이 될 것 같음
  참고: Tesseract 학습 데이터 가이드

• 이건 이진 PDF 디코딩 문제임. 가능한 인코딩 수가 제한되어 있으므로 다음 접근을 제안함

  1. 오픈소스 PDF 디코더 사용
  2. 첫 모호한 문자 전까지 바이트 디코딩
  3. 다음 비트가 유효하면 1, 아니면 l로 판단
  4. 둘 다 유효하면 백트래킹
     이렇게 하면 중간 문자만 빠르게 테스트할 수 있어 전체 탐색이 선형적으로 가능함
  • 하지만 압축 단계가 중간에 있어서 백트래킹이 훨씬 많아질 수도 있음
  • 이런 건 afl로 처리하는 게 어울림

• 이건 nerd snipe처럼 보이지만, 사실 브루트포스로 더 빨리 끝낼 수 있음. 76명이 한 페이지씩 타이핑하면 블로그 글이 올라오기 전에 끝남

  • 한 사람이 76페이지를 다 치는 것도 가능함. 예전엔 이런 작업을 종종 했음
  • 하지만 76명을 정확하게 필사하게 만드는 건 쉽지 않음
  • 나한텐 76명의 친구가 없어서, Craigslist나 Fiverr에 올려야 할 듯함. 관리가 꽤 복잡할 것 같음

• PDF가 워낙 복잡한 포맷이라, 정부가 아예 새로운 안전한 오픈 포맷을 만들어 표준화하는 게 낫다고 생각함

  • XPS는 XML 기반의 공식 표준이고 오픈소스 지원도 괜찮지만, 도구 품질이 떨어지고 여전히 복잡함
    DjVu는 단순하고 오픈소스 도구가 좋지만 기능이 부족함
    TIFF는 오히려 PDF보다 더 복잡해서 부적합함
    참고: XPS, DjVu, TIFF
  • 하지만 이건 도구의 문제가 아니라, 법을 경시하거나 일부러 엉망으로 처리하는 태도의 문제라고 봄
  • 새 포맷을 만들어도 3~5년이면 결국 PDF처럼 복잡해질 것임
  • 농담 반 진담 반으로, JPEG로 가자는 의견도 있음

• justice.gov 검색창에서 같은 이메일의 여러 버전을 찾을 수 있었음
  원본: EFTA00400459.pdf
  추가 버전:
  EFTA02153691.pdf
  EFTA02154109.pdf
  EFTA02154246.pdf
  여러 버전을 비교하면 더 쉽게 해결할 수 있을 듯함

  • 다른 base64 인코딩과 폰트를 가진 버전도 발견함: EFTA00775520.pdf.
    “1”과 “l” 문제는 그대로지만 참고용으로 유용할 수 있음

• (1, l) 조합의 모든 순열을 시도하면 어떨까 생각함. 76페이지 × 69줄 × 1회 등장이라 치면 2^5244 가지 가능성임. CPU 여분 있는 사람?

  • 사실 훨씬 쉬움. 각 수정이 정상적인 PDF 구조로 디코딩되는지 순차적으로 검사하면 됨.
    압축이 기본이라면 체크섬 덕분에 더 쉬워짐. 다만 기존 도구로는 불가능하고, 디코더 내부에 계측된 테스트 하네스를 직접 만들어야 함
  • 아니면 Epsteincoin 같은 암호화폐를 만들어, 이 문제를 푸는 데 컴퓨팅 파워를 모으면 됨

• 행사 세부 정보: Dubin Breast Center 2nd Annual Benefit (Archive)

  • 행사 포스터에는 2012년 12월 10일 Mandarin Oriental에서 열린 Dubin Breast Center 2주년 자선행사로,
    Elisa Port와 Ruttenberg 가족을 기리는 내용이 적혀 있음.
    사회자는 Cynthia McFadden, 공연에는 여러 뮤지션이 참여함

• pdftoppm과 Ghostscript(Imagemagick을 통해 호출)는 전체 페이지를 다시 래스터화하기 때문에 느림
  pdfimages나 mutool로 스캔된 이미지를 직접 추출하는 게 훨씬 빠름
  테스트 결과 pdfimages가 pdftoppm보다 13배 빠름