AI 기업들이 희귀 서적을 파쇄하고 있다

• AI 기업들은 대량 구매한 희귀 서적의 책등을 절단해 고속 스캔한 뒤 원본을 파쇄하고 있음
• ISBNdb는 최대 100만 권 주문, 구매자 익명성, NDA를 지원하며 고객에게 이 과정을 ‘디지털 보존’이라 부르도록 권함
• 2022년 이전 출판물은 AI 생성 텍스트가 섞이지 않은 데이터라는 이유로 높은 가치를 인정받으며, Anthropic도 광범위한 서적 확보를 추진함
• 연방 판사는 원본을 제거해 한 번에 하나의 사본만 남기는 방식을 공정 이용으로 판단했지만, 생존 수량이 극히 적은 책도 처리 대상에 포함됨
• 현존하는 18세기 서적의 마지막 사본은 파쇄 후 대체할 수 없어, 합법 판결이 비가역적인 훼손을 가속할 수 있음

---

희귀 서적이 학습 데이터로 바뀌는 과정

• AI 기업들은 책을 대량 구매한 뒤 책등을 잘라 고속 스캔하고 원본을 파쇄함
• ISBNdb는 최대 100만 권까지 주문을 중개하면서 구매자의 신원을 숨겨줌
  • NDA를 서비스 기능으로 제공함
  • 고객에게 이 작업을 ‘디지털 보존’이라고 부르도록 권함
  • 자체 웹사이트에는 “‘AI 기업이 책 200만 권을 파괴한다’는 문구는 동정을 얻을 만한 헤드라인이 아니다”라고 밝힘
• 2022년 이전 출판물은 AI 생성 텍스트가 포함되지 않았다는 이유로 프리미엄 데이터로 취급됨
• Anthropic은 ‘세상의 모든 책’을 확보하기 위해 전 Google Books 파트너십 책임자를 영입함

공정 이용 판결이 남긴 비가역성

• 연방 판사는 원본을 없애면 한 시점에 하나의 사본만 존재한다는 논리로 이 관행을 공정 이용으로 판단함
• 한 서점 관계자는 남은 사본이 거의 없는 희귀 서적도 처리 과정에 들어간다고 404 Media에 전함
• 웹사이트는 다시 올리고 베스트셀러는 재인쇄할 수 있지만, 마지막 세 권만 남은 18세기 식물학 서적은 파쇄 후 대체할 수 없음
• 인터넷 스크래핑, 도서관 토렌트, 음악 무단 확보와 달리 원본 파쇄는 되돌릴 수 없으며, 합법 판결 이후 이러한 사업이 더 빨라질 수 있음

[GN⁺]

Hacker News 의견들

• 출판사에는 별로 동정이 가지 않음. 저작권이 만료될 때까지 절판 상태로 묶어 두면서 멀쩡한 책을 희귀본으로 만들고, 판매 중인 책조차 습기에 우는 종이와 몇 년이면 낱장으로 떨어지는 무선제본뿐인 경우가 많음
  출판사가 절판한 책은 다른 출판사가 원출판사에 보상하지 않고 출간하되 저자와 인세를 다시 협상할 수 있어야 함. 내구성 좋은 종이와 접지 제본을 쓴 양장본을 내놓지 않는 경우에도 다른 출판사가 고급판을 만들 수 있도록 저작권법을 바꿔야 함

  • 저작권은 저자나 배우자의 사망과 함께 종료돼야 한다고 봄. 음반사가 명백한 공정 이용인 몇 초짜리 음악 분석 영상까지 수익화하면서, 많은 시간과 비용을 들인 소규모 채널의 수익을 가져가는 건 부당함
    작은 스트리머는 법적으로 맞설 여력도 없음. 해당 채널은 https://www.youtube.com/@diggingthegreats/videos임
  • 17~18세기에는 출판사가 책을 제본하지 않고 구매자가 독립 제본사에 맞춤 주문하는 일이 흔했으며, 개인 도서관 전체가 소유자의 통일된 표지 양식을 따르기도 했음
    당시 책은 대부분이 살 수 없는 사치품이었고, 저렴한 대량생산 제본이 보급되면서 접근성이 높아졌음. 지금도 시판 책을 분해해 고품질 맞춤 제본과 표지를 만들어 주는 장인 시장이 존재함
  • 지금까지 남아 보이는 17~18세기 책은 애초에 잘 만든 책만 살아남았기 때문일 수 있음. 형편없이 만든 책은 이미 사라져 볼 수 없다는 생존자 편향이 있음
  • 모든 책을 고급 제본해 창고에 쌓아 두는 동안 소비자가 값싼 문고판만 산다면 출판사가 추가 비용을 부담할 이유가 없으며, 이는 시장 수요에 대한 반응임
    숨은 고급판 수요를 출판사가 일부러 외면한다고 보기보다, 판매 자료를 통해 팔리지 않을 것을 안다고 보는 편이 간단함. 보존이 목적이라면 조금 나은 종이를 강제할 게 아니라, 재고 창고나 수집가 서가가 아닌 견고한 디지털 아카이브를 구축해야 함
  • 지식재산을 훔치는 LLM 운영사에는 출판사보다도 동정이 덜 감

• 저작권을 확인한 뒤 오래된 책을 복간하고 있음. 모든 책은 1930년 이전 출간본이 대상이고, 권리자가 갱신했는지에 따라 상당수는 1964년이나 1973년까지의 책도 가능함
  특수 재단기로 책등을 자른 뒤 낱장을 밀봉 비닐에 넣어 영구 보관하고, 재스캔에 대비해 원본 비압축 파일도 자기 디스크에 보존함. 저작권 만료 직후 출간할 수 있도록 1931년 이후의 희귀본도 미리 찾지만, 어떤 AI 회사도 전체 스캔본으로 훈련하게 해 달라고 요청한 적은 없음

  • 여기서 ‘우리’가 누구인지, 밀봉 비닐이 장기 보존에 적합한지 궁금함. 화학적 분해로 습도나 부식성 증기가 내부에 축적될 수 있으므로 능동적으로 온습도를 제어하는 환경이 더 낫지 않은지 확인이 필요함
  • 아주 오래된 책은 낡은 문체 쪽으로 편향을 일으킬 수 있고, 가치 있는 지식도 현대 문헌에서 더 깊고 자세히 다뤄지는 경우가 많아 AI 훈련 자료로서의 가치는 낮은 편임
    고문헌 자체는 흥미롭고 보존할 가치가 크지만, 거대한 훈련 자료에 섞는 용도로는 덜 유용함
  • 2인 비영리 단체인지, 기업가치가 1조 달러인 상장 전 회사인지 알 수 있도록 출처와 배경이 필요함
  • 책등을 자르면 출처를 잃은 ‘사해문서’ 같은 낱장만 남게 되지 않는지 의문임

• 스캔 대상이 저작권이 남은 책뿐이라면 18세기 식물학 서적이 왜 포함되는지 의문임. 소유한 책을 스캔하는 행위는 저작권상 합법이어야 하며 파괴까지 요구해서는 안 됨
  출간된 지 50년이 넘고 잊힐 위험이 있는 저작물에는 유기 저작물 규정을 적용해, 권리자가 여러 도서관 등에 보존되고 있음을 입증하거나 추가 복제를 허가하거나 저작권을 포기하게 할 수 있음

  • 책을 낱장으로 해체해 스캔하면 더 빠르고 저렴하며, AI 훈련은 물량 싸움이라 이 방식이 유리함. 스캔 후 쓸모없어진 낱장은 펄프화해 재활용되므로 저작권이 없어도 파괴식 스캔이 주류가 됐을 가능성이 큼
    OpenAI가 Amazon에서 2018년 책의 디지털판을 사서 바로 쓰지 못하는 이유는 라이선스 위반에 더해 DRM 해제를 금지하는 DMCA까지 걸리기 때문임
  • 18세기 책은 저작권이 만료됐으므로 원본을 보존하면서 스캔해도 불법이 아님
  • 대체 불가능한 책을 파괴하는 이유는 저작권이 아니라 파괴식 스캔의 비용 절감임: https://www.404media.co/ai-companies-are-buying-tons-of-old-...
  • 남은 사본이 한 자릿수인 희귀 고서는 박물관 소장품처럼 문화재성 보호를 받아야 함. 소유자가 훼손하거나 폐기하려 할 때 국가가 우선 매입할 수 있어야 함
  • 파쇄된 책은 경쟁사가 다시 스캔할 수 없다는 이점도 생김

• Archive.org가 보유한 실물 책을 대출했다는 이유로 소송당하지 않았다면 이런 결과도 피할 수 있었을 것임. 출판사는 자신이 바라던 결과를 더 신중히 생각했어야 함

  • Archive.org는 원래 실물로 보유·스캔한 책을 DRM과 1권당 동시 1인 제한으로 빌려줬지만, 코로나 시기에 제한을 없애 무제한 동시 대출을 허용하면서 출판사와의 분쟁이 시작됐음
  • 책 한 권이 파괴되면 다른 사본과 미출간 재고의 가치가 올라가므로, 출판사가 반드시 싫어한다고 보긴 어려움
  • Archive.org의 경솔한 접근이 오히려 정당한 보존 활동의 입지까지 약화했다고 볼 수 있음

• 출판사들은 그림자 도서관 자료로 훈련한 AI 회사를 고소해 거액의 콘텐츠 계약을 노렸지만, AI 회사는 아날로그 허점을 이용했음. 중고책을 5달러에 사고 파괴식 스캔에 25달러를 쓰는 편이 저작권료보다 훨씬 저렴함
  다만 대상은 고대 문헌이 아니라 저작권이 남은 책이며, 오래됐다고 가치 있는 것도 아님. 수요가 없고 보관비만 드는 책을 도서관이 폐기하기 때문에 스캔 업체가 싸게 구할 수 있음

  • AI 회사에는 가치가 있는 책이므로 공정한 대가를 지불해야 함
  • 현대 문헌도 시간이 지나면 고대 문헌이 되므로 현재의 물리적 가치만으로 판단할 수 없음
  • 장비 마모, 걸린 종이를 빼는 인건비, 재활용 비용까지 포함해도 파괴식 스캔 비용은 권당 25달러보다 0.25달러에 가까울 수 있음
  • 여러 구매자의 정보를 바꾸고 원자료를 파괴하면 잘못된 내용이 LLM에 남게 되므로, 이를 정당화하는 건 선전에 가까움

• Bradbury의 《Fahrenheit 451》보다 Vernor Vinge의 《Rainbows End》에 나오는 ‘파쇄 후 스캔’ 공장과 더 닮았음

  • Vernor Vinge는 근미래를 특히 잘 예측했으며, 파쇄식 스캔을 악당들이 비파괴 스캔으로 넘어가기 전 잠시 쓰는 방식으로 묘사했음. 장기적으로 인류를 위해 할 수 있는 최선 중 하나는 Anna’s Archive 지원이라고 봄
  • 대중이 흔히 부여하는 의미와는 다르지만, 《Fahrenheit 451》의 작가가 의도한 바와도 상당히 가까움

• 희귀본을 디지털화하면서 Authors Guild v. Google의 피해도 되돌릴 수 있음. AI 회사의 스캔을 허용하되 디지털 사본 공개를 의무화하고, 최초 스캔 업체의 이점을 위해 몇 년의 유예 기간을 둘 수 있음: https://en.wikipedia.org/wiki/Authors_Guild,_Inc._v._Google,...

  • 1850년 책의 유일한 사본을 파괴해 내용을 영리 시스템에 가두는 것은 공공 토지에서 허가 없이 자원을 채굴하는 것과 같은 공공 자원 수탈임
    반면 고품질로 디지털화해 영구 무료 공개하고, 도서관과 온라인에서 무료로 쓸 수 있는 공공 LLM을 통해 접근하게 하며, 남은 실물 사본이 없다면 충분한 확인 뒤 공공 희귀본 아카이브에 보존하도록 규제하는 편은 훨씬 합리적임

• 어리석은 저작권법 때문에 AI 회사가 택할 수 있는 합법적 방법이 이것이라면 책임을 전부 돌리기는 어려움. 지역 그림자 도서관을 지원할 수 있음: https://annas-archive.pk/donate

• 인용된 자료만 보면 희귀본이 실제로 파괴되고 있다는 근거가 부족함. 대체 불가능한 18세기 식물학 서적을 예로 덧붙였지만, 실제 대상이 판매 중이거나 흔한 책일 가능성을 배제하지 못함

  • 18세기 책은 모두 저작권이 만료됐으므로 굳이 파쇄할 이유가 없음

• 여기서 희귀본은 역사적으로 중요한 중세 필사본이 아니라, 저작권은 남아 있지만 판매되는 실물 사본이 적은 비교적 최근 책으로 보임. 이런 책 한 권을 파괴해 내용을 디지털 보존하는 것이 반드시 나쁘다고는 보기 어려우며, 저작권이 남은 책의 가치는 대체로 물리적 매체보다 내용에 있음

  • 역사적으로 중요한 중세 필사본도 점점 온라인에 공개되고 있으며, 연구자가 원자료 스캔본에 직접 접근하면 역사 연구가 빨라짐. 물론 이 경우에는 비파괴 방식임
  • 저자 서명이나 금박을 넣은 특별 수집판처럼 물리적 매체 자체가 가치 있는 책도 있지만, AI 회사가 그런 판본을 쓰지는 않을 가능성이 큼
  • 남은 사본이 한 자릿수인 책도 고품질 디지털 스캔을 공개한다는 조건이라면 파괴식 스캔에 동의할 수 있음
  • 누구를 위해 디지털로 보존하는지가 핵심 질문임
  • 어딘가의 마르코프 연쇄 가중치를 조금 바꾸는 일을 정말 내용 보존이라 부를 수 있는지 의문임