양질의 논픽션은 AI 슬롭의 정반대다

• 도서관의 분류 체계와 사서의 선별, 대출 이력이 결합된 서가 탐색은 검색 엔진보다 품질과 우연성을 함께 제공해 예상하지 못한 양질의 논픽션으로 독자를 이끎
• 무료 플랫폼 Book Prize Index는 주요 영어권 논픽션 문학상의 수상작과 최종 후보 약 6,500권을 검색·정렬하며, 자연어 질의와 유사 도서 탐색도 지원함
• AI는 데이터 수집과 코딩, 의미 검색에만 쓰였으며, 때로 이해하기 어려운 검색 결과마저 잘 관리된 서가를 거니는 듯한 발견 경험으로 이어짐
• 문학상 기록은 절판되어 Amazon 추천에서 밀려난 우수작도 되살림. 1993년 주요 상 4개를 받은 W.E.B. Du Bois 전기는 판매 순위가 100만 위 밖이지만 지수에서는 전체 상위 10권 가까이에 위치함
• 개방형 연구도서관과 이동성 확대, 사회적 접근성 개선, 목록 기술과 미디어의 변화가 20세기 논픽션의 품질을 끌어올렸으며, 주관적으로는 1980년대~2000년대 초가 정점이었을 가능성이 있음

---

서가 탐색이 만든 선별된 우연

• 대학 시절 Library of Congress 분류 체계의 A~F 구역에서 책을 정리하며, 매번 임의의 페이지에서 문장 하나를 읽는 방식으로 종교·철학·사회학·역사서를 폭넓게 접함
  • 대부분은 관심을 끌지 못했지만, 헬레니즘 미스터리 종교, The Education of Henry Adams, Are Clothes Modern? 같은 책에는 빠져들어 여러 페이지를 읽고 인접한 책까지 살펴봄
• 이 경험은 완전한 무작위 독서보다 선별된 독학에 가까웠음
  • Library of Congress 분류 체계와 연구도서관 직원이 자료를 정리하고 선별함
  • 대출된 책이라는 조건은 이미 꾸준한 독자를 확보했다는 추가 필터로 작용함
  • 그 결과 체계적으로 선별됐으면서도 흥미로운 우연성을 지닌 양질의 표본을 만날 수 있었음

Google 검색과 개방형 서가의 쇠퇴

• 오늘날 학부생이 자료를 찾을 때 쓰는 Google 검색은 연구도서관의 특정 분류 서가를 직접 둘러보던 방식보다 발견 경험이 크게 뒤떨어짐
• 연구도서관의 공간도 과거와 달라지고 있음
  • 탐색 가능한 개방형 서가가 Learning Lab, Digital Innovation Hub, 사교와 간식을 위한 좌석 공간으로 대체되는 중임
  • 오래되고 특이한 책을 폐기하거나 전자판으로 교체하는 사례도 늘어남
• 그럼에도 논픽션의 품질은 여전히 높으며, AI 챗봇과 팟캐스트와의 경쟁으로 독자가 줄어드는 상황에서도 제대로 인정받지 못한 논픽션의 황금기가 이어지고 있음

Book Prize Index의 구성

• Book Prize Index는 고품질 논픽션의 긴 꼬리(long tail)를 탐색하기 위해 만든 무료 플랫폼임
• 주요 영어권 논픽션 문학상의 수상 및 최종 후보 이력을 품질 기준으로 활용함
  • 주요 상의 목록을 집계한 뒤 Claude와 GPT-5.6으로 Wikipedia 등 여러 온라인 출처에서 수상작과 최종 후보를 수집함
  • 수집한 데이터를 검색하고 정렬할 수 있는 목록으로 구성함
• 호스팅비와 API 비용을 직접 부담해 누구나 무료로 이용할 수 있도록 운영 중임

의미 검색으로 재현한 서가 산책

• AI의 역할은 데이터 수집·코딩과 의미 검색(semantic search) 에 한정됨
• 의미 검색은 연구자가 이미 사용하는 텍스트 검색을 직접 개선함
  • modern France, social history 같은 단순 구문을 검색할 수 있음
  • classic biographies that are surprisingly weird처럼 복합적인 의미를 담은 자연어 질의도 처리함
  • 임베딩 모델이 약 6,500권 가운데 관련 도서를 찾아냄
• 결과가 때로 이해하기 어렵더라도, 그 예측 불가능성이 잘 관리된 정원을 무작위로 걷는 듯한 발견 경험을 재현함
• 특히 이미 좋아하는 책과 비슷한 책을 찾는 books like 용도에 잘 맞음
  • Stefan Zweig의 전쟁 전 빈 회고록 The World of Yesterday를 기준으로 검색하면 처음 접하는 유망한 책들을 즉시 찾을 수 있음

데이터 시각화와 출판사 순위

• 수집한 데이터로 실험적 시각화를 제작함
  • 말뭉치에 포함된 약 5,000권을 표지 색상에 따라 배열함
  • 연대별로 비교하면 최근 수십 년간 자동차 색상이 회색화된 것과 같은 현상이 책 표지에도 나타나는지 살펴볼 수 있음
• 같은 페이지의 차트와 출판사 순위를 통해 지난 한 세기 동안 논픽션 문학상에서 가장 좋은 성과를 낸 임프린트와 출판사를 탐색할 수 있음

문학상이 보존하는 논픽션의 긴 꼬리

• Pulitzer Prize 논픽션 부문조차 비교적 최근인 1962년에 시작됨
• 논픽션 문학상 수는 1970~1990년대에 증가해 2014년 정점에 도달했으며, 2020년부터 완만한 감소가 시작됐을 가능성이 있음
• 지난 수십 년간 후보와 수상작이 이룬 긴 꼬리는 일관되게 높은 품질을 보임
  • 목록에서 거의 무작위로 골라도 독창적이고 뛰어난 책을 만날 수 있음
  • 이 책들은 출간 당시 외면받은 작품이 아니라 언론·문학계·학계의 찬사를 받았지만 현재 추천 체계에서 밀려난 작품임
• David Levering Lewis의 W.E.B. Du Bois 전기는 이런 단절을 잘 보여줌
  • 1993년 출간 당시 주요 상 4개를 받아 지수 전체에서 상위 10권 가까이에 위치함
  • 현재 절판됐고 Amazon 판매 순위도 100만 위 밖이어서 추천될 가능성은 작지만, 중고로 약 4달러에 구매할 수 있음

논픽션 황금기를 만든 변화

• 개방형 연구도서관의 기본 설계는 18~19세기에 등장했지만, 전후 시대의 기술·사회 변화가 도서관과 기록보관소에서 새로운 지식을 생산하는 방식을 크게 바꿈
• 제트 여객기는 과거 초부유층에 한정됐던 여러 대륙의 현장 조사를 더 많은 작가와 연구자에게 열어줌
• 계급·인종·성별에 따른 제약이 약해지면서 희귀본 도서관 같은 엘리트 공간의 접근성이 높아졌고, 새로운 연구 질문도 가능해짐
  • 약 1965년 이전의 전기 작가들은 대상 인물의 성적 지향을 거의 탐구하지 않았음
• Library of Congress 분류 체계와 1960년대 후반 개발된 MARC(machine-readable cataloguing) 같은 초기 디지털 기술은 도서의 분류와 정렬을 쉽게 함
  • 출처 확인과 고품질 미주 작성도 한층 수월해짐
• 방송 뉴스, Dick Cavett 같은 독특한 TV 인터뷰 프로그램, 책의 Hollywood 영상화 경로는 작가에게 새로운 유인을 주고 작품을 알릴 플랫폼을 제공함
• 워드프로세서와 초기 컴퓨터가 논픽션 품질을 실질적으로 높였는지는 불확실함
  • 2000년대 이후 Wikipedia와 Google Books/Hathi Trust는 해당 세대의 연구에 크게 기여함

논픽션 품질의 정점

• 많은 도서관 책을 훑어본 주관적 판단으로는 논픽션의 글쓰기 품질이 20세기 전반에 걸쳐 향상됨
• 정점은 1980년대부터 2000년대 초 사이였을 가능성이 있음
• 현재 논픽션의 품질이 실제로 하락 중인지는 확정하기 어려움

[GN⁺]

Hacker News 의견들

• 좋은 소설은 근본적으로 AI의 정반대라고 봄. LLM은 여러 요소를 조합해 창의적으로 보이는 결과를 만들 수 있지만 한계가 있으며, 수천 번 프롬프트를 입력해도 뛰어난 소설처럼 진정으로 독창적인 작품이 나오리라고는 상상하기 어려움
  그런 작품에는 삶의 마법과 부조리가 필요함

  • 인간이 더 창의적이려면 왜 반드시 삶의 마법과 부조리를 겪어야 하는지 앞뒤가 조금 맞지 않음. 인간의 창작도 결국 자신의 체험을 이어 붙이고 재조합하는 과정이며, AI에도 이를 반영하는 데이터가 충분하다면 진정으로 독창적인 결과를 만들 수 있지 않을까 싶음
    지능과 창의성은 모두 재조합이며 AI도 인간처럼 이를 잘할 수 있음. 현재의 차이는 인간이 접하는 데이터가 훨씬 아날로그적이고 감정적이며 현실에 기반한다는 데 있음
  • 나이가 들수록 하늘 아래 새로운 것은 없다는 말이 계속 떠오름
  • AI는 기술 내용을 문서화하고 설명하는 논픽션의 한 갈래에서는 꽤 쓸 만함. 취향을 알려주고 판타지 소설을 써 달라고 해봤지만 결과는 끔찍했으며, AI가 조만간 판타지 작가의 일자리를 빼앗지는 못할 듯함
  • 지금은 LLM이 쓴 소설을 읽고 싶지 않지만, 미래에는 생각이 바뀌어 즐길 만한 작품도 나오리라 예상함. 다만 논픽션도 LLM으로 대체하기 훨씬 어려움
    현재 읽는 https://www.goodreads.com/en/book/show/17801.Underground와 https://www.goodreads.com/en/book/show/44824581-a-k-pop-live는 성사하기 어려운 대면 인터뷰와 현장 행사 참석을 포함한 방대한 자료에 의존하므로 LLM이 쓸 수 없는 책임. https://www.goodreads.com/series/139929-designers-dragons처럼 비교적 평범한 책도 디지털화되지 않았거나 일반적인 디지털 자료 모음에 없는 출처를 활용함
    LLM은 종합 작업을 잘할 수 있지만 유능한 논픽션 책을 쓰기 위한 도구와 검증 체계는 아직 부족함. 앞으로 가능해지더라도 가장 뛰어나고 흥미로운 논픽션은 계속 인간의 영역일 것이며, 회고록이나 여행기 역시 받아쓰기를 시키는 경우가 아니라면 대체하기 어려움
  • 모델은 수학 증명처럼 인간이 탐구하지 않은 영역으로 외삽하는 능력을 점점 보여주고 있음. 삶의 부조리에서 소재를 얻는 일만 모델에 특별히 어렵다고 확신할 근거가 궁금함

• 긴 글을 읽어 얻은 정보와 LLM 대화로 얻은 정보는 뇌에 서로 다르게 저장될 가능성이 큼. 어렵거나 새로운 글을 읽을 때는 내용이 기존 체험이나 지식과 어떻게 맞물리는지 오래 생각하고, 어려운 페이지에서는 멈춰 사고를 통합하고 재구성하게 됨
  반면 LLM과 대화할 때는 지식을 수동적으로 받는 느낌이라 충분히 통합되지 않음. 인간 교사에게 배울 때는 그렇지 않을 듯해 다소 역설적임

  • 교육 이론의 동화와 조절에 가까움. 동화는 지식이 기존 인지 도식에 들어맞는 과정이고, 조절은 새 지식을 위해 도식 자체를 바꾸는 과정이라 도전받거나 심오하다는 느낌이 생김
    가령 아이가 외국인을 자기 나라 밖에서 온 사람으로 배우다가 처음 해외여행을 가서 자신이 그곳의 외국인임을 깨닫는 식임. LLM 출력은 대체로 쉽게 동화할 수 있는 형태로 기우는 듯함
  • 산책이나 등산 중 오디오북을 듣는데, 배운 내용을 떠올릴 때 어디를 걷고 있었는지까지 함께 생각나는 경우가 있음. 인간이 정보를 처리하는 방식에는 아직 알아낼 것이 많음
  • LLM과 상호작용하면서 지식을 수동적으로 받는다는 표현은 거의 형용모순처럼 들리며, 내 체험과는 매우 다름
  • 이는 도구를 사용하는 방식에 더 좌우되는 듯함. 읽기만으로는 잘 배우지 못하고 직접 해보며 이해되지 않는 지점을 계속 질문해야 배우는데, LLM은 인간이라면 금방 인내심을 잃을 만큼 반복해서 물어볼 수 있게 해줌
    원자료로 혼자 공부할 때처럼 이해한 내용을 적고 플래시 카드를 만들며 능동적으로 연습하되, 어려운 부분을 더 깊이 캐물을 수 있음. 덕분에 다른 수단으로는 못 하던 사고의 통합과 재구성이 가능해짐
    LLM을 지식 슬롯머신처럼 사용해 중간 과정 없이 받은 내용을 곧장 실행한다면 결과가 달라질 수 있음
  • 사람마다 정보를 습득하는 방식이 다르므로 이런 추측은 크게 빗나갈 수 있음. LLM을 좋아하지 않는다는 사실을 인간의 뇌나 지식 접근법 전반에 대한 결론으로 일반화할 수 없으며, 여기서는 개인의 주관적 체험이 거의 전부임

• 도서상은 평균 이상의 신호이지만, 출판사들은 조금이라도 관련 있는 모든 상에 책을 대량 출품하며 이를 사업 비용으로 여김. 사진가가 ‘수상 경력 사진가’라는 칭호를 위해 참가비를 내거나 기업이 심사비와 자료를 제출하는 것과 비슷함
  책은 너무 많고 자격 있는 심사자는 적어서 수상이 자의적이거나 터무니없이 쉬워질 수 있음. NCR Book Award는 심사위원들이 책을 직접 읽지 않았다는 사실이 드러나 큰 논란을 겪었고 [1], PROSE Award는 규모가 너무 커서 일반 부문 결선 진출이나 수상의 권위가 흔히 과장됨
  [1] https://www.theguardian.com/news/2013/may/19/literary-prize-judges-admit-failure-read-books

  • 상은 그 시대의 산물이라 심사위원의 편견과 독자의 문학적 취향뿐 아니라 연고주의·편애·엘리트주의도 반영함. Hugo, Nebula, Locus의 역대 수상작과 후보작을 보면 그저 그런 작품도 많이 발견됨
  • 맥주와 와인 상도 마찬가지로 일부는 훌륭하지만, 대부분은 돈을 내고 참가하는 홍보 복권에 가까움

• ‘기술’과 ‘과학’ 항목에서 이미 읽은 훌륭한 책과 읽고 싶은 책을 여럿 발견해, 잃어버린 매일 독서 습관을 다시 만들 동기가 생김. 최근 ‘사회와 문화’ 책들은 독서 모임용으로도 좋아 보임
  버그가 하나 있는데 ‘award’ 필터에서 Pulitzer나 National Book Award를 선택하면 결과가 없지만 탐색 중에는 해당 수상작이 보임

  • 이 사이트를 처음에는 개인적으로 쓰려고 만들었지만, 의미 기반 검색과 범주 탐색으로 몰랐던 좋은 책을 발견하면서 확장하는 데 빠져들었음. 다른 사람에게도 같은 역할을 하길 바람
  • 최근 휴대전화와 TV 습관을 고친 뒤 이제 가족끼리 영화의 밤 대신 조용한 독서 모임을 함
    1. 휴대전화에 Jomo를 설치해 자극적인 앱을 열기 전 5초 기다리고 5분만 사용하도록 했으며, 열 때마다 대기 시간이 5초씩 늘어나 자정에 초기화됨. 이 마찰이 핵심임
    2. 흥미로운 종이책은 바로 사서 집안 곳곳에 둠
    3. 기존 습관에 독서를 연결함. 매일 운동하러 나갈 때 책을 가져가고 운동 후 맞은편 카페에서 커피와 함께 읽으며, 밤에는 잠들기 전에 읽음. 몇 권을 끝내면 독서에 빠져들고 오히려 TV에 집중하기 어려워지며, 무한 스크롤은 정크푸드를 먹는 것처럼 하는 중에도 찝찝해짐
       시작할 책으로는 https://bookshop.org/p/books/true-grit-charles-portis/5ac45463b35e7b22를 추천함

• 연구 도서관에서 찾던 책의 두세 칸 옆에 있던 책을 통해 삶을 바꾼 기법과 유도 과정을 많이 배웠음. 연구원이 된 뒤 사서에게 사무실 근처 분관으로 책을 보내 달라고 하면서 직접 서가를 둘러보지 않았는데, 본관에서 목록에 있던 책 몇 권 옆의 책을 빌렸다가 큰 돌파구를 얻었음
  지금은 같은 도서관에 이동식 서가가 설치돼 탐색이 귀찮아졌고, 서가 탐색의 우연한 발견이라는 귀중한 무언가를 잃었다는 생각이 듦
  이 사이트의 목록에는 기대가 컸지만 전문 분야에서는 부족했음. van Soest의 Nutritional Ecology of the Ruminant나 van der Werf의 Animal Breeding: Use of New Technologies와 비슷한 책을 찾으면 대중과학서만 잔뜩 나옴. 과거 도서관에서 찾은 책들은 과학적 엄밀성을 유지하면서도 놀라울 만큼 이해하기 쉽고 흥미로웠지만, 추천된 대중과학서는 스스로 아이디어를 탐구하게 하기보다 무언가를 팔려는 느낌이 들어 다시 직접 서가를 살펴봐야 할 듯함

• 저자 검색을 지원하면 좋겠음. 최근 Caro의 LBJ 시리즈를 읽기 시작했는데 지금까지 훌륭하며, 그가 받은 상의 개수가 궁금함. 논픽션을 좋아해 이 사이트를 자주 방문할 예정임

  • 더 일반적으로 연도, 제목, 출판사, 저자, 점수 같은 열 머리글을 클릭해 정렬할 수 있으면 좋겠음. 일부 화면에서는 작동하지만 다른 화면에서는 되지 않아 직관적이지 않음
    ‘traditional’과 ‘semantic’ 검색 전환은 신선하지만, 홈 탭뿐 아니라 책 탭에서도 전환 스위치가 계속 보이면 좋겠음

• 책을 다소 무작위로 탐색하며 얻는 우연한 발견에는 공감하지만, 정작 웹 앱은 그 반대처럼 보임. 몇 개 범주를 눌러보니 상위권 책에서 모두 인기투표 냄새가 나 무작위 탐색과 거리가 멀었음

• Axiom Business Book Awards, Library Journal Best Books of the Year, Booklist Magazine's Editor's Choice Awards를 추가하면 좋겠음. 서평을 크게 다루는 인기 Substack도 몇 개 있지만, 공개 집계 사이트에는 내가 가장 좋아하는 곳조차 추천하지 않겠음

  • Axiom은 추가할 예정임. 다만 ‘올해의 책’ 유형 목록은 도서상과 다소 달라서 추가 여부와 방법을 고민 중이지만, 목록의 책을 늘리기 위한 다음 단계가 될 가능성이 큼
    다른 상도 추천받고 싶음. 역사학자라 역사 관련 상을 더 잘 알아서 현재 목록이 역사 분야에 지나치게 치우쳤을 수 있음

• 도서상 색인의 역사 부문이 미국에 지나치게 편향돼 있음. 미국사, 아메리카 원주민, 제2차 세계대전 이후 일본, 지난 세기의 베트남 정도에 집중됨

  • 결국 그런 책이 팔리기 때문임. 미국은 인구가 많아서 역사 같은 틈새 주제도 미국 독자를 겨냥하면 수익을 낼 수 있음
    대중 시장용 책을 팔려 하지 않는 역사학자들은 훨씬 폭넓은 책을 쓰지만 일반 서점에서는 보기 어려움
  • 아이러니하게도 미국은 유럽, 북아프리카, 중동, 페르시아, 중국, 중앙아시아, 인도와 비교하면 실제로 역사적 축적이 빈약한 편임

• 스페인어나 영어로 된 스페인 내전 서적을 찾고 있음. 추천받은 미국 책은 마음에 들지 않았고 언어나 어느 나라에서 상을 받았는지와 관계없이 계속 찾아보고 싶으므로, 비영어권 국가의 도서상도 포함하면 좋겠음

  • 전쟁 자체보다 전쟁이 어떻게 벌어졌고 나라 전체가 왜 싸움을 받아들였는지가 훨씬 흥미로움. 이를 이해하려면 이전 독재정권 말기부터 시작해 스페인 제2공화국 전체를 살펴봐야 전쟁이 이해됨
    Stanley Payne의 The Collapse of the Spanish Republic을 추천함. 그는 그 시기 내내 스페인에 있던 기자라 주로 직접 목격한 내용을 전하며, 공정성을 자처하지는 않지만 주요 인물들을 개인적으로 많이 알아 상당히 섬세하게 다룸
  • 읽어본 책 중에는 Paul Preston의 The Spanish Civil War와 George Orwell의 Homage to Catalonia를 적극 추천함. 읽을 목록에는 Hugh Thomas의 The Spanish Civil War와 Antony Beevor의 The Fight for Spain이 있으며 빨리 구해 읽고 싶음