베수비우스 챌린지 2023 대상 수상: 첫 번째 두루마리 읽기 성공

 (scrollprize.org)
1P by GN⁺ | ★ favorite | 댓글 1개
  • Vesuvius Challenge 2023은 79년 베수비오 화산 폭발로 탄화된 Herculaneum Papyri를 펼치지 않고 읽어, 2,000년간 보이지 않던 텍스트 일부를 복원함
  • Youssef Nader, Luke Farritor, Julian Schilliger 팀은 4개 구절 각 140자와 문자 복원율 85% 이상 기준을 충족해 $700,000 대상을 받았고, 제출물에는 15개 열과 2,000자 이상 텍스트가 포함됨
  • 복원된 두루마리는 기존 작품의 중복본이 아니라 고대의 미공개 텍스트로 보이며, 음악·음식·감각·쾌락을 다루는 Epicurean 철학 텍스트로 판독됨
  • 핵심 기술은 X선 단층촬영, 3D 파피루스 층 세그멘테이션, 머신러닝 기반 잉크 감지를 결합한 방식이며, 수상 코드와 학습 데이터가 공개되어 재현과 검증이 가능함
  • 2024년 목표는 첫 두루마리 약 5% 판독에서 스캔된 4개 두루마리의 90% 판독으로 확장하는 것이며, 가장 큰 병목은 수작업 비용이 큰 세그멘테이션 자동화임

2,000년 된 두루마리를 열지 않고 읽음

  • Herculaneum Papyri는 79년 Mount Vesuvius 폭발로 탄화된 파피루스 두루마리이며, 18세기에 발견된 뒤 현재 수백 점이 이탈리아 Naples의 도서관에 보관되어 있음
  • 탄화된 재 덩어리 상태라 물리적으로 펼치면 심하게 손상될 수 있어, 내부 글자를 읽으려면 비파괴 방식이 필요했음
  • Nat Friedman, Daniel Gross, Brent Seales는 2023년 3월 15일 Vesuvius Challenge를 시작함
    • Institut de France의 두루마리를 Oxford 근처 Diamond Light Source 입자가속기에서 고해상도 CT로 촬영함
    • 공개된 CT 스캔을 바탕으로 전 세계 참가자들이 컴퓨터 비전, 머신러닝, 수작업을 조합해 문제를 풀었음
    • 총상금은 여러 기부자가 제공한 100만 달러 이상이었음
  • 2023년 12월, 참가자들은 첫 두루마리의 일부를 읽는 데 성공함
    • PHerc.Paris. 4에서 2,000년간 보이지 않던 텍스트가 드러남
    • 아직 두루마리의 약 95%는 읽히지 않은 상태임

2023 Grand Prize 수상 결과

  • Grand Prize 제출물은 2024년 1월 1일 자정 마감 직전까지 들어왔고, 1월 동안 파피루스학 팀과 기술 팀이 검토함
    • 파피루스학 팀은 익명화된 제출물의 15개 열 텍스트를 검토함
    • 기술 팀은 제출된 코드와 방법을 감사하고 재현함
  • 대상은 Youssef Nader, Luke Farritor, Julian Schilliger 팀이 받음
    • 상금은 $700,000
    • 기준은 4개 구절, 각 140자, 최소 85% 문자 복원 가능성이었음
    • 조직팀 다수는 기준 발표 당시 성공 확률을 30% 미만으로 봤음
    • 수상 제출물에는 추가 11개 열과 총 2,000자 이상의 텍스트가 포함됨
  • 세 명은 Vesuvius Challenge 초기부터 커뮤니티에 기여함
    • Youssef Nader는 Berlin의 이집트인 PhD 학생으로, 2023년 10월 몇 개 열을 읽어 First Letters Prize 2위를 받음
    • Luke Farritor는 Nebraska 출신 21세 대학생이자 SpaceX 인턴으로, Herculaneum 두루마리 내부에서 전체 단어 ΠΟΡΦΥΡΑϹ(“purple”)를 처음 읽어 First Letters Prize 1위를 받음
    • Julian Schilliger는 ETH Zürich의 스위스 로보틱스 학생으로, Volume Cartographer 작업으로 Segmentation Tooling 상 3개를 받음

수상 제출물의 기술 구성

  • 제출물에는 서로를 뒷받침하는 세 가지 모델 아키텍처 결과가 포함됨
    • 가장 강한 이미지는 TimeSformer 기반 모델에서 자주 나옴
    • 과적합과 환각을 막기 위해 여러 아키텍처 결과, 입력·출력 윈도 크기 연구, label smoothing, 검증 fold 변화를 사용함
    • 잉크 감지 코드는 GitHub에 오픈소스로 공개됨
  • 강한 잉크 감지뿐 아니라 가장 강한 자동 세그멘테이션 접근도 함께 들어 있음
    • Julian의 ThaumatoAnakalyptor는 여러 두루마리에서 대형 파피루스 세그먼트를 생성함
    • 기존에 잘 알려진 영역을 다시 세그멘테이션해 이전 잉크 발견을 검증함
    • 두루마리 가장 바깥쪽 감김처럼 새 영역에서도 글자를 드러냄
    • 유망한 도구이지만 개선 작업은 많이 남아 있음

준우승과 공개된 방법

  • 남은 제출물 중 파피루스학 팀 점수 기준으로 세 팀이 공동 준우승함
    • 각 팀은 $50,000을 받음
    • 세 제출물은 서로 비슷한 가독성을 보였고, 나머지 제출물보다 상당히 읽기 쉬웠음
  • 공개된 준우승 팀 제출물:
    • Elian Rafael Dal Prá, Sean Johnson, Leonardo Scabini, Raí Fernando Dal Prá, João Vitor Brentigani Torezan, Daniel Baldin Franceschini, Bruno Pereira Kellm, Marcelo Soccol Gris, Odemir Martinez Bruno: GitHub
    • Louis Schlessinger, Arefeh Sherafati: GitHub
  • 준우승 팀들은 잉크 라벨링과 샘플링의 세부 문제에 새로운 접근을 가져옴
  • Discord 커뮤니티에서는 CT 데이터와 추가 이미지를 데이터 계약 아래 접근할 수 있고, 참가자들의 발견과 협업이 계속됨

복원된 텍스트의 내용

  • 현재까지 첫 두루마리의 약 5% 가 펼쳐지고 읽힘
  • 파피루스학 팀은 드러난 모든 열에 대해 예비 전사를 만들었음
  • 이 두루마리는 기존 작품의 중복본이 아니라 고대의 처음 보는 텍스트임
  • 초기 판독상 전체 주제는 Epicurean 철학에서 가장 높은 선으로 이해되는 쾌락임
    • 두 연속 열의 일부는 음식 같은 재화의 이용 가능성이 쾌락에 어떤 영향을 주는지를 다룸
    • 저자는 “드문 것이 풍부한 것보다 반드시 더 즐겁다고 바로 믿지는 않는다”는 취지의 문장을 남김
    • 이어 “그런 질문들은 자주 검토될 것”이라는 흐름이 이어짐
  • 두루마리의 끝부분이라는 점 때문에 같은 작품의 후속 책에서 논의가 이어질 가능성이 있음
  • 첫 텍스트 초반에는 Xenophantus라는 인물이 언급됨
    • Philodemus의 _On Music_에도 언급되는, 아마 음악가로 보이는 인물일 수 있음
  • Philodemus는 Epicurean 학파의 인물로, 두루마리가 발견된 villa의 작은 도서관에서 활동한 철학자로 여겨짐
  • Richard Janko는 저자가 Virgil의 스승인 철학자이자 시인 Philodemus일 가능성이 매우 높다고 봄
    • 음악이 청자에게 미치는 효과를 음식·음료 같은 다른 쾌락과 비교하는 글일 가능성이 꽤 높다고 봄
    • 알려진 Book 4가 있는 음악에 관한 4부작 논문에서 나온 텍스트일 가능성도 있음
  • Federica Nicolardi는 이 텍스트를 음악, 음식, 감각, 쾌락으로 가득 찬 Epicureanism 텍스트로 봄
  • Bob Fowler는 Philodemus가 쾌락을 높게 평가했지만, 단순 방종이 아니라 올바르게 이해된 쾌락을 말한다고 봄

결과 이미지의 정확성을 검증한 방식

  • 머신러닝 모델이 학습 데이터와 비슷한 글자나 이미지를 만들어내는 환각 가능성은 검증 대상이었음
  • Vesuvius Challenge 기술 검토팀은 수상 제출물을 수동으로 재현함
    • 코드의 각 부분을 이해하고 독립 실행 시 유사한 출력 이미지가 나오는지 확인함
    • 코드와 학습 데이터가 공개되어 다른 사람도 같은 검증을 할 수 있음
  • 여러 제출물이 같은 두루마리 영역에서 매우 유사한 결과를 냄
    • 주최 측 세그멘테이션 팀이 CT 스캔 안의 3D 매핑된 파피루스 시트, 즉 세그먼트를 공개함
    • 참가자들은 서로 다른 ML 모델과 학습 라벨을 사용했지만 비슷한 출력 이미지를 생성함
    • 이런 일치는 수상팀과 준우승팀뿐 아니라 다른 제출물에서도 나타남
  • 잉크 감지 모델은 그리스 문자, OCR, 언어 모델에 기반하지 않음
    • CT 스캔에서 아주 작은 잉크 점을 독립적으로 감지함
    • 글자는 이런 작은 감지 결과가 모였을 때 나중에 나타남
    • 일부 경우 출력은 “잉크” 또는 “잉크 아님”의 이진값임
    • 이 구조 때문에 모델이 문자처럼 보이는 모양을 환각할 가능성이 매우 낮다고 봄

가상 펼침의 세 단계

  • 가상 펼침은 크게 스캔, 세그멘테이션, 잉크 감지로 구성됨

  • 스캔

    • 두루마리나 파편을 X선 단층촬영으로 3D 스캔함
    • Diamond Light Source는 높은 플럭스의 평행 X선 빔으로 빠르고 정확한 고해상도 이미징을 가능하게 함
    • X선 사진은 단층 재구성 알고리듬을 통해 voxel 기반 3D 볼륨으로 바뀌고, 슬라이스 이미지 스택이 생성됨

  • 세그멘테이션

    • 3D 공간에서 말리고 구겨진 파피루스의 개별 층을 추적한 뒤 펼쳐 평면화함
    • 주로 Brent Seales 연구실의 Seth Parker 등이 만든 Volume Cartographer를 사용함
    • Julian Schilliger와 Philip Allgaier 등이 도구를 확장함
    • Ben Kyles, David Josey, Konrad Rosenberg로 구성된 전임 세그멘테이션 팀이 자동 알고리듬과 수동 조정을 함께 사용함
    • 전체 두루마리를 세그멘테이션하기에는 여전히 매우 고된 과정이며 개선 여지가 큼

  • 잉크 감지

    • Stephen Parsons는 Herculaneum 잉크가 CT 스캔에서 이론적으로 감지될 수 있음을 보였지만, 이전에는 작은 파편에서만 가능했음
    • 완전한 두루마리의 큰 스캔에서 잉크를 감지하는 일은 아직 달성되지 않았음

잉크 감지 돌파구

  • 첫 번째 돌파구는 crackle pattern 발견이었음
    • Casey Handmer는 2023년 여름 평면화된 표면 볼륨 원본을 보다가 글자처럼 보이는 특이한 crackle 패턴을 발견함
    • 이 발견으로 First Ink Prize를 받았고, 커뮤니티에 공유함
    • Luke Farritor는 세그멘테이션 팀이 만든 평면화 표면 볼륨에서 crackle을 더 찾아 모델을 학습했고, 10월 First Letters Prize 수상으로 이어짐
  • 두 번째 흐름은 Kaggle competition이었음
    • 수백 팀이 열린 파편에서 잉크를 감지하는 머신러닝 모델을 만들었음
    • 이 파편들은 수백 년 전 물리적으로 펼치는 과정에서 떨어져 나온 조각임
    • 참가자들은 파편 사진에서 얻은 ground truth 데이터를 사용할 수 있었음
    • 모델 성능은 우수했지만, 처음에는 세그멘테이션 팀이 만든 평면화 세그먼트에서는 잘 작동하지 않는 것처럼 보였음
    • Youssef Nader가 domain adaptation 기법을 적용하면서 First Letters Prize 2위 성과로 이어짐
  • First Letters Prize 이후 Grand Prize 달성이 가시권에 들어왔고, Youssef, Luke, Julian이 팀을 구성함

2023년 성공에 기여한 운영 방식

  • 프로젝트는 명확하고 이례적인 목표 덕분에 초기 보도, 기부, 내재적 동기가 강한 커뮤니티를 끌어들임
  • Brent Seales와 팀이 20년간 쌓은 기반이 중요했음
    • 첫 두루마리 스캔
    • Volume Cartographer 구축
    • 가상 펼침의 첫 성공 사례
    • Herculaneum 잉크가 CT에서 감지 가능하다는 증명
  • 경쟁과 협력을 섞기 위해 progress prizes를 운영함
    • 대략 2개월마다 $1,000~$10,000 범위의 작은 상을 제공함
    • progress prize를 받으려면 코드나 연구를 오픈소스로 공개해야 했음
    • 이 방식은 커뮤니티 전체의 수준을 끌어올리고, 장비·컴퓨트·시간 투자와 팀 결성을 도왔음
  • 전임 세그멘테이션 팀을 고용한 결정도 핵심이었음
    • 수상 가능성을 높이기 위해 병목인 파피루스 추적 작업을 내부에서 수행함
    • 세그멘테이션 품질은 잉크 감지가 되기 전 판단하기 어렵고, 수량 보상은 품질을 해칠 수 있었음
    • 라벨링 작업은 지루하고 시간이 오래 걸리며 학습 곡선이 길어, 상금만으로 보상하기 어려웠음
    • 이 결정은 Casey Handmer의 crackle pattern 발견으로 직접 이어졌고, 커뮤니티와 함께 더 나은 세그멘테이션 소프트웨어를 만드는 데 기여함
  • 성공은 여러 사람의 작은 돌파구가 결합된 결과였고, 넓은 탐색 공간에서 작동하는 아이디어를 찾기 위해 많은 기여가 필요했음

2024년 Stage 2 목표

  • 2023년에는 한 두루마리의 0%에서 5% 까지 도달함
  • 2024년 목표는 스캔된 4개 두루마리 전체의 90%를 읽는 것이며, 이를 달성하는 첫 팀에 2024 Grand Prize를 수여함
    • 정확한 심사 기준은 3월에 제공될 예정임
  • 현재 가장 큰 병목은 두루마리 내부 파피루스 표면을 추적하는 과정임
    • 오늘 읽을 수 있는 텍스트를 만들기 위해 수작업 비용이 제곱센티미터당 100달러 이상 들었음
    • 이 비용 구조로 모든 두루마리를 세그멘테이션하려면 수억 달러 또는 수십억 달러가 들 수 있음
    • 도구 개선으로 효율은 높아졌지만 여전히 너무 수동적이고 비쌈
  • Stage 2의 핵심 목표는 자동 세그멘테이션을 완성하는 것임
    • 제대로 작동하면 심하게 압축되거나 갈라지거나 박리되거나 손상된 어려운 영역도 읽을 수 있음
    • 현재 도구가 들어가지 못하는 영역도 대상이 됨
  • 2024년에는 Grand Prize를 유지하면서도 커뮤니티 기여를 위한 상금 비중을 더 키울 계획임
  • 전임 세그멘테이션 팀에 더해 작은 소프트웨어·ML 팀을 고용해 커뮤니티와 공개적으로 협업할 계획임

더 큰 목표와 남은 가능성

  • 이후 목표는 모든 두루마리를 스캔하고 읽는 것임
  • Naples에 있는 두루마리에는 16MB 이상 텍스트가 들어 있을 것으로 추정함
  • 파피루스학 팀 일부는 이 텍스트 공개가 르네상스 이후 고전학의 가장 큰 혁명이 될 수 있다고 봄
  • Villa of the Papyri에는 아직 발굴되지 않은 두 층이 남아 있음
    • 최소한 캐비닛과 운반 케이스 안에 더 많은 파피루스가 있을 가능성이 있음
    • 아직 villa의 주요 도서관은 발견되지 않았음
    • 그 도서관에는 더 넓은 범위의 그리스어·라틴어 문헌과 수천 또는 수만 개의 두루마리가 묻혀 있을 수 있음
  • 다음 계획의 자세한 내용은 Master Plan에 있음

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 작년 초 HN에서 이 프로젝트를 처음 봤을 때, 프로젝트가 거의 불가능해 보이고 참여자들이 얼마나 똑똑한지에 놀랐음
    몇몇 뛰어난 이름이 보였는데도, 돌파구가 나오려면 적어도 5~10년은 걸릴 거라고 무의식적으로 생각했음
    오늘도 같은 감탄을 느끼며, 이게 얼마나 터무니없이 멋진 일인지 다시 놀라고 있음. 수상자들과 참여한 모두에게 축하를 보냄

    • 말도 안 돼 보이던 많은 일이 현실이 되고 있음. 완전히 타버린 두루마리를 보고 그걸 읽겠다는 생각은 황당해 보였음
      내 사진에 대해 컴퓨터가 섬뜩할 정도로 정확한 대체 텍스트를 미사여구까지 붙여 써주는 일도 앞으로 20년은 더 걸릴 줄 알았는데, 지금 이미 그렇게 됐음
    • 결국 유인 구조의 문제임. 100만 달러는 큰돈이고, 어려운 문제 대부분은 투입 대비 보상이 안 맞아서 많은 두뇌가 붙지 않음
      기계 학습, 수학, 인접 분야에는 이미 보수가 좋은 경력이 많아서, 실패로 끝날지도 모르는 일에 최고 전문가들의 관심을 붙잡기 어렵다
      현금 보상 자체만이 아니라, 큰 상금이 붙은 도전은 해법을 찾는 일의 명성도 끌어올림. 노벨상도 결국 약 100만 달러가 함께 붙어 있음
      누군가 보이니치 필사본이나 Linear A 해독에 1억 달러를 걸면, 3년 안에 해법이 나올 거라고 꽤 확신함

  • 작년 10월쯤 첫 결과들이 조금씩 나오기 시작했을 때 이걸 읽고 엄청 흥분했음. 방법론이 특히 매력적이었음
    먼저 두루마리를 디지털로 펼치고, 종이의 균열 같은 흔적이 잉크의 신호라는 걸 알아낸 뒤, 조각조각 이를 감지하는 모델을 만든 과정이 인상적임
    최종 저장소를 봐야 정확히 뭘 했는지 알겠지만, TimeSFormer를 쓴 것처럼 보임. 이건 영상용이라고 알고 있었는데 이미지에 어떻게 적용했는지 궁금함
    어쨌든 고고학에는 정말 멋진 날이고, 이 젊은 인재들은 성취한 일에 대해 큰 박수를 받을 만함

    • 내가 이해한 바로는 두루마리 스캔 결과가 층 자체를 반환한 것 같음
      대략 이런 구조임:

      xxxxxxxxxx <- 두루마리 표면

xxxxxxxxxx

...

xxxxxxxxxx <- 두루마리 바닥

      그래서 표면 이미지를 타일로 나누면 size_x * size_y * n_layers 크기의 데이터가 됨
      즉 size_x * size_y * 1 channel * n_layers 형태의 영상 스트림처럼 볼 수 있고, 여기서는 층들이 시간 차원을 대신함

  • “충분히 발달한 기술은 마법과 구별할 수 없다”는 말이 딱 맞음
    검게 그을리고 탄 두루마리 덩어리를 읽을 수 있는 텍스트로 바꾸는 마법 같은 기술력이 정말 말도 안 됨
    기계 학습을 아주 겉핥기로만 아는데, 글에 나온 기법들은 최근에야 발견된 것인지, 아니면 꽤 오래전부터 있던 것인지 궁금함
    이런 알고리즘들이 변곡점에 도달하면서 더 널리 쓰이게 됐고, 그래서 오래된 문제에 새 방식으로 적용하는 사례가 늘어난 건지도 궁금함

    • 범용 GPU 처리 능력, 알고리즘, 그 하드웨어를 쓰는 라이브러리와 소프트웨어, 그리고 그 도구로 일하는 연구자들 사이에 확실히 선순환이 있었음
    • 검게 탄 두루마리를 읽을 수 있는 텍스트로 바꾸는 수준이라면, 앞으로 100년 뒤에는 산 사람이나 죽은 사람의 뇌에 무엇을 할 수 있을지 상상하게 됨
      1만 년 뒤에는 광원뿔을 재구성하고 있을지도 모름. 어쩌면 지금 우리가 바로 그런 존재일지도 모르고. 진지한 얘기는 아니지만 재미있는 사고 실험임

  • 발굴된 모든 두루마리를 읽기 위한 “마스터 플랜” 링크가 있음: https://scrollprize.org/master_plan
    더 많이 읽기 위한 주요 병목은 두 가지로 보임. 스캔된 두루마리를 분할할 때 수작업 개입이 필요하고, 새 두루마리를 스캔하는 비용이 큼

    • 스캔만 보면, 알려지지 않은 역사와 저작이 담긴 800개 두루마리를 스캔하는 데 3천만 달러가 든다는 건 다른 예산 사용처들과 비교하면 엄청난 돈처럼 보이지 않음
      누군가 그 비용을 기부하고, 두루마리들을 한 번에 또는 몇 개 큰 묶음으로 입자가속기 근처로 옮길 수도 있을 것 같음. 100만 달러를 더 쓰면 온습도 제어 컨테이너 같은 걸 만들어 한꺼번에 운반할 수도 있을 듯함
      내게 3천만 달러가 있다면 이 일에 확실히 기부하겠음. 그 정도 돈을 쓸 수 있는 최고의 용도 중 하나처럼 보임. 그러면 탁상형 스캐너나 다른 해법을 연구개발할 필요를 우회할 수 있고, 크라우드펀딩도 가능해 보임
      분할 작업은 Seti@Home 같은 집단 해결 방식을 만들면 됨. 다만 컴퓨터가 아니라 지루해서 Reddit이나 Twitter만 종일 스크롤하는 사람들을 대상으로 하면 됨
      CAPTCHA처럼 만들어 무료로 처리하게 할 수도 있을 것 같음. 할 수만 있다면 한 달에 몇 시간 정도는 직접 분할 작업을 하겠음
      이 프로젝트는 여기까지 오기까지 커뮤니티가 함께 만든 멋진 일인데, 두루마리를 이해하려는 인간들의 집단을 더 열고 확장하지 않을 이유가 없음. 수백만 명을 끌어들이면 기술적 목발과 개발에만 의존하지 않아도 됨. 물론 기술 개발도 나쁜 길은 아님
    • 자금 조달도 엄청 큼. 자금이 이 프로젝트를 굴리는 바퀴임. 한동안 프로젝트 사람들 근처에 있었던 입장에서 그렇다고 봄
      프로젝트 2단계, 즉 확장 단계에 보탤 수 있는 사람을 안다면 Nat에게 알려주면 좋겠음. 프로젝트 운영팀과 직접 관련은 없지만, 그쪽 연락처로 훌륭한 사람이라 가리키는 것뿐임
    • 정말 신선할 정도로 명확하고 잘 짜인 계획임. 이 프로젝트는 솔직히 많은 희망을 줌

  • 아내와 이탈리아를 여행했을 때 Herculaneum이 가장 인상적인 장소 중 하나였음
    발굴을 위해 얼마나 많은 재와 흙을 치워야 했는지 규모를 제대로 몰랐는데, 수십 미터였음 [1]
    Pompeii가 받는 관심의 일부밖에 못 받는 게 정말 아쉬움. 보존 상태는 훨씬 좋고, 진짜 경외감이 들었음 [2]
    몇 시간 동안 현장을 걸어보는 걸 강력히 추천함. 정말 놀라운 곳임
    1: https://www.icloud.com/photos/#08dJAA5eM9jpbhlEa3fzkl5ng
    2: https://www.icloud.com/photos/#076Pof4FziA7WgcI8hZrGZmzg

    • 1992년에 나온 컴퓨터 게임 Rome: Pathway to Power에서 Herculaneum을 다룬 부분을 재미있게 즐겼음
      게임은 Vesuvius가 폭발하기 전에 Herculaneum을 탈출해야 하는 노예로 시작함. 어릴 때 정말 좋아했던 게임이고, 투박한 인터페이스의 등각 시점 몰입형 시뮬레이션에 가까웠음
      그 게임 덕분에 고대 로마에 관심이 생겼고, 언젠가 Herculaneum에 가보고 싶음
    • 현대 이탈리아 도시 Ercolano가 Herculaneum 바로 위에 있어서, 고대 도시의 나머지 부분을 발굴하기가 꽤 까다로움
      지금까지 약 4분의 1만 발굴됐고, 3분의 2 정도가 드러난 Pompeii와 대조됨

  • 올해 읽은 것 중 가장 멋진 내용임. 거의 과학소설처럼 읽힘
    2,000년 된, 돌돌 말린 채 바싹 탄 종이에서 글자를 읽는 일이 가능하다고 누가 상상이나 했겠음

    • 이건 270년에 걸친 고고학과 기술의 결실임. 두루마리는 1752년에 발굴됐음
      산업혁명, 과학, 공학과 제조 역량 전체의 축적이 두루마리를 발견하고 보존하고 스캔하게 했고, 마지막에 현재의 AI 혁명이 인간의 이해를 넘어서는 추론과 연결을 만들어내는 장식처럼 얹혔음
      그렇게 2,000년 된 고대의 지혜가 튀어나온 셈임
    • 10년도 더 전에 Herculaneum Papyri를 처음 읽고, 언젠가 이것들이 읽히는 날을 상상했음
      사실 이런 두루마리를 가상으로 펼치는 연구는 2007년부터 진행 중이었지만(https://en.wikipedia.org/wiki/Herculaneum_papyri#Virtual_unr...), 이렇게 빨리 될 줄은 전혀 예상하지 못했음
      기술의 지수적 가속이 다시 한 번 사실임을 보여줌
    • “과학소설처럼 읽힌다”는 얘기가 나와서 말인데, 책들을 통째로 스캔하려고 파괴적으로 책 분쇄기 같은 장치에 넣는 소설이 뭐였는지 기억이 안 남
      책을 잘게 자르고, 그 조각들을 빨아들여 흐르는 동안 스캔한 다음, 스캔 결과를 직소 퍼즐처럼 맞춰 원문을 복원하는 장면이 있었음
      부차적 줄거리였는데 도저히 책 제목이 떠오르지 않음
    • 미래의 불확실한 부활을 기대하며 몸을 냉동 보존하는 사람들을 예전에 가볍게 dismissed했는데, 이제는 조금 흔들림
      이런 전제를 가진 과학소설이라면 꽤 끌릴 것 같음
      어떤 억만장자가 기계에 의존하는 대신 자기 몸을 건조 냉동해 달 남극 분화구에 보관함. 그리고 재단을 세워 성간 추진 연구를 지원하게 해, Boomerang Nebula의 1켈빈 지점으로 가는 길에 발견되는 가장 차갑고 안정적인 지점들로 몸을 옮기고, 바싹 탄 상태에서 되살리는 연구도 계속하게 함
      그 재단은 임무를 완수하려는 돈키호테식 목표 때문에 실용 핵융합, 더 이국적인 에너지 생성, 범용 인공지능, 중력 조작, Drexler식 나노기술, Dyson swarm, star wisps, 자기 수정 신체 같은 온갖 발전을 촉발함

  • 고고학에서 정말 매력적인 면 중 하나는 일부 유물을 일부러 탐사하지 않고 남겨두는 관행임
    처음 두루마리를 발견한 사람들은 몇 개를 펼치려다, 완전히 파괴하지 않고는 불가능하다는 걸 깨닫고 나머지는 그대로 둔 것 같음
    밀어붙여 전부 망가뜨리는 대신, 미래 시대를 위한 미스터리로 남겨둔 셈임
    두 세기 뒤에야, 그들이 전혀 상상할 수 없었을 기술의 도움으로 마침내 이것들을 이해하기 시작할 수 있게 됨

    • 초기에는 밀어붙였어도 아무것도 얻지 못했을 테니, 그만두는 데 그렇게 엄청난 자제력이 필요하지는 않았을 것 같음
      오히려 1990년대나 2000년대 초 사람들에게 더 감탄함. 그때는 가능성이 있었을지도 모르지만 여전히 위험이 너무 커서, 더 안전한 확률이 될 때까지 참았음
    • 그 시대의 한 특징은 사람들이 로마인을 거의 숭배했다는 것임
      당시 교육의 상당 부분은 라틴어 학습이었고, 동시에 고전 텍스트 중 극히 일부만 보존됐다는 사실도 잘 알고 있었음
      그래서 이 두루마리를 보존하고 언젠가 열어볼 수 있게 하는 일이 얼마나 중요한지 이해했을 가능성이 매우 그럴듯함
    • 같은 일을 거시적 규모에서 보여주는 예가 있음: https://www.smithsonianmag.com/smart-news/archaeologists-reb...
    • 마찬가지로 Pompeii의 큰 구역들도 아직 발굴되지 않은 채 미래를 위해 남겨져 있음

  • Naples에 있는 두루마리들에는 16MB가 넘는 텍스트가 들어 있을 것으로 추정된다니 놀라운 성과임
    파피루스학 팀 일부는 이 텍스트가 공개되면 르네상스 이후 고전학에서 가장 큰 혁명이 될 거라고 본다는데, 이탈리아 정부가 Villa의 추가 발굴을 허용해주길 바람

    • 아마 허용할 가능성이 큼. Pompeii와 Herculaneum은 두 세기 뒤인 지금도 계속 발굴 중이고, 상황이 멈춰 있는 건 아님
      다만 우리는 이 두루마리의 5% 만 읽었고 이미 발굴된 것도 엄청 많아서, 지금 가진 것만 처리하는 데도 아마 몇 년은 걸릴 것임
    • 큰 문제는 Villa of the Papyri가 현대 건물들 아래에 있다는 것임
      철거 없이 발굴이 불가능하다는 뜻은 아니지만, Saint Peter 대성당 아래의 Scavi처럼 사례는 있어도 훨씬 더 어려워짐

  • 원래 돌파구가 된 모델이 GTX 1070에서 학습됐다는 점까지 포함해 정말 대단한 작업임: https://twitter.com/LukeFarritor/status/1754532281690243339

    • 대형 언어 모델 때문에, 기계 학습으로 유용한 일을 하는 데 필요한 연산량에 대한 감각이 왜곡됐음

  • 관련 글들:
    First word discovered in unopened Herculaneum scroll by CS student - https://news.ycombinator.com/item?id=37857417 - 2023년 10월, 댓글 207개
    The Vesuvius Challenge - https://news.ycombinator.com/item?id=35322809 - 2023년 3월, 댓글 32개
    Vesuvius Challenge - https://news.ycombinator.com/item?id=35169869 - 2023년 3월, 댓글 32개

답변달기