CS 학생, 미개봉 헤르쿨라넴 두루마리에서 2,000년 만의 첫 단어 발견

 (scrollprize.org)
1P by GN⁺ | ★ favorite | 댓글 1개
  • 79년 베수비오 화산 폭발로 탄화된 헤르쿨라넴 두루마리는 열면 부서질 만큼 취약했지만, CT 스캔과 머신러닝으로 내부 글자를 읽을 수 있다는 가능성이 확인됨
  • Vesuvius Challenge 참가자 Luke Farritor는 미개봉 두루마리 안에서 온전한 단어를 찾아 $40,000 First Letters Prize를 받음
  • 발견된 단어는 고대 문자 ΠΟΡΦΥΡΑϹ로, 현대 표기 “porphyras”이며 “보라색”을 뜻하지만 문맥과 단어 경계는 아직 확정하기 어려움
  • Casey Handmer의 crackle pattern 발견이 Luke와 Youssef Nader의 모델 개선으로 이어졌고, Youssef는 같은 영역에서 더 선명한 독립 결과로 $10,000 2등상을 받음
  • 공개 경쟁, 오픈소스 도구, 세그먼테이션 작업이 맞물리며 $700,000 Grand Prize 달성이 현실적인 목표로 가까워짐

2,000년 동안 열 수 없던 두루마리에서 나온 첫 단어

  • 헤르쿨라넴 파피루스는 폼페이 근처 개인 빌라의 도서관에 있던 고대 두루마리로, 서기 79년 베수비오 화산 폭발 때 묻히고 탄화됨
  • 이 도서관은 고대부터 현존한 유일한 도서관으로, 약 2,000년 동안 화산 진흙 20m 아래에 묻혀 있었음
  • 1700년대에 발굴됐지만 두루마리는 잘못 다루면 가루가 될 만큼 취약해, 물리적으로 펼쳐 읽기 어려웠음
  • Luke Farritor는 2023년 8월 미개봉 두루마리 내부에서 온전한 단어를 본 첫 사람이 됐고, $40,000 First Letters Prize를 받음
    • 이 상은 두루마리의 4cm² 영역에서 최소 10자를 찾아야 받을 수 있음
  • Youssef Nader도 같은 영역에서 같은 단어를 독립적으로 발견했고, 더 선명한 결과로 $10,000 2등상을 받음
  • 공개된 코드는 Luke, Youssef GitHub에서 볼 수 있음

CT 스캔, 정답 데이터, Vesuvius Challenge의 출발점

  • 2019년 University of Kentucky EduceLab의 Brent Seales 교수는 입자 가속기로 헤르쿨라넴 두루마리를 촬영해 최대 4µm 해상도의 3D CT 스캔을 생성함
  • 연구팀은 눈에 보이는 잉크가 남은 분리 조각도 스캔하고 사진으로 기록해 정답 데이터셋을 마련함
  • Stephen Parsons는 분리 조각의 CT 스캔에서 머신러닝으로 잉크를 감지하는 작업을 했고, 분리 조각에서는 성과를 얻음
  • Nat Friedman과 Daniel Gross는 이 진전을 가속하기 위해 Vesuvius Challenge를 시작함
    • 2023년 3월 공개 경쟁을 열었음
    • $700,000 Grand Prize와 함께 오픈소스 도구·기술 개발을 위한 여러 소규모 상을 제공함
  • 초여름부터 세그먼테이션 팀이 합류해 두루마리의 3D 구조를 매핑했고, 7월까지 수백 cm²의 파피루스를 세그먼트화해 가상으로 펼침

Casey Handmer가 찾은 잉크 신호

  • Casey Handmer는 2023년 8월 초 CT 스캔 세그먼트를 오래 관찰하다가 잉크처럼 보이는 crackle pattern을 발견함
  • Stephen Parsons가 이전에 분리 조각에서 잉크의 직접 증거를 봤지만, 미개봉 두루마리 내부에서는 아직 확인되지 않았음
  • Casey는 미개봉 두루마리 안에서 잉크와 글자를 찾은 2,000년 만의 첫 사람이 됨
  • 이 발견은 Luke의 모델과 Youssef의 접근 모두에 직접적인 출발점이 됐고, Casey는 $10,000 First Ink Prize를 받음

Luke Farritor의 모델과 “porphyras”

  • Luke Farritor는 대학생이자 SpaceX Starbase 여름 인턴으로, Dwarkesh Patel의 Nat Friedman 인터뷰를 통해 Vesuvius Challenge를 알게 됨
  • Discord에서 Casey의 crackle pattern 논의를 본 뒤, 저녁과 밤 시간을 써서 이 패턴을 학습하는 머신러닝 모델을 훈련함
  • 새로운 crackle이 발견될 때마다 모델이 개선되고, 개선된 모델이 다시 더 많은 crackle을 드러내는 반복 사이클이 만들어짐
  • 모델은 몇십 개의 잉크 획과 일부 완전한 글자를 찾아냈고, 이들은 학습용 라벨 데이터로 사용됨
  • 시간이 지나면서 모델은 사람 눈으로 보이지 않는 crackle 흔적까지 드러냈고, 이 흔적이 글자와 단어의 단서가 됨
  • Luke의 첫 제출물에는 ΠΟΡΦΥΡΑϹ, 즉 “porphyras”가 희미하게 나타남
  • Brent Seales 교수가 이 이미지를 파피루스학자들에게 보여주자, 이들은 희미한 글자임에도 즉시 “porphyras”를 읽음
  • 기술 검토 뒤 새 이미지를 파피루스학자 패널에 보냈고, 이들은 독립적이고 만장일치로 13자를 주석 처리함
    • 신뢰도는 80% 초과, 50~80%, 50% 미만으로 구분됨
  • “porphyras”는 “보라색”을 뜻하며 고대 문헌에서 매우 드문 단어임
  • 한 파피루스학자는 문맥 부족 때문에 명사 “보라색 염료 또는 보라색 천”인지, 형용사 “보라색”인지, 또는 다른 단어 경계인지 배제할 수 없다고 봄
  • 당시 문헌은 공백을 쓰지 않았기 때문에 단어 경계 판단이 더 어려움

Youssef Nader의 독립적 접근

  • Youssef Nader는 베를린의 이집트인 바이오로보틱스 대학원생으로, Casey와 Luke의 결과에 자극을 받아 다른 방법을 시도함
  • 먼저 Kaggle Ink Detection prize의 우승작들을 검토함
    • 이 대회는 Stephen Parsons의 분리 조각 기반 머신러닝 접근을 개선하는 데 초점을 뒀음
  • Youssef는 두루마리 데이터에 대한 비지도 사전학습과 조각 라벨 기반 미세조정으로 모델을 두루마리에 맞게 이전함
  • “Ink Detection Followup Prize” 아이디어로 작은 상을 받은 뒤, Luke의 초기 결과가 X와 Discord에 공유되자 같은 영역에 집중함
  • Kaggle 경쟁에서 변형한 모델로 몇몇 글자를 찾았고, Casey 방식처럼 crackle을 수작업으로 찾지는 않았음
  • 글자처럼 보이는 형태를 라벨 데이터로 주석 처리하고, 이를 반복적인 pseudo-labeling으로 확장함
  • 최종 모델은 내부 두루마리 세그먼트만으로 학습됐고, 이 결과로 First Letters Prize 2등을 확보함
  • 파피루스학자들은 Youssef의 결과에서 글자에 더 강한 합의를 보였고, 위쪽의 πιθαν 단어 “ανυοντα / ANYONTA”, 아래쪽의 “ομοιων / OMOIωN” 가능성까지 검토함
  • 이 단어들이 맞다면 해당 파피루스 두루마리는 현대 세계에 알려지지 않은 완전히 새로운 텍스트를 담고 있을 가능성이 있음

공개 경쟁과 오픈소스가 만든 연결고리

  • 여러 사람의 기여가 발견의 경로에 직접 연결되면서, competition + open source와 단계별 상금 구조가 실제로 작동한 사례가 됨
  • Youssef는 Kaggle 경쟁 모델을 활용했고, Luke의 결과에서 영감을 받아 같은 영역을 살폈음
  • Luke의 crackle 탐색은 Casey의 작업에서 직접 출발함
  • Casey는 세그먼테이션 팀이 수백 cm²를 매핑해 둔 덕분에 많은 파피루스 시트를 살펴볼 수 있었음
  • 세그먼테이션 팀은 Segmentation Tooling Prizes 참가자들이 만든 도구 덕분에 넓은 영역을 매핑할 수 있었음
    • Julian Schilliger, Chuck, Yao Hsiao 등 여러 참가자의 작업이 포함됨
  • 이 도구 개선은 Brent Seales 팀의 기존 오픈소스 도구 위에 만들어짐
    • Seth Parker, Stephen Parsons 등 여러 사람의 작업이 기반이 됨
  • 지금까지의 경과를 보면 대회 운영의 거의 모든 요소가 load-bearing 역할을 했고, 진전은 사후적으로 보이는 것보다 더 취약하고 우연적일 수 있음

$700,000 Grand Prize를 향한 다음 단계

  • 세그먼테이션 팀과 참가자들은 계속 진전을 내고 있으며, Youssef의 모델은 며칠 전 더 선명하고 큰 새 이미지를 생성함
  • 새 이미지에서는 여백으로 구분된 4.5개 열의 텍스트를 명확히 볼 수 있음
  • 더 많은 글자가 보이지만 모두 즉시 판독 가능한 것은 아니며, 파피루스학 팀이 추가로 조사 중임
  • Vesuvius Challenge는 이번 진전이 $700,000 Grand Prize를 달성 가능한 목표로 만들었다고 봄
  • 참여자는 Discord 커뮤니티, Substack 뉴스레터, X 계정을 통해 합류할 수 있고, 데이터와 튜토리얼, 수상자 작업, 커뮤니티 도구를 살펴보며 시작할 수 있음
  • 목표는 수백 개의 두루마리 속 지식을 열고, 고대 문헌의 양을 두 배로 늘리며, 아직 발굴되지 않은 수천 개의 두루마리까지 읽을 가능성을 여는 것임

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들
  • 글자는 CT 스캔의 파피루스 조각에서 그리스 문자 모양으로 보이는 균열 질감을 찾아 훈련 데이터로 주석 달면서 발견됐음
    다만 그런 균열 질감은 대부분의 파피루스에서는 육안으로 보이지 않고, 아마 잉크가 매우 두껍게 묻은 곳에서만 그렇게 보이는 듯함
    전자현미경 이미지 https://scrollprize.org/img/tutorials/sem.png에서는 질감 차이가 훨씬 잘 보이고, 특히 잉크가 밀려난 가장자리에서 두드러짐
    Kaggle 잉크 탐지 대회 이후에야 균열이 발견됐다는 게 놀라움. Casey Handmer도 https://caseyhandmer.wordpress.com/2023/08/05/reading-ancien...에서 알려진 문자 잉크와 대응하는 “갈라진 진흙”·“박편” 질감을 찾았지만, 알려진 문자 중 약 10%뿐이었다고 썼음
    새 이미지는 기대보다 훨씬 좋지만 아직 작은 영역 하나뿐이라, 이상한 문장 몇 개 이상을 읽을 수 있을지는 여전히 비관적으로 봄
    • 챌린지에 잠깐 참여했을 때 비슷한 접근을 했지만, 균열 자체를 찾기보다는 그 “갈라짐” 효과가 양피지의 여러 틈을 지나는 데이터 절편이고, 잉크 데이터가 그 휘어지고 갈라진 다양체 위에 놓인다고 추정했음
      모든 글자가 사람 눈에 명확히 보이진 않을 텐데, 스캔 이미지에는 층이 아주 많아서 이미지를 넘겨 보며 시간이 지나야 패턴이 나타나기 시작한다고 봄
      각 픽셀 열을 위아래로 쌍선형 보간해 이미지 블록을 “정렬”하고 균열 질감을 평평하게 만드는 식으로, 기억상 전체 분산 손실을 최소화하는 코드를 짰음
      그 뒤 “평탄화된” 이미지에 최적화된 2D 합성곱 신경망을 쓰려 했고, 두루마리 단면을 보면 나무처럼 국소적으로 눌림이 일관된 부분이 있어 보간으로 충분할 수도 있다고 생각했음
      그래서 이 문제에 3D 합성곱을 쓰는 데는 별로 동의하지 않았음. 바르고 마른 잉크는 2D 합성곱으로 감지 가능한 반쯤 예측 가능한 패턴을 따를 것이고, 원하는 불변성은 사전에 더 쉽게 구조화할 수 있다고 봄
      코드에 관심이 있으면 찾아서 공유할 수 있음
  • Nat의 Twitter 발표도 볼 만함: https://twitter.com/natfriedman/status/1712470683207532906
    70만 달러는 인생을 바꿀 만한 돈이라, 모든 걸 내려놓고 현대 기계학습으로 고대의 깨달음을 추구하는 수도승처럼 몰입하고 싶은 유혹이 듦
    두루마리가 그냥 세탁물 목록일 수도 있다는 점도 웃김
    • 이 방법이 확장 가능해지면 이후 읽을 수 있는 두루마리가 600개 이상 있음
      게다가 “발굴은 완료되지 않았고, 많은 역사학자는 수천 개의 두루마리가 더 지하에 남아 있다고 믿는다”고 함: https://scrollprize.org
    • 아니면 고객 불만일 수도 있음: https://www.thearchaeologist.org/blog/complaint-tablet-to-ea...
    • 아마 세탁물 목록은 아닐 가능성이 큼. 겉면에서 읽을 수 있었던 두루마리부터 시작한 것으로 보이고, 그것들은 그리스 스토아 철학의 소품으로 알려져 있음
      세탁물 목록이라면 값비싼 파피루스가 아니라 재사용 가능한 밀랍판에 썼을 것임
    • 아마 황제에 대한 언급일 가능성이 있음. 보라색 천은 극히 희귀하고 비쌌으며 황제들이 입던 색이었음
      나중에는 황제 가문 밖의 사람이 보라색을 입는 것이 사형죄가 되기도 했고, 베수비오 화산 시점에도 그랬는지는 모르지만 Wikipedia는 Caligula가 보라색을 입었다는 이유로 누군가를 죽였을 수도 있다고 함
    • 70만 달러 중 절반 정도는 세금으로 나갈 듯함
  • 고전 문학에 입문해 보길 강력히 추천함. 정말 놀랍고 상상을 넘어서며, 교육 과정에서 조금 접했지만 최근에야 그 대단함을 알게 됐음
    초심자에게는 Iamblichus의 Life of Pythagoras, Apuleius of Numenia의 The Golden Ass(Robert Graves 번역), Plutarch의 Life of Alexander, Xenophon의 Education of Cyrus, Plato의 Parmenides를 추천함
    SHWEP.net도 많은 고전을 부드럽지만 엄밀하게 안내해 줘서 매우 유용했고, 비교적 밀교적인 방향을 띠는데 그 점도 마음에 듦
    • 왜 그렇게 놀랍고 상상을 넘는다고 느끼는지 조금 더 설명해 주면 좋겠음
      고전 문학을 몇 번 건드려 봤지만 늘 읽기 어려워서 끝까지 읽을 동기가 잘 안 생겼고, 이 장르에서 내가 놓치는 게 있는지 궁금함
    • Life of Pythagoras는 내 삶에 큰 영향을 줬음. 피타고라스가 진리를 찾는 데 100% 헌신하고, 겸손하게 전 세계를 다니며 지식·수행·기술을 모으고, 많은 것을 시도한 뒤 삶의 큰 부분을 가르침에 쓴 방식에서 큰 영감을 받았음
      피타고라스는 아마 역사상 가장 위대한 철학자였을 것임. 그의 정신적 후예인 Archytas도 읽어보길 추천하며, 수학·역학·음악·학습·철학에 대한 생각이 놀라움
    • Plato 입문작으로 Parmenides는 추천하지 않음. 그의 대화편 중에서도 가장 어려운 축에 듦
      가장 좋은 Plato 입문으로는 Alcibiades를 권하고 싶음. 즐겁게 읽을 만큼 가볍지만 동시에 깊고 심오함: https://www.gutenberg.org/ebooks/1676
    • 이제 말뭉치 규모가 폭발적으로 늘어날 수도 있음. 기사에 따르면, 이 단어들이 정말 우리가 생각하는 것이라면 이 파피루스 두루마리에는 현대 세계가 본 적 없는 완전히 새로운 텍스트가 들어 있을 가능성이 큼
    • 독일어판 Life of Pythagoras가 있는지 궁금함. 이유는 모르겠지만 찾을 수 없고, Amazon에 자동 번역 같다는 리뷰 하나뿐인 책만 보임
  • 이 주제에 관한 훌륭한 YouTube 영상을 최근 봤음: https://www.youtube.com/watch?v=Z_L1oN8y7Bs
    제목은 “Herculaneum scrolls: A 20-year journey to read the unreadable”이고, 어떤 기술로 이뤄졌는지 조금 다룸
    스캔은 10년 전부터 있었지만 종이와 그 위의 잉크를 구분하려면 기계학습 훈련이 필요했고, 20년 전에는 대비가 더 큰 재료로 된 다른 두루마리 세트에서 이미 가능했음
    딥러닝이 이전에는 알고리즘으로 풀 수 없다고 여겼던 데이터셋의 암호를 풀고 있음
    • 그 설명은 꽤 오해의 소지가 있음. 실제 돌파구는 육안 검사로 패턴을 찾고, 그것을 더 나은 훈련 데이터로 쓰는 방식이었음
      지금까지는 눈으로 보기 너무 어려운 글자를 많이 찾은 것도 아닌 듯함
      원문에서 모델 출력이 안내하는 수작업 주석, 추가 데이터로 모델 재훈련을 반복하는 과정을 읽어보면 흥미롭다
      처음부터 사용 가능한 정답 데이터만으로 딥러닝을 돌리고 모델이 봐야 할 특징을 모르면 사실상 거의 작동하지 않았음
      게다가 두루마리를 가상으로 펼치는 과정도 현재는 대부분 수작업이고 노동집약적임
    • 이건 매우 오해를 부름. 발견 자체를 한 것은 딥러닝이 아니라 수작업 탐색이었음
      지금은 여기서 사람이 한 일을 딥러닝 모델이 하도록 시도 중이지만, 아직 실제 글자를 찾아내는 데 성공하지 못한 상태임
  • 이건 21세기에 투탕카멘 무덤 개봉을 겪는 것과 비슷함
    중기적 미래에는 수천 년 동안 아무도 읽지 못한 새 번역 작품을 Amazon에서 살 수 있을 현실적 가능성이 있다는 게 믿기지 않을 만큼 놀라움
  • 정말 멋짐. 여기서 무엇을 배우게 될지 궁금함
    여담으로 “입자가속기에서 스캔 중인 Professor Seales와 팀” 사진은 TV 드라마 장면 같음. “컴퓨터에 계속 ‘enhance’라고 말하면 읽을 수 있을 거야” 같은 느낌임
  • 내가 본 것 중 가장 극단적인 데이터 복구 사례 중 하나로 꼽힐 만함
    2000년 뒤에는 “버려진 하드디스크 플래터에서 발견된 최초의 파일” 같은 일이 벌어질지도 궁금함
  • 이 인터뷰의 앞 30분이 지금 무슨 일이 벌어지는지 아주 잘 설명해 줌. 정말 흥미로움
    https://youtu.be/qcvMjoJdck4?si=RL1WnAAj4loS1D2s
  • “ex-JPL startup founder and polymath”라는 표현이 흥미로움
    다재다능한 인간이라는 이유로 그런 찬사를 받아본 적은 없고, 내가 받은 건 “제너럴리스트”와 “심사숙고 끝에 귀하의 지원 절차를 진행하지 않기로 했습니다”였음
    • 진짜 박식가들은 보통 그런 식으로 불리는 걸 피하는 듯함
      인정받기로 마음먹어도 “충분히 유명하지 않다”는 용서받을 수 없는 죄 때문에 밀려나는 모습을 봤음
  • https://scrollprize.org/가 원래의 도전 과제를 설명해 줌
    다른 연구에서는 CT 스캔 기반 가상 펼치기가 가능하다는 점을 보였지만, 이 두루마리들은 CT/X선에서 잉크가 뚜렷하게 보이지 않았기 때문에 더 미세한 구조 변화로 돌아가야 했음
    종이 구조가 바뀐 것인지, 실제 잉크가 보이지만 덜 보이는 것인지는 확실하지 않음
답변달기