미 국립문서보관소, 필기체 역사문서 해독 도와줄 시민 찾는 중

 (smithsonianmag.com)
1P by GN⁺ | ★ favorite | 댓글 1개
  • 미국 National Archives에는 200년 넘은 필기체 역사 기록이 많아, 검색·열람 가능한 디지털 문서로 바꾸는 시민 참여가 필요함
  • 매년 수천만 건을 디지털화하고 AI·OCR도 쓰지만, 오래된 손글씨 문서에서는 인식 실패와 오류가 남아 사람이 보완해야 함
  • Citizen Archivist 참여자는 별도 지원 절차 없이 기록 전사나 태깅을 맡아 문서의 접근성과 검색성을 높일 수 있음
  • 현재 5,000명 이상이 참여 중이며, Revolutionary War 연금 파일과 1866~1870년 직원 계약서 같은 문서 묶음이 진행 중임
  • 필기체 교육은 키보드 교육과의 우선순위를 두고 논쟁이 있지만, 20개 이상 주가 학교 필기체 교육을 요구하며 일부 주는 2024년에 법제화함

200년 된 필기체 기록을 시민이 함께 해독

  • National Archives에는 200년 이상 된 문서를 포함해 필기체로 쓰인 역사 기록이 많음
  • 이런 문서는 읽고 이해하기 어렵고, 특히 학교에서 필기체를 배우지 않은 미국인에게 장벽이 됨
  • Citizen Archivist 프로그램은 디지털 문서를 더 접근 가능하게 만들어 “역사를 열어주는” 것을 목표로 함

AI와 OCR만으로는 부족한 역사 문서

  • National Archives는 매년 수천만 건의 기록을 디지털화함
  • 역사 문서에서 텍스트를 추출하기 위해 AI와 광학 문자 인식(OCR) 기술을 사용함
  • 그러나 오래된 필기체와 문서 상태 때문에 이런 방식이 항상 작동하거나 정확한 결과를 내지는 못함
  • 자원봉사자의 전사는 학자, 계보 연구자, 역사 애호가가 문서를 더 쉽게 찾고 읽는 데 도움을 줌

참여 방법과 맡을 수 있는 작업

  • 시작에는 별도 지원서가 필요 없고, 아직 처리되지 않은 기록을 고른 뒤 안내를 따라 작업하면 됨
  • 프로그램은 무료이며 인터넷 연결이 있는 누구에게나 열려 있음
  • 필기체 해독에 자신이 없어도 참여할 수 있음
    • 다른 자원봉사자가 전사한 문서에 태그를 붙이는 작업이 있음
    • 태깅은 기록의 검색성을 높이는 역할을 함
  • 참여 시간은 자유로워, 하루나 일주일에 30분 정도만 써도 작업 가능함

진행 중인 임무와 장기 참여 사례

  • 5,000명 이상이 Citizen Archivist 프로그램에 참여함
  • 많은 참여자가 전사와 태깅이 필요한 문서 묶음인 임무(missions) 에서 작업 중임
  • 현재 임무에는 Revolutionary War 연금 파일과 1866~1870년 직원 계약서가 포함됨
  • Revolutionary War 임무는 2023년 6월 National Park Service와 함께 시작됐으며, 80,000명 이상의 참전용사와 그 미망인 관련 파일을 다룸
  • Pennsylvania의 은퇴자 Alex Smith는 9년 동안 100,000건 넘는 문서를 전사함
    • 그는 은퇴 생활에 목적과 구조를 줄 일을 찾고 있었음
    • 전사 과정에서 Gerald Ford에게 Green Bay Packers 합류를 제안한 메모, Civil War 연금 기록 같은 문서를 접함

다시 주목받는 필기체 교육

  • 필기체 교육은 한때 표준이었지만, 지금은 필기체와 키보드 기술 중 무엇을 강조할지를 두고 교육자와 입법자 사이에서 의견이 갈림
  • 노트북과 태블릿 같은 기기가 널리 쓰이는 가운데도 필기체 교육은 다시 늘어나는 흐름임
  • Education Week에 따르면 현재 20개 이상 주가 학교에서 필기체를 가르치도록 요구함
  • California에서는 필기체 교육을 의무화하는 법이 2024년 1월 시행됨
  • 몇 달 뒤 Kentucky에서도 필기체 교육을 요구하는 법이 통과됨

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 흥미로운 프로젝트인데, 참여하기는 정말 어렵게 만들어놨음
    글에는 해당 미션으로 바로 가는 링크가 없고, 가입 자체는 쉽고 잘 정리돼 있으며 2단계 인증 두 가지를 은근히 요구함
    가입을 마치고 원래 페이지로 돌아가 미션을 찾으려면 조금 묻혀 있고, 문서를 열어 읽어보는 건 흥미로웠음. 당시 사람들 필체가 대체로 꽤 좋았음
    그런데 전사를 어떻게 시작하는지 찾다 보면 다시 로그인 안 됐다고 나오고, 링크를 누르면 또 메인 페이지로 돌아감
    이런 프로젝트에 남는 시간을 보태고 싶지만, 잘못 설계된 인터페이스를 통과해야만 자원봉사를 할 수 있어서는 안 됨

    • 페이지에 삽입된 소셜 게시물이 모든 안내가 있는 페이지로 직접 연결돼 있었음
      계정을 만들고 로그인한 뒤 원래 탭에서 주를 선택하니 바로 들어가서 전사를 시작할 수 있었음
      혹시 uBlock Origin이나 JavaScript/쿠키 제한 때문에 로그인 상태가 꼬인 건 아닌지 궁금함
      소셜 게시물에 있던 미션 직접 링크는 https://www.archives.gov/citizen-archivist/missions/revoluti...임
    • 지난주에 기여하려고 했을 때 완전히 같은 경험을 했음
      여러 세션과 브라우저를 오가며 약 30분을 시도한 끝에 겨우 로그인했고, 무엇이 맞고 틀렸는지 알려주는 표시가 전혀 없었음
      로그인에 성공해도 UI 변화가 거의 없어서 성공했다는 사실도 놓치기 쉬움
      로그인한 뒤에는 전사할 문서를 찾는 데 또 45분을 썼는데, 찾거나 챌린지에서 받은 문서마다 이미 전사됐거나 타자 문서/목록이라 문자 인식이 이미 그럭저럭 처리한 상태였음
      몇 개 문서의 정확도만 검토하고 브라우저를 닫은 뒤 다시 가지 않았음
      하루 15~30분 정도 일하다 쉬는 시간에 십자말풀이를 하거나 영상을 보는 대신 열어 기여할 수 있기를 기대했는데, 쓰기 너무 어려워서 아쉬움
    • “2단계 인증 두 가지를 은근히 요구한다”니, 왜 그래야 하는지 모르겠음
      은행 정보를 넣는 것도 아닌데, 전체 과정이 여러모로 귀찮아 보임. 중요하지 않은 사이트들이 마치 증권사처럼 2단계 인증을 요구하는 데 점점 질림

  • “왜 그냥 LLM을 쓰지 않느냐”고 묻기 전에, 글에서 이미 그걸 쓰고 있지만 항상 가능한 해법은 아니라고 분명히 말함

    기관은 역사 문서에서 텍스트를 추출하기 위해 인공지능과 광학 문자 인식이라는 기술을 사용한다. 하지만 이런 방법이 항상 작동하는 것은 아니며, 항상 정확한 것도 아니다.
    맨 위 문서는 사람들이 가입하고 시작하도록 유도하는 예시라서 특히 읽기 쉬운 문서일 가능성이 큼
    National Archives가 사람들이 살펴보길 원하는 전체 문서 폭을 대표하지는 않을 것임

    • 그렇다 해도, 이 글에서 LLM이 어려워할 만한 문서를 하나라도 찾을 수 있나? 가장 난해해 보인 것도 4o가 즉시 처리했고, 이미지를 다시 꼼꼼히 대조해보니 납득됐음
      크라우드소싱 프로젝트라면 먼저 LLM으로 1차 전사를 하고, 사용자에게 이미지와 최선의 LLM 결과를 같이 보여주면 되지 않나 싶음
      나중에 가입해서 현재 미션을 봤더니 전부 1900년 이후 문서이고 조판된 것처럼 보였음. 흐릿하긴 하지만 4o는 아주 쉽게 읽어냈음
    • 최신 기성 LLM이 충분히 좋은지는 이 대목 덕분에 꽤 직선적으로 확인할 수 있음
      “펜실베이니아의 은퇴자 Alex Smith처럼 몇몇 참가자는 이 프로그램에 삶의 수년을 바쳤다. 그는 9년 동안 10만 건 넘는 문서를 전사했다”
      여러 LLM에 같은 10만 건 문서를 전사하게 하고, 인간과 기계 중 누가 얼마나 더 정확한지 비교하면 됨
    • 비범한 주장에는 비범한 증거가 필요하다는 말이 떠오름
      제시된 증거가 겉보기엔 쉽게 전사되는 이미지 하나라서 설득력이 약함
    • “AI와 OCR”이라고 나눠 말하는 게 너무 거슬림
      사기꾼들이 AI 분야를 너무 완전히 점령해버려서 이제 OCR이 별개로 취급되는 상황이 안타까움
    • 그래도 AI와 인간 노력을 결합하는 방식은 타당해 보임

  • 1814년에 한 여성이 당시 국무장관이던 James Monroe에게, 사망한 오빠의 재산을 받으러 스코틀랜드에 가기 위한 여권을 요청하는 편지 한 통을 전사해봤음
    정말 색다른 경험이었고, 글쓴이의 필체와 “동기화”되고 나면 흐름에 들어가는 게 즐거웠음
    게다가 전사하는 내용을 한 단어씩 읽고 다시 쓰게 되기 때문에, 읽은 이야기들이 기억에 아주 강하게 남음
    한 페이지에 비정상적으로 많은 시간을 쓰니 놀라운 일은 아니지만, 나중에 떠올리려 할 때 반가운 부작용임

    • 짧은 이야기를 번역하면서 언어를 배우기로 했을 때 비슷한 점이 즐거웠음
      물론 문체를 존중할 만한 작가를 골라야 함. 목표 언어에 익숙하지 않으면 작가의 어휘 선택과 전달하려는 뉘앙스를 곱씹고, 영어에서 적절한 표현을 찾게 됨
      그만큼 이미지 속에 오래 잠겨 있게 됨
    • 이 기법이 나에게도 통했으면 좋겠음
      뭔가를 그대로 전사해도 내가 뭘 썼는지 전혀 모르겠고, 실제로 의미를 파악하려면 다시 돌아가 읽어야 함
    • 누군가의 필체와 “동기화”된다는 발상이 마음에 듦

  • OCR/LLM을 흔들림 없이 신뢰하는 쪽과, 아직 기술이 거기까지 못 갔다고 보는 쪽 모두 부분적으로는 맞지만 서로를 잘 듣지 못하는 듯함
    근거 없는 논쟁 대신 실제 예시와 공통된 결론을 찾는 시도가 필요함
    상투적인 문구를 처리해 노력을 크게 줄이는 데 쓸 수 있나? 그렇다. 결과를 사람이 검토하고 교정해야 하나? 역시 그렇다
    미묘한 예시는 여기 있음: https://catalog.archives.gov/id/34384201?objectPage=40
    o1-pro가 만든 전사 중 하나는 다음과 같음
    (2)
    …and I don’t know whether it can be reset for a
    date in December or not. Cornell seemed
    anxious that it should not come up too close to Christmas,
    and of course new suspicion [would be aroused?] [about?] him.
    I will take this up with the Judge as soon as I can get rid of the brief.
    Meanwhile I would like to know whether there is anything else
    in which I can be useful to you, since it behooves me
    in ways of uncomfortable relations with the present management.
    Are you going East in December?
    Has any word come from Hagerman?
    Were there any noteworthy developments at the hearings
    on the [Teapot?] trial?
    I have no inclination yet whether Wheeler will be wanted in
    Washington, but the chances are that he will not.
    With regards to all the brethren and [flock?], I am
    very sincerely yours,
    George A. H. Fraser
    영어 원어민이 아닌데도 틀린 부분이 보임. 틀린 곳을 찾는 건 독자에게 남기겠지만, 적어도 Teapot trial은 아님
    이 예시에서는 GPT-4o가 좀 더 잘했고, “New Mexican practise” 부분에서만 실패했음

    • https://www.handwritingocr.com 결과는 더 정확해 보였고, 특히 New Mexican과 아마 다른 부분도 대부분 맞힘

      and I don't know whether it can be reset for a date in December or not. Cornell seemed anxious that it should not come off too close to Christmas, and of course New Mexican practice would support him. I will take this up with the Judge and with Hanna the moment I can get rid of the brief. Meanwhile I would like to know whether there is anything else in which I can be useful to you, since it behooves me to be diligent in view of uncomfortable relations with the present management.
      Are you going East in December?
      Has any word come from Hagerman?
      Were there any noteworthy developments at the hearings on the Tenorio tract?
      I have no intimation yet whether I will be wanted in Washington, but the chances are that I will not.
      With regards to all the brethren and flock, Dan
      Very sincerely yours,
      George H. H. Baser
    • 댓글이 맥락 안에 보이도록 답글 기능을 쓰는 게 좋겠음
      그리고 링크가 잘못된 페이지로 감. 올바른 링크는 https://catalog.archives.gov/id/34384201?objectPage=190임
    • “Teapot trial”이 완전히 터무니없는 건 아님: <https://en.wikipedia.org/w/index.php?title=Teapot_Dome_scand...>
    • OCR과 LLM을 “흔들림 없이” 신뢰하는 건 아님

  • 금요일 밤을 반쯤 생산적인 일에 쓸 무언가를 찾고 있었는데 딱 좋음
    더 진지하게 말하면, 보관된 뒤 아무도 손대지 않은 편지와 일기를 전사하는 프로젝트를 해보는 건 정말 멋진 느낌임
    물리적 문서 앞에 직접 서 있는 것만 제외하면, 글쓴이와 그 시점 사이의 거리가 거의 사라지는 느낌임
    특히 누군가가 뭔가를 지우거나 실수한 흔적을 보면 왜 그랬을지 상상하게 됨. 친구가 문 앞을 지나가다 놀라게 했을까? 창밖을 보다가 산만해졌을까? 아주 가깝고도 멀게 느껴짐

  • 훈련 자료에 목말라 있는 대형 AI 회사들이 이런 일에 조금 보태면 되지 않나 싶음
    벤처 자금 몇 푼을 써서 공익에도 기여하고, 고품질 훈련 데이터도 얻을 수 있지 않나?

  • 의대에 도움을 요청해야 할 듯함 ;)
    우리 가족은 전부 Ivy League 출신인데, 내가 본 것 중 최악의 필기체를 씀
    여동생이 보낸 크리스마스 카드를 읽는 데 한 시간이 걸릴 때도 있음

    • 약사들이 그 처방전을 어떻게 읽는지 항상 궁금했음
      대학에서 그런 걸 배우는 과목이 따로 있었을 것 같음

  • 필기체 읽기 연습을 하고 싶어서 한번 해보고 싶음
    손으로 쓰는 일을 많이 하고, 모든 노트도 필기체로 씀. 바인더가 온갖 주제로 채워지는 걸 보는 게 신남
    필기체로 쓰는 이유는 몇 가지임: 손이 덜 저리고, 공공장소에서 얕은 수준의 사생활 보호가 되고, 기술을 잃고 싶지 않고, 무엇보다 재미있음

    • 같은 이유로 약간의 캘리그래피 연습을 좋아함
      모양도 마음에 듦. 특별한 펜을 쓰진 않지만 필기체에 나만의 스타일을 더해 더 보기 좋게 만듦
      예전에는 학교 노트도 캘리그래피로 썼는데, 주로 과목에 신경 쓰지 않을 핑계를 줬기 때문임
      하지만 선생님들이 칠판의 휘갈긴 글씨를 충분히 빨리 베껴 쓰지 못한다고 싫어했음

  • 이건 정말 멋지고 폄하하려는 건 아님
    여러 면에서 National Archives에 참여할 수 있는 취미를 제공하는 것 자체가 목적이 될 수 있음
    그런데… 컴퓨터가 이 일을 훨씬 더 잘할 수 있는 것 아닌가?

    • 같은 생각을 했지만, 오래된 손글씨는 못 할 수도 있겠음
      예시를 4o에 넣어봤더니 다음처럼 내놓았음:
      The following is the declaration of James Lambert, a soldier of the Revolutionary War in North America.
      The said James Lambert this day personally appeared in the Probate Court of the County of Dearborn in the State of Indiana and at the November Term of said Court (1841), it being a court of record created by the laws of Indiana and made oath that:
      On the 25th day of March 1842, he will be eighty-five years old, that he was born in the State of Maryland, that he is now a resident of said county and has been for the 27 years last past; that he has lived in Virginia, Maryland, and Pennsylvania...
    • 아님
      필기체는 아날로그적이고 유동적이라, 글쓴이마다 일관성이 부족하고 한 사람의 글씨 안에서도 흔히 들쭉날쭉함
      잘 쓰면 하나의 예술 형식으로 분류될 수 있지만, 못 쓰면 메스암페타민을 한 닭이 걸어간 자국처럼 보일 수 있음

  • 키보드를 약 50년 쓰고 나니 내 손글씨도 못 읽겠음
    재현 가능한 서명조차 할 수 없음

    • 나도 그럼. 신용카드 영수증의 서명을 카드 뒷면의 휘갈긴 서명과 대충 비교하던 시절을 기억할 만큼 나이가 들었음
      아직도 그렇게 한다면 내가 시도하는 거래의 50%는 실패할 듯함
    • 나도 그렇고, 90년대에는 내 손글씨에 자부심도 있었음
      자기표현 하나를 잃은 건 분명함
답변달기
GeekNews BeeBS 게시판 오픈! 자유로운 이야기와 소소한 일상을 함께 나눠보세요.