사고 도구의 인지적 설계 (2014) [PDF]

 (gjgreenberg.bol.ucla.edu)
2P by GN⁺ | ★ favorite | 댓글 1개
  • 인간은 생각이 머릿속 용량을 넘어서면 손, 몸, 사물 배치, 스케치, 도표, 제스처 같은 외부 표상으로 사고를 세계에 배치해 이해를 보조함
  • 지도, 암각화, 백과사전 도판, 시간 순서 이미지는 실제 세계를 그대로 축소하지 않고 일부 정보를 선택·생략·강조해 관계와 조직을 드러냄
  • 도표는 점, 선, 상자, 화살표, 여백, 행과 열 같은 공간적 장치로 장소, 경로, 범주, 부분-전체, 사건 순서를 표현함
  • 글과 말도 단어 간 간격, 문단·장 구분, 시간 순서 배열처럼 도표적 성격을 일부 갖지만, 지도와 도표는 대상 세계와의 시각-공간 대응이 더 풍부함
  • 종이 위 도표와 공중의 제스처는 모두 손의 공간 행동에서 나오며, 추상적 사고를 공간 행동으로 조직하는 개념이 spraction으로 제안됨

사고를 세계에 배치하는 이유

  • 생각은 빠르게 마음의 한계를 넘어설 수 있고, 인간은 이를 보강하기 위해 주변의 물건과 신체를 사용함
    • 손, 몸, 막대기와 돌, 커피잔 배열, 모래 위 스케치, 종이 냅킨 위 낙서도 사고의 외부 표상이 될 수 있음
  • 오래 살아남은 사고의 외부 표상에는 동굴 벽의 동물 그림, 돌에 새긴 지도, 기둥과 개선문에 새긴 역사, 무덤 벽의 설명과 여정, 그리스 도자기의 신화, 뼈에 새긴 계산 표시가 포함됨
  • 이런 표상은 자기 자신 또는 타인의 사고를 돕도록 설계됨
    • 표면 위의 표시와 배열이 사고를 반영하고, 다시 사고에 영향을 줌
    • 도표, 스케치, 그래픽, 시각화, 모델, 물질적 도구, 인지 도구, 인지 인공물 등으로 불림

외부 표상의 설계 원리

  • 외부 표상은 자연 세계의 배열을 그대로 복제하지 않고 설계된 배열을 사용함
    • 지도처럼 일부 정보를 포함하고 일부는 생략하며, 포함된 정보도 단순화하거나 과장하는 경우가 많음
  • 공동체에서 반복적으로 쓰인 지도 같은 표상은 사용 과정에서 다듬어지며, 일종의 비공식 사용자 테스트를 거침
  • 이런 표상은 사고의 구조가 시각-공간적 표현으로 대응되는 방식을 보여줌
  • 접근 방식은 두 가지 경험적 전통을 함께 사용함
    • 언어학처럼 오랜 시간과 다양한 장소에서 생산된 인지 인공물 사례를 분석함
    • 심리학처럼 사람들이 의미의 외부 표상을 만들고, 해석하고, 사용하는 규칙성을 실험으로 살핌
  • 종이 위 표상과 공중 제스처는 모두 손이 공간에서 수행하는 행동으로 만들어지며, 이 연결에서 spraction 개념이 나옴

지도: 세계와 닮았지만 세계 자체는 아님

  • 지도는 공간 속 장소를 표면 위 표시와 공간 관계로 나타내는 표상임
    • 바빌로니아 점토 지도는 British Museum이 기원전 700–500년으로 추정하며, 보존된 가장 오래된 지도처럼 여겨짐
    • 이 지도는 엄밀한 지리 표상만이 아니라 공간과 시간, 지리와 역사, 신화를 함께 섞음
  • 장소나 랜드마크는 점 같은 표시나 덩어리로, 장소 사이의 경로는 선으로 나타남
  • 같은 정보는 말로도 표현할 수 있지만, 지도는 실제 세계와의 2차 동형성 또는 풍부한 대응을 가짐
    • 이 때문에 시각-공간 표상은 말과 문장보다 더 직접적인 표상이 될 수 있음
  • 다만 지도는 세계를 단순히 축소한 결과물이 아님
    • 많은 정보가 빠지고, 해안선은 부드럽게 처리되며, 도로는 보이도록 확대될 수 있음
    • 현대 지도처럼 고대 지도도 주석을 포함할 수 있음
  • 지도는 목적에 맞게 설계됨
    • 특정 장소에서 볼 수 없는 더 큰 세계의 모습을 제공함
    • 공간이 어떻게 사용되는지, 지리가 인간 활동과 어떻게 상호작용하는지 보여줌
    • 경로 계획, 도시 계획, 설계에 활용될 수 있음

암각화와 도표: 묘사에서 범주와 배열로

  • 가장 오래 살아남은 그래피티는 돌 조각, 동굴 그림, 무덤 이미지 같은 암각화와 암벽화이며, 후기 석기 시대인 약 4만 년 전까지 거슬러 올라감
  • 여러 지역의 초기 동굴 그림과 암각화는 서로 관련 없는 장소에서 발견됐지만 형식과 내용이 놀랄 만큼 비슷함
    • Chauvet Cave의 이미지는 약 3만~3만2천 년 전으로 추정됨
    • 겹친 머리 묘사는 초기 애니메이션 시도로 해석되기도 함
  • 많은 초기 이미지는 특정 개체보다 일반성을 전달하는 쪽에 가까움
    • 동물, 막대 인간, 기하학적 도형이나 상징이 자연적 배경에서 분리되어 나타남
    • 동물과 막대 인간은 부분, 부분의 구성, 형태가 실제 대상과 대응하기 때문에 식별 가능함
  • 형태는 개별 정체성을 가진 대상이라기보다 이상화된 원형에 가까움
    • 사람은 정면이나 측면, 동물은 주로 측면처럼 전형적 시점으로 나타남
    • 크기는 실제 비율보다 서로 비슷하게 맞춰지는 경우가 많음
    • 이미지들은 대체로 같은 방향과 자세를 가지며, 동물끼리·인간끼리처럼 유형별로 묶임
  • 이런 특징은 장면 묘사보다 도표 설계와 연결됨
    • 같은 유형의 이미지를 비슷한 크기와 방향으로 배열함
    • 행과 열, 느슨한 그룹, 공간적 분리로 비교와 병치를 가능하게 함
    • 다만 암각화는 오랜 시간 여러 저자가 만든 가능성이 높아 전체를 하나의 설계물로 보기는 어려움

L’Encyclopedie와 도표의 공간 문법

  • Diderot와 D’Alembert의 L’Encyclopedie 도판은 장면 묘사와 도표의 차이를 같은 페이지에서 보여줌
  • Pinmaker’s Factory 도판의 위쪽은 작업자와 도구가 자연적 공간 안에 함께 놓인 활동 장면임
    • 방, 벽, 창문, 바닥, 문, 그림, 벽난로가 포함됨
    • 작업자와 도구는 작업을 가능하게 하는 공간 안에 배치됨
    • 빛과 그림자는 자연적 광원을 따름
  • 아래쪽은 도구와 부품을 맥락에서 분리해 종류별로 재배치한 카탈로그형 도표에 가까움
    • 이미지 크기는 실제 비율과 다름
    • 그림자와 음영은 자연광보다 구조적 특징을 강조하는 데 쓰임
    • 도구와 부품은 범주별로 묶이고, 행과 열로 배열되며, 비슷한 간격으로 분리됨
  • 도표는 장면에서 요소를 추출하고 재배열해 개념적 대응을 명확히 함
    • 상단 장면은 맥락화된 표상임
    • 하단 배열은 사용 맥락에서 분리한 뒤 종류라는 새 맥락에 재배치한 표상임
  • L’Encyclopedie의 페이지와 펼침면은 계층적으로 설계됨
    • 한 주제의 정보를 두 페이지 펼침으로 통합함
    • 페이지, 여백, 선, 프레임, 장과 권의 구분이 정보의 계층 구조를 반영하고 지원함
    • 글도 단어 사이의 공간, 문장과 문단 구분, 새 장의 새 페이지 같은 도표적 시각 장치를 사용함

세계를 조직하는 두 방식: 부분과 종류

  • 도표의 배열은 사람들이 세계를 단순화하고 이해하는 두 가지 조직 방식과 맞물림
  • 부분 조직(partonomy) 은 몸의 부분, 물체의 부분, 장면의 부분, 정부의 부분처럼 전체를 구성 요소의 계층으로 나눔
  • 분류 조직(taxonomy) 은 동물의 종류, 식물의 종류, 도구의 종류, 악기의 종류처럼 외형과 기능을 공유하는 것들을 묶음
  • 장면에 대한 사람들의 부분 조직에는 그 장면에 흔히 등장하는 사람, 사물, 활동이 포함됨
    • Pinmaker’s Factory의 한 작업자는 바퀴로 실을 감음
    • 다른 장면의 제빵사는 숟가락으로 반죽을 젓고, 재단사는 가위로 천을 자름
  • 종이와 가위, 망치와 못, 칼과 빵처럼 함께 상호작용적으로 쓰이는 사물 묶음은 주제적 조직으로 불림
    • 여기에 행위자를 더하면 기초적인 장면이 됨
    • 고대 암각화에서 반복적으로 나타나는 주제적 조직 중 하나는 사냥꾼과 사냥감임

시간과 사건을 배열하는 도표

  • 사건을 시간 순서로 묶어 의미 있는 단위로 만드는 것도 경험을 조직하는 흔한 방식임
  • Muybridge와 Marey의 연속 사진은 사람과 동물의 움직임을 정지 이미지의 연쇄로 보여줌
    • 이미지들은 읽기 방향을 따라 수평 배열되며, 영화의 무대를 마련함
  • 15세기 BC 이집트 Thebes의 천문학자 Nakht 무덤 벽화는 파종과 수확을 보여주는 사건 배열의 고대 사례임
    • 이 경우 사건들은 수평으로 배열되지만, 드물게 아래에서 위로 순서가 조직됨
  • 무덤, 기둥, 개선문, 프리즈, 두루마리의 시각적 이야기·역사·설명은 관련 행위들의 통합된 연쇄를 선형 배열로 보여줌
    • 연속적 인간 활동의 흐름을 핵심 사건이나 설명 단계로 분절함
    • 장면은 행이나 열로 배열되는 경우가 많고, 항상은 아니지만 시간 순서를 따름
  • 사건 도표는 묘사 요소뿐 아니라 단어, 상징, 프레임 같은 비묘사적 그래픽 요소도 포함함
    • 스테인드글라스 창, 카메라 사용 설명서, 조립식 가구 안내, 과학 교과서의 시각 설명, 만화가 사례임
    • 그래픽 노블과 만화는 시간 속 사건 전달을 하나의 예술 형식으로 발전시킴

점과 선: 경로 지도와 길 안내 실험

  • 지도, 암각화, 무덤 벽화, 제조 도판은 세계의 사물·장면·사건을 정제하고 재배열해 관계를 보여주는 상향식 도표로 볼 수 있음
  • 실험 연구는 사람들이 서로 다른 의미를 가진 도표를 만들고 이해하고 사용하는 방식을 살핌
    • 단순한 기하학적 형태인 점, 선, 상자, 화살표가 맥락에 따라 의미를 가짐
    • 그 의미는 각 형태의 기하학적 특성과 연결됨
  • 길을 설명하는 과제는 언어 안내와 스케치 지도 사이의 평행성을 보여주는 사례임
    • 기숙사 학생들에게 지역 패스트푸드점까지 가는 방법을 아는지 묻고, 아는 경우 스케치 지도를 그리거나 길 안내를 쓰게 함
    • 지도와 길 안내를 분절하고 부호화한 결과, 둘은 적은 수의 의미 단위를 공유함
  • 랜드마크는 지도에서 점 같은 표시로, 길 안내에서는 이름으로 표현됨
  • 경로는 선의 변형으로 나타나며, 점과 선 모두 구체 세계에 기반을 둠
    • 멀리서 본 장소는 점처럼 보이고, 멀리서 본 길은 선처럼 보임

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들
  • Andrew Clark와 David Chalmers의 “The Extended Mind”가 마음과 외부화된 사고 도구 사이의 범주적 흐림을 훨씬 더 흥미롭게 다룸
    https://consc.net/papers/extended.html
    이 아이디어는 내가 가장 좋아하는 소설 “Jonathan Strange and Mr. Norrel”에서도 흥미로운 여러 면 중 하나로 나옴
    https://joeldueck.com/mind-palaces.html
  • 사고 도구의 공통점은 자기 뇌의 출력을 다시 자극하게 해준다는 데 있음. 본질적으로 감각 입력에서 운동 출력까지 이어지는 외부 순환 루프를 만드는 셈임
    추측이지만, 뇌 안에도 어떤 주제를 곱씹으며 생각하게 해주는 더 작은 루프가 있을 것 같음. 다만 그런 루프는 접근 가능한 뉴런 수나 반복 간 충실도가 외부 도구만큼 높지 않을 수 있음. 이런 자기 자극적 재귀가 없다면 우리가 추론하는 모든 것이 감각에서 운동까지 한 번의 통과로 끝난다는 뜻인데, 그건 그다지 그럴듯하지 않음
    같은 신경망을 여러 번 적용하고 반복 사이를 기억으로 넘기는 방식은 인간에게서 기억과 다른 지능 요소가 상관되는 이유도 설명해줌. 기계는 예를 들어 메모리 용량과 독립적으로 FLOPS를 가질 수 있음
    • 지시 튜닝된 LLM이 답을 바로 내기 전에 먼저 소리 내어 생각하라고 권장받을 때 하는 일과 꽤 비슷하지 않나 싶음. 자기 출력을 스크래치패드, 즉 주의가 걸리는 문맥에 생성해서 사고를 보조하는 방식임
  • 저자인 Barbara Tversky 박사는 Kahneman과 Tversky로 유명한 Amos Tversky와 결혼했었음. 두 사람의 수십 년 협업은 Michael Lewis의 책 중 하나의 주제가 됐음
    Amos Tversky가 일찍 세상을 떠난 뒤, Barbara Tversky와 역시 배우자를 잃은 Daniel Kahneman은 몇 주 전 Kahneman이 세상을 떠날 때까지 동반자였음
    [0] https://en.wikipedia.org/wiki/Barbara_Tversky
    [1] https://en.wikipedia.org/wiki/The_Undoing_Project
  • 이 주제는 인지과학의 체화된 인지 분야에서 이미 폭넓게 연구되고 논의돼 왔음. Margaret Wilson의 중요한 논문 “Six views of embodied cognition”에서도 인지의 핵심 측면으로 다뤄졌고, 이 글보다 12년 먼저 나왔음
    https://pubmed.ncbi.nlm.nih.gov/12613670/
    이 아이디어에 관한 기존 연구가 여기서 많이 인용되지 않은 게 의외임
  • 이 주제에 관심이 있고 더 읽고 싶다면 “Cognition in the Wild”를 추천함: https://mitpress.mit.edu/9780262082310/
  • 시간 낭비처럼 보임. 이런 연구에 누가 자금을 대는지 모르겠음. 또 수학 밖에서 사물 간 관계나 유비를 설명하려고 “isomorphism”을 쓰는 것도 약간 거슬림. 그냥 관계나 유비라고 하면 됨
    정밀하게 정의된 전문용어의 기술적 신비감에 기대면서, 실제로는 적용되지 않는 맥락에 쓰는 건 제시된 아이디어에 내용이 부족하다는 신호일 수 있음. 그래서 저자가 일부러 흐리게 만드는 것처럼 보임
  • 비슷한 아이디어를 비즈니스 전략 맥락에서 분석한 글: https://onlinelibrary.wiley.com/doi/10.1002/smj.3613
  • Figure 5를 보니 내가 즐겨 구분하는 요리책식 instruction과 교과서식 instruction이 떠오름. 전자는 그림 위쪽처럼 모든 것이 완전히 맥락 안에 있지만 동시에 모두 암묵적으로 남아 있어서, 독자가 여러 예시를 보고 원리를 스스로 파악해야 함
    후자는 그림 아래쪽처럼 중요한 요소를 맥락 밖으로 끄집어내어, 그 원리를 귀납에 기대지 않고 명시적이고 분명하게 전달하려는 방식임
    “네 조상들이 네게 물려준 것을, 네가 소유하려면 새로이 얻어야 한다.” — JWvG, ISR 인용
  • “생각이 마음을 압도하면, 마음은 그것을 세상 속에 놓는다. 특히 도표와 몸짓으로”라고 했는데, 노래와 말도 포함됨
    “고대의 사고 분출”이라고 했는데, 구전 역사도 있음
    결국 매체를 사용해 인지를 돕는다는 얘기인데, 구술 매체를 언급하지 않는 점이 이상함
    • 어떤 이유에서인지 구술 매체는 문자와 추상적 그림만큼 이 역할을 잘하지 못함. James Gleick은 The Information에서 문장과 문단의 일부 사이를 앞뒤로 확대·축소하듯 오갈 수 있기 때문이라고 추측함. 글은 사고를 구조화하는 명시적인 방법을 제공함
  • 관련 있을 만한 자료: https://www.rheingold.com/texts/tft/
답변달기