EEG로 확인한 뇌의 두 음성 스트림 동시 부호화

• 정상 청력 성인 24명의 EEG를 분석한 결과, 주의를 전환할 때 새 화자에 대한 신경 추적이 기존 화자에서 이탈하기 전에 시작돼 두 음성이 일시적으로 동시에 표상됨
• 두 화자의 음성 포락선과 단어 시작·예측 정보를 시간 반응 함수(TRF)로 모델링했으며, 1초 디코딩 창에서도 주의를 기울인 화자를 우연 수준보다 유의하게 정확히 판별함
• 새 화자에 대한 관여는 기존 화자에서의 이탈보다 유의하게 일찍 시작하고 끝났으며, 이 관여-이탈 비대칭은 1·2·4·8·16초 슬라이딩 창에서도 유지됨
• 주의 전환 뒤 EEG 알파 대역 전력이 감소했고, 최저점은 음성 부호화 전환점보다 늦게 나타나 새 화자 추적과 청취 노력 사이의 시간적 연관성을 보여줌
• Mistral-7B-v0.1로 네 가지 어휘 문맥 전략을 비교한 결과, 이전 문맥을 버리는 Reset 모델의 엔트로피가 EEG를 가장 잘 예측했지만 인간도 문맥을 초기화한다고 단정할 수는 없음

---

연구 질문과 실험 설계

• 여러 사람이 말하는 환경에서는 한 화자에게 주의를 유지하면서 다른 화자로 빠르게 전환해야 하지만, 기존 신경생리학 연구는 대부분 지속적 주의에 집중해 왔음
• 주의 전환을 기존 화자에 대한 신경 추적이 줄어드는 이탈(disengagement) 과 새 화자 추적이 늘어나는 관여(engagement) 로 나눠 두 과정의 시간적 관계를 조사함
• 18~39세의 정상 청력 영어 원어민 24명이 참여했으며, 신경·정신질환 이력이 없고 정상 또는 교정 시력을 보유했음
• 반지름 1.5m의 원형 배열에 스피커 6개를 배치함
  • 전방 좌우 ±30°에서 서로 다른 TED Talk 음성을 각각 60dB SPL로 재생함
  • 후방 스피커 4개에서는 각각 4명분을 합친 16화자 배블 잡음을 54dB SPL로 재생해 전경 대비 배경 SNR을 3dB로 설정함
• 참가자는 180초짜리 시험 20개를 수행하며 화면 화살표에 따라 시험당 6회 좌우 화자 사이에서 주의를 전환함
  • 지속적 주의 구간은 반무작위 간격으로 구성됨
  • 전경 자극에는 남성 20명과 여성 20명의 TED Talk 40개를 사용함
  • 각 시험 후 내용 확인, 선호 화자, 전환 난이도에 답함

행동 결과와 주의 디코딩

• 기술 문제로 한 명의 행동 데이터가 누락돼 23명을 대상으로 계산한 내용 질문 평균 정확도는 86.3% 였음
• 좌측 음성 선호 비율은 평균 49.79%로 균형을 이뤘고, 전환 난이도는 1~5점 중 평균 3.1점이었음
• 64채널 EEG를 512Hz로 기록하고 전처리 후 64Hz로 다운샘플링했으며, 음성과 EEG 사이의 지연 선형 관계를 시간 반응 함수(TRF) 로 모델링함
• 역방향 TRF로 EEG에서 주의 대상 음성 포락선을 복원한 뒤 좌우 음성과의 상관관계를 비교함
  • 1·2·4·8·16·32초 디코딩 창을 사용함
  • 창이 길수록 분류 성능이 높아졌지만, 1초 창을 포함한 모든 조건이 라벨을 100회 무작위화한 우연 분포의 95번째 백분위수보다 유의하게 높았음
• 동적인 전환 상황에서도 EEG의 음성 포락선 복원으로 주의 대상 화자를 안정적으로 추적할 수 있었음

새 화자 관여가 기존 화자 이탈보다 빠름

• 순방향 다변량 TRF에는 음성 포락선, 단어 시작, 단어 놀람도를 포함하고 실제 EEG와 예측 EEG의 상관관계를 슬라이딩 창으로 계산함
• 전환 전에는 기존 화자의 음성이 더 강하게 추적됐고, 전환 후에는 새 화자 추적이 강해져 시각적 주의 지시와 일치함
• 전환 전후에 50%를 넘는 신뢰 가능한 주의 편향을 보인 21명을 시간 분석에 사용함
  • 제외된 참가자는 이탈과 관여의 시작·종료 지점을 추정할 수 없었음
  • 제외된 3명을 포함한 후속 분석에서도 관여가 더 이른 정성적 패턴은 유지됐지만 통계적 유의성은 사라짐
• 참가자별 EEG 예측 상관관계에 구간별 선형 회귀를 적용해 이탈과 관여의 시작·종료점을 추정함
  • 4초 창에서 새 화자 관여는 기존 화자 이탈보다 유의하게 일찍 시작함
  • 관여 종료 역시 이탈 종료보다 유의하게 빨랐음
• 1·2·4·8·16초 창을 함께 분석해도 관여-이탈 비대칭이 유지됨
  • 긴 창일수록 추정된 전환 시간이 길어졌음
  • 슬라이딩 창의 시간 평활화는 전환을 늘일 수 있지만 두 과정의 비대칭 자체를 만들지는 않음
• 새 화자 추적이 기존 화자 추적의 감소보다 먼저 나타나는 짧은 구간에는 두 음성 스트림이 동시에 신경적으로 표상됨

알파 대역과 청취 노력

• 주의 전환 주변의 8~12Hz 알파 대역 사건 관련 스펙트럼 변동(ERSP) 을 청취 노력의 지표로 사용함
• 전환 중 알파 전력은 후두-두정 영역에서 유의하게 감소했고, 전환 신호 약 4.5초 뒤 큰 감소가 측정됨
• 4초 창에서 알파 ERSP 최저점은 두 화자의 EEG 예측 상관관계가 교차하는 부호화 전환점보다 유의하게 늦었음
  • 여러 창 길이에서도 같은 순서가 유지됨
  • 알파 최저점은 새 화자 관여가 완료되는 시점과 대략 대응했으며, 기존 화자 이탈 완료보다는 앞섰음
• 이 시간 관계는 알파 전력이 새 화자에 다시 초점을 맞추는 노력, 새 방해 화자의 능동적 억제 또는 두 과정의 조합과 연결될 가능성을 남김
• 새 스트림의 음향·언어 문맥이 충분히 축적되면 추적이 쉬워져 인지 자원이 풀릴 수 있지만, 전환 난이도에 따른 추가 검증이 필요함

네 가지 어휘 문맥 모델

• 주의 대상이 바뀌면 어휘 예측에 사용하는 의미 문맥도 달라지므로, Mistral-7B-v0.1로 단어 놀람도와 엔트로피를 계산함
  • 놀람도는 앞선 문맥에서 현재 단어가 얼마나 예상 밖인지 나타냄
  • 엔트로피는 다음 단어 예측의 불확실성을 나타냄
• 네 가지 문맥 누적 전략을 비교함
  • Oracle: 현재 화자의 이전 발화를 주의를 기울였는지와 관계없이 모두 사용하며 전환을 인식하지 않음
  • Speaker-Specific: 같은 화자의 이전 주의 구간만 사용함
  • Attention: 화자와 관계없이 이전에 주의를 기울인 모든 구간을 사용함
  • Reset: 전환 전 문맥을 모두 버리고 현재 주의 구간에서만 새 문맥을 축적함
• 전환 직후 Reset 모델의 엔트로피가 가장 크게 치솟은 뒤 단어가 이어지면서 감소함
  • Attention과 Speaker-Specific은 서로 비슷하고 더 안정적이었음
  • 전환을 인식하지 않는 Oracle은 전환 전후 변화가 거의 없었음
  • 전체 평균에서는 Reset 엔트로피가 Oracle보다 높고 Attention 및 Speaker-Specific보다 낮은 중간 수준이었음

Reset 모델의 EEG 예측 결과

• 음향 특성만 사용한 기준 TRF와 비교했을 때 엔트로피를 추가한 Speaker-Specific·Attention·Reset 모델은 유의한 예측 향상을 보였지만, Oracle은 향상되지 않음
• 놀람도를 사용한 경우에도 Oracle을 제외한 세 모델에서 의미 정보 부호화가 확인됨
• 예상과 달리 엔트로피 기반 Reset 모델은 Oracle, Speaker-Specific, Attention보다 EEG 예측 상관관계가 유의하게 높았음
  • 350~550ms의 TRF-N400 진폭은 Reset에서 다른 세 모델보다 낮았음
• 놀람도 기반 분석에서는 Reset이 Oracle보다 높았지만 나머지 모델 간 비교는 유의하지 않았고, TRF-N400 진폭에도 유의한 차이가 없었음
• 엔트로피는 앞으로 올 단어의 불확실성을 반영하지만 놀람도는 이미 등장한 단어에 반응한다는 차이가 결과에 영향을 줬을 수 있음
  • 참가자는 전환 신호를 받아 다른 음성이 올 것을 예상했지만 LLM은 신호를 받지 않았으므로, 인간과 모델의 놀람도가 일치하지 않을 수 있음
  • Mistral은 다음 단어 예측에 최적화됐을 뿐 신경생리학적 타당성을 목표로 하지 않음
• 결과는 전환 때 인간이 어휘 문맥을 초기화할 가능성과 부합하지만, 인간과 LLM이 음성 불연속을 전혀 다르게 처리했을 가능성도 남아 있음

한계와 활용 가능성

• 슬라이딩 창으로 계산한 관여·이탈 시간은 창 길이에 의존하므로 절대적인 신경 처리 시간이 아니라 과정 간 상대적 시간으로 해석해야 함
• 지시된 전환 과제는 실제 대화보다 덜 자연스럽고, 방해 음성을 감시하도록 유도하므로 지속적 주의 과제와 다른 전략을 만들 수 있음
• 비대칭은 인지 부하, 나이, 인지 능력, 청력 문제, 음성 내용에 대한 관심, 전환 빈도와 과제 특성에 따라 달라질 수 있음
• 이전 문맥을 완전히 버리는 대신 이야기의 요지처럼 추상적으로 요약해 유지할 가능성도 있음
  • 문장 예측에 최적화된 Large Concept Model이나 짧은 토큰 문맥과 과거 요약을 결합하는 모델을 비교할 수 있음
• 음성별 부호화 변화를 분리하는 방법은 단순 주의 분류보다 세밀하며, 인지 제어형 보청기 연구와 연령·청력 집단 비교에 활용할 수 있음
• 전처리 EEG, 분석 파일, 코드와 음성 자극은 Zenodo에 공개돼 있음

[GN⁺]

Hacker News 의견들

• Richard Feynman이 머릿속으로 60초를 세며 동시에 무엇을 할 수 있는지 실험한 이야기가 떠오름. Feynman은 세면서 읽을 수 있지만 말할 수는 없었고, John Tukey는 반대로 말할 수 있지만 읽을 수는 없었음
  Tukey는 숫자를 세며 테이프를 시각화했고 Feynman은 속으로 말했기 때문이었음. 같은 숫자 세기라도 사람마다 머릿속 과정이 다르며, 세는 동안 무엇을 할 수 있고 없는지를 관찰하면 이를 객관적으로 검증할 수 있다는 결론임
  Feynman은 방정식의 글자를 색으로 보는 자신과 학생들이 Bessel 함수를 전혀 다르게 인식할 가능성도 생각했음
  https://calteches.library.caltech.edu/3591/1/Feynman.pdf

  • 딸을 재울 때 안고 노래하면서 300걸음을 세곤 했는데, 내적 독백 대신 숫자를 시각화하면 노래와 숫자 세기가 동시에 가능했음. 다만 집중력이 더 필요했고, 이제 혼자 잠드는 딸을 보면 가끔 그때가 그리움
  • 글을 읽지만 않으면 별로 집중하지 않고도 오디오북 내용을 따라갈 수 있음. 읽을 때 속발음하기 때문에 오디오북과 독서를 동시에 못 하는 듯하며, 속독보다 단어 하나하나를 느끼며 읽는 편이 좋음
  • 좌우 대뇌반구가 서로 다른 인지 기능과 반대쪽 신체 운동을 담당하고 뇌량을 통해 통신한다는 점과 관련 있어 보임. 뇌량이 절단된 분리뇌 환자는 두 반구가 독립적으로 행동하기도 하며, Michael Gazzaniga와 Roger Sperry의 실험에서 이를 볼 수 있음
    Feynman의 실험은 각자 발달시킨 내부 처리 방식을 외부에서 검증할 수 있음을 보여주며, 수학 기호에 색을 느낀 것도 우뇌가 좌뇌의 논리 문제에 고유한 식별자를 부여한 결과일 수 있다고 봄
  • 음악을 들으면 일하거나 읽고 집중할 수 없는 것도 같은 이유인지, 아니면 음악이 주의를 전부 가져가기 때문인지 궁금함
  • 아이에게 자장가를 부르면서 읽는 건 아주 쉬운데, 머릿속으로 숫자를 세며 말하려 하니 벽에 막힌 듯 불가능했음

• 동화책을 소리 내 읽으면서 전혀 별개의 생각을 이어갈 수 있음. 다만 다른 생각 속 단어로 바꿔 읽는 등 오류가 낭독에 새어 나올 때가 있음

  • 물리학자인 아버지가 책을 읽다 잠들기 시작하면 동화가 갑자기 말이 안 되고 어려운 물리학 용어로 가득해져서 바로 알아챌 수 있었음
  • 매일 저녁 아이에게 책을 읽으며 15분 정도 다른 문제를 생각할 수 있지만, 그 상태에서는 줄거리를 따라가지 못함. 아이가 “아빠, 왜 자전거를 훔쳤어?”라고 묻는 순간 모든 위장이 무너짐
  • 아이들에게 Enid Blyton 책을 비롯해 수십 권을 읽어주면서 일이나 집안일 등을 동시에 생각할 수 있음. 몇 분간 읽은 내용을 전혀 따라가지 못해 다시 시작해야 하며, 음운 루프인 눈과 입의 경로가 기억·처리·집행 인지 경로와 독립적으로 작동하는 듯함
  • 학교에서 교과서를 돌아가며 읽을 때 목소리와 문장부호에 맞춘 억양에만 집중했음. 문단을 마치면 내용을 이해하려고 조용히 다시 읽어야 했고, 지금도 복잡한 글을 이해하면서 낭독하려면 두 처리 흐름을 모두 써야 함
  • 다른 생각에 더 많은 인지 자원을 쓰다 보면, 읽기에 전혀 노력하지 않았는데도 계속 소리 내 읽고 있었다는 사실을 깨닫곤 함

• 조종사이자 무선통신 담당자로서 늘 두 개의 음성 흐름을 동시에 처리할 수 있었기에 놀랍지 않은 결과임

  • 관제센터와 TRACON의 관제사들은 양쪽 귀로 여러 주파수를 감시하면서, 조종사가 다른 주파수의 교신을 덮어도 처리해야 함. 인계 과정에서 내부 소통까지 해야 하며, 교신 내용도 주말 바비큐 이야기가 아니라 METAR 수준으로 정보 밀도가 높음
  • 교사로서 여러 아이와 동시에 대화할 때가 있음. 깊은 집중이 필요하지 않으면 가능하지만 피곤해서 되도록 피함
  • 헤드셋에서 여러 음성이 중앙이나 모노로 겹쳐 들리는지, 아니면 왼쪽 귀와 오른쪽 귀로 분리되는지 궁금함

• 여러 마음챙김 수행은 내면의 목소리를 잠재우기 위해 주의를 두 곳에 동시에 두는 듯함. George Gurdjieff의 The Fourth Way와 P. D. Ouspensky의 기록에서는 두 대상에 집중해 주의 흐름을 포화시키면 명상과 비슷한 의식 변화가 일어난다고 묘사함
  https://en.wikipedia.org/wiki/In_Search_of_the_Miraculous

  • 그래서 푸가를 듣는 일이 그렇게 즐거운지도 모르겠음

• 대학 시절 파티에서 여러 대화에 동시에 참여하며 무리 사이를 오가곤 했음. 능력이 뛰어나서라기보다 주변 대화가 전부 들렸고, 여러 무리에서 흥미로운 이야기를 하면 어느 쪽도 놓치기 싫어 계속 대화 사이를 왕복했던 것임

• 여러 감각 흐름을 처리할 수 없다면 배경의 위험을 감시하거나 문맥 전환을 할 수 없을 것임. 의식적 경험과 배경에서 일어나는 처리는 다름

  • 여러 흐름을 처리하는 것과 동시에 연속적으로 처리하는 것은 다름. 단일 코어 CPU가 여러 스레드를 다루듯 A와 B 사이를 짧게 오가는 시간 분할로도 전자는 가능함
    뇌가 여러 흐름을 실제로 동시에 계속 처리하고 부호화한다는 증거는 멀티태스킹의 정확한 메커니즘을 이해하게 해주므로, 결과가 당연해 보여도 연구할 가치가 큼
  • 여기서 다루는 것은 일반적인 다중 감각 처리가 아니라 여러 음성 흐름의 처리임
  • 글의 의미를 이해하는 것과 신호에서 위험을 판별하는 것은 처리의 질적 수준도 다름

• 이미 잘 알려진 사실인 줄 알았음. 내 문제는 다른 사람의 말을 무시하지 못한다는 것으로, 누군가와 대화하면서도 주변 대화를 한 단어도 빠짐없이 듣게 됨

• Apollo 임무 관제팀은 여러 대화 흐름을 동시에 처리하도록 훈련받았지만, 이를 끌 수 없어서 칵테일 파티가 악몽이 되었다고 유명함

  • 공항 관제사와 철도·지하철의 비슷한 직군도 같은 어려움을 겪을 가능성이 큼
  • 친척들과 식사하면 모두가 동시에 말하며 대부분 두 대화에 참여함. 대학 때문에 집을 떠난 여동생은 이 습관을 다시 버리는 데 몇 주가 걸려서 방문 중에는 식사 자리에서 아예 말하지 않았음
  • 이 일화의 출처를 확인할 만한 링크가 궁금함

• Pythagoras의 전설적인 초능력 중 하나는 두 도시에 동시에 나타나 강의했다는 이처소성(bilocation) 임. 사교 자리에서 여러 대화에 동시에 참여할 때마다 Pythagoras가 떠오름

• 애니메이션과 음향을 처음 결합했을 때, 진자가 끝에 닿는 정확한 순간 “톡” 소리를 재생하면 사람들은 소리가 늦었다고 느꼈음. 한 자극에서 다른 자극으로 주의를 전환하는 데 약 1/16초가 필요하기 때문이라고 함
  시간 지각에 관한 다른 관찰은 https://en.wikipedia.org/wiki/Time_perception에서 볼 수 있음

  • 소리 자체의 전달 속도도 느림
  • 실제 시계의 똑딱 소리는 어차피 진자가 끝에 도달하기 전에 발생함