# EEG로 확인한 뇌의 두 음성 스트림 동시 부호화 > Clean Markdown view of GeekNews topic #31563. Use the original source for factual precision when an external source URL is present. ## Metadata - GeekNews HTML: [https://news.hada.io/topic?id=31563](https://news.hada.io/topic?id=31563) - GeekNews Markdown: [https://news.hada.io/topic/31563.md](https://news.hada.io/topic/31563.md) - Type: GN+ - Author: [neo](https://news.hada.io/@neo) - Published: 2026-07-19T06:34:43+09:00 - Updated: 2026-07-19T06:34:43+09:00 - Original source: [journals.plos.org](https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.3003876) - Points: 1 - Comments: 1 ## Topic Body - 정상 청력 성인 24명의 EEG를 분석한 결과, 주의를 전환할 때 **새 화자에 대한 신경 추적**이 기존 화자에서 이탈하기 전에 시작돼 두 음성이 일시적으로 동시에 표상됨 - 두 화자의 음성 포락선과 단어 시작·예측 정보를 시간 반응 함수(TRF)로 모델링했으며, **1초 디코딩 창**에서도 주의를 기울인 화자를 우연 수준보다 유의하게 정확히 판별함 - 새 화자에 대한 관여는 기존 화자에서의 이탈보다 유의하게 일찍 시작하고 끝났으며, 이 **관여-이탈 비대칭**은 1·2·4·8·16초 슬라이딩 창에서도 유지됨 - 주의 전환 뒤 EEG **알파 대역 전력**이 감소했고, 최저점은 음성 부호화 전환점보다 늦게 나타나 새 화자 추적과 청취 노력 사이의 시간적 연관성을 보여줌 - Mistral-7B-v0.1로 네 가지 어휘 문맥 전략을 비교한 결과, 이전 문맥을 버리는 **Reset 모델**의 엔트로피가 EEG를 가장 잘 예측했지만 인간도 문맥을 초기화한다고 단정할 수는 없음 --- ### 연구 질문과 실험 설계 - 여러 사람이 말하는 환경에서는 한 화자에게 주의를 유지하면서 다른 화자로 빠르게 전환해야 하지만, 기존 신경생리학 연구는 대부분 **지속적 주의**에 집중해 왔음 - 주의 전환을 기존 화자에 대한 신경 추적이 줄어드는 **이탈(disengagement)** 과 새 화자 추적이 늘어나는 **관여(engagement)** 로 나눠 두 과정의 시간적 관계를 조사함 - 18~39세의 정상 청력 영어 원어민 24명이 참여했으며, 신경·정신질환 이력이 없고 정상 또는 교정 시력을 보유했음 - 반지름 1.5m의 원형 배열에 스피커 6개를 배치함 - 전방 좌우 ±30°에서 서로 다른 TED Talk 음성을 각각 60dB SPL로 재생함 - 후방 스피커 4개에서는 각각 4명분을 합친 **16화자 배블 잡음**을 54dB SPL로 재생해 전경 대비 배경 SNR을 3dB로 설정함 - 참가자는 180초짜리 시험 20개를 수행하며 화면 화살표에 따라 시험당 6회 좌우 화자 사이에서 주의를 전환함 - 지속적 주의 구간은 반무작위 간격으로 구성됨 - 전경 자극에는 남성 20명과 여성 20명의 TED Talk 40개를 사용함 - 각 시험 후 내용 확인, 선호 화자, 전환 난이도에 답함 ### 행동 결과와 주의 디코딩 - 기술 문제로 한 명의 행동 데이터가 누락돼 23명을 대상으로 계산한 내용 질문 평균 정확도는 **86.3%** 였음 - 좌측 음성 선호 비율은 평균 49.79%로 균형을 이뤘고, 전환 난이도는 1~5점 중 평균 **3.1점**이었음 - 64채널 EEG를 512Hz로 기록하고 전처리 후 64Hz로 다운샘플링했으며, 음성과 EEG 사이의 지연 선형 관계를 **시간 반응 함수(TRF)** 로 모델링함 - 역방향 TRF로 EEG에서 주의 대상 음성 포락선을 복원한 뒤 좌우 음성과의 상관관계를 비교함 - 1·2·4·8·16·32초 디코딩 창을 사용함 - 창이 길수록 분류 성능이 높아졌지만, 1초 창을 포함한 모든 조건이 라벨을 100회 무작위화한 우연 분포의 95번째 백분위수보다 유의하게 높았음 - 동적인 전환 상황에서도 EEG의 음성 포락선 복원으로 **주의 대상 화자**를 안정적으로 추적할 수 있었음 ### 새 화자 관여가 기존 화자 이탈보다 빠름 - 순방향 다변량 TRF에는 음성 포락선, 단어 시작, 단어 놀람도를 포함하고 실제 EEG와 예측 EEG의 상관관계를 슬라이딩 창으로 계산함 - 전환 전에는 기존 화자의 음성이 더 강하게 추적됐고, 전환 후에는 새 화자 추적이 강해져 시각적 주의 지시와 일치함 - 전환 전후에 50%를 넘는 신뢰 가능한 주의 편향을 보인 **21명**을 시간 분석에 사용함 - 제외된 참가자는 이탈과 관여의 시작·종료 지점을 추정할 수 없었음 - 제외된 3명을 포함한 후속 분석에서도 관여가 더 이른 정성적 패턴은 유지됐지만 통계적 유의성은 사라짐 - 참가자별 EEG 예측 상관관계에 구간별 선형 회귀를 적용해 이탈과 관여의 시작·종료점을 추정함 - 4초 창에서 새 화자 관여는 기존 화자 이탈보다 유의하게 일찍 시작함 - 관여 종료 역시 이탈 종료보다 유의하게 빨랐음 - 1·2·4·8·16초 창을 함께 분석해도 **관여-이탈 비대칭**이 유지됨 - 긴 창일수록 추정된 전환 시간이 길어졌음 - 슬라이딩 창의 시간 평활화는 전환을 늘일 수 있지만 두 과정의 비대칭 자체를 만들지는 않음 - 새 화자 추적이 기존 화자 추적의 감소보다 먼저 나타나는 짧은 구간에는 두 음성 스트림이 **동시에 신경적으로 표상**됨 ### 알파 대역과 청취 노력 - 주의 전환 주변의 8~12Hz **알파 대역 사건 관련 스펙트럼 변동(ERSP)** 을 청취 노력의 지표로 사용함 - 전환 중 알파 전력은 후두-두정 영역에서 유의하게 감소했고, 전환 신호 약 4.5초 뒤 큰 감소가 측정됨 - 4초 창에서 알파 ERSP 최저점은 두 화자의 EEG 예측 상관관계가 교차하는 **부호화 전환점**보다 유의하게 늦었음 - 여러 창 길이에서도 같은 순서가 유지됨 - 알파 최저점은 새 화자 관여가 완료되는 시점과 대략 대응했으며, 기존 화자 이탈 완료보다는 앞섰음 - 이 시간 관계는 알파 전력이 새 화자에 다시 초점을 맞추는 노력, 새 방해 화자의 능동적 억제 또는 두 과정의 조합과 연결될 가능성을 남김 - 새 스트림의 음향·언어 문맥이 충분히 축적되면 추적이 쉬워져 인지 자원이 풀릴 수 있지만, 전환 난이도에 따른 추가 검증이 필요함 ### 네 가지 어휘 문맥 모델 - 주의 대상이 바뀌면 어휘 예측에 사용하는 의미 문맥도 달라지므로, [Mistral-7B-v0.1](https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.3003876#pbio.3003876.ref082)로 단어 놀람도와 엔트로피를 계산함 - **놀람도**는 앞선 문맥에서 현재 단어가 얼마나 예상 밖인지 나타냄 - **엔트로피**는 다음 단어 예측의 불확실성을 나타냄 - 네 가지 문맥 누적 전략을 비교함 - **Oracle**: 현재 화자의 이전 발화를 주의를 기울였는지와 관계없이 모두 사용하며 전환을 인식하지 않음 - **Speaker-Specific**: 같은 화자의 이전 주의 구간만 사용함 - **Attention**: 화자와 관계없이 이전에 주의를 기울인 모든 구간을 사용함 - **Reset**: 전환 전 문맥을 모두 버리고 현재 주의 구간에서만 새 문맥을 축적함 - 전환 직후 Reset 모델의 엔트로피가 가장 크게 치솟은 뒤 단어가 이어지면서 감소함 - Attention과 Speaker-Specific은 서로 비슷하고 더 안정적이었음 - 전환을 인식하지 않는 Oracle은 전환 전후 변화가 거의 없었음 - 전체 평균에서는 Reset 엔트로피가 Oracle보다 높고 Attention 및 Speaker-Specific보다 낮은 중간 수준이었음 ### Reset 모델의 EEG 예측 결과 - 음향 특성만 사용한 기준 TRF와 비교했을 때 엔트로피를 추가한 Speaker-Specific·Attention·Reset 모델은 유의한 예측 향상을 보였지만, **Oracle은 향상되지 않음** - 놀람도를 사용한 경우에도 Oracle을 제외한 세 모델에서 의미 정보 부호화가 확인됨 - 예상과 달리 엔트로피 기반 **Reset 모델**은 Oracle, Speaker-Specific, Attention보다 EEG 예측 상관관계가 유의하게 높았음 - 350~550ms의 TRF-N400 진폭은 Reset에서 다른 세 모델보다 낮았음 - 놀람도 기반 분석에서는 Reset이 Oracle보다 높았지만 나머지 모델 간 비교는 유의하지 않았고, TRF-N400 진폭에도 유의한 차이가 없었음 - 엔트로피는 앞으로 올 단어의 불확실성을 반영하지만 놀람도는 이미 등장한 단어에 반응한다는 차이가 결과에 영향을 줬을 수 있음 - 참가자는 전환 신호를 받아 다른 음성이 올 것을 예상했지만 LLM은 신호를 받지 않았으므로, 인간과 모델의 놀람도가 일치하지 않을 수 있음 - Mistral은 다음 단어 예측에 최적화됐을 뿐 **신경생리학적 타당성**을 목표로 하지 않음 - 결과는 전환 때 인간이 어휘 문맥을 초기화할 가능성과 부합하지만, 인간과 LLM이 음성 불연속을 전혀 다르게 처리했을 가능성도 남아 있음 ### 한계와 활용 가능성 - 슬라이딩 창으로 계산한 관여·이탈 시간은 창 길이에 의존하므로 **절대적인 신경 처리 시간**이 아니라 과정 간 상대적 시간으로 해석해야 함 - 지시된 전환 과제는 실제 대화보다 덜 자연스럽고, 방해 음성을 감시하도록 유도하므로 지속적 주의 과제와 다른 전략을 만들 수 있음 - 비대칭은 인지 부하, 나이, 인지 능력, 청력 문제, 음성 내용에 대한 관심, 전환 빈도와 과제 특성에 따라 달라질 수 있음 - 이전 문맥을 완전히 버리는 대신 이야기의 요지처럼 추상적으로 요약해 유지할 가능성도 있음 - 문장 예측에 최적화된 Large Concept Model이나 짧은 토큰 문맥과 과거 요약을 결합하는 모델을 비교할 수 있음 - 음성별 부호화 변화를 분리하는 방법은 단순 주의 분류보다 세밀하며, 인지 제어형 보청기 연구와 연령·청력 집단 비교에 활용할 수 있음 - 전처리 EEG, 분석 파일, 코드와 음성 자극은 [Zenodo](https://zenodo.org/records/20569817)에 공개돼 있음 ## Comments ### Comment 62007 - Author: neo - Created: 2026-07-19T06:34:45+09:00 - Points: 1 ###### [Hacker News 의견들](https://news.ycombinator.com/item?id=48943745) - Richard Feynman이 머릿속으로 60초를 세며 동시에 무엇을 할 수 있는지 실험한 이야기가 떠오름. Feynman은 세면서 읽을 수 있지만 말할 수는 없었고, John Tukey는 반대로 말할 수 있지만 읽을 수는 없었음 Tukey는 숫자를 세며 테이프를 시각화했고 Feynman은 속으로 말했기 때문이었음. 같은 **숫자 세기**라도 사람마다 머릿속 과정이 다르며, 세는 동안 무엇을 할 수 있고 없는지를 관찰하면 이를 객관적으로 검증할 수 있다는 결론임 Feynman은 방정식의 글자를 색으로 보는 자신과 학생들이 **Bessel 함수**를 전혀 다르게 인식할 가능성도 생각했음 [https://calteches.library.caltech.edu/3591/1/Feynman.pdf]() - 딸을 재울 때 안고 노래하면서 300걸음을 세곤 했는데, 내적 독백 대신 **숫자를 시각화**하면 노래와 숫자 세기가 동시에 가능했음. 다만 집중력이 더 필요했고, 이제 혼자 잠드는 딸을 보면 가끔 그때가 그리움 - 글을 읽지만 않으면 별로 집중하지 않고도 오디오북 내용을 따라갈 수 있음. 읽을 때 **속발음**하기 때문에 오디오북과 독서를 동시에 못 하는 듯하며, 속독보다 단어 하나하나를 느끼며 읽는 편이 좋음 - 좌우 대뇌반구가 서로 다른 인지 기능과 반대쪽 신체 운동을 담당하고 **뇌량**을 통해 통신한다는 점과 관련 있어 보임. 뇌량이 절단된 분리뇌 환자는 두 반구가 독립적으로 행동하기도 하며, Michael Gazzaniga와 Roger Sperry의 실험에서 이를 볼 수 있음 Feynman의 실험은 각자 발달시킨 내부 처리 방식을 외부에서 검증할 수 있음을 보여주며, 수학 기호에 색을 느낀 것도 우뇌가 좌뇌의 논리 문제에 고유한 식별자를 부여한 결과일 수 있다고 봄 - 음악을 들으면 일하거나 읽고 집중할 수 없는 것도 같은 이유인지, 아니면 음악이 주의를 전부 가져가기 때문인지 궁금함 - 아이에게 자장가를 부르면서 읽는 건 아주 쉬운데, 머릿속으로 숫자를 세며 말하려 하니 **벽에 막힌 듯** 불가능했음 - 동화책을 소리 내 읽으면서 전혀 별개의 생각을 이어갈 수 있음. 다만 다른 생각 속 단어로 바꿔 읽는 등 **오류가 낭독에 새어 나올** 때가 있음 - 물리학자인 아버지가 책을 읽다 잠들기 시작하면 동화가 갑자기 말이 안 되고 어려운 **물리학 용어**로 가득해져서 바로 알아챌 수 있었음 - 매일 저녁 아이에게 책을 읽으며 15분 정도 다른 문제를 생각할 수 있지만, 그 상태에서는 줄거리를 따라가지 못함. 아이가 “아빠, 왜 자전거를 훔쳤어?”라고 묻는 순간 모든 위장이 무너짐 - 아이들에게 Enid Blyton 책을 비롯해 수십 권을 읽어주면서 일이나 집안일 등을 동시에 생각할 수 있음. 몇 분간 읽은 내용을 전혀 따라가지 못해 다시 시작해야 하며, **음운 루프**인 눈과 입의 경로가 기억·처리·집행 인지 경로와 독립적으로 작동하는 듯함 - 학교에서 교과서를 돌아가며 읽을 때 목소리와 문장부호에 맞춘 억양에만 집중했음. 문단을 마치면 내용을 이해하려고 조용히 다시 읽어야 했고, 지금도 복잡한 글을 **이해하면서 낭독**하려면 두 처리 흐름을 모두 써야 함 - 다른 생각에 더 많은 인지 자원을 쓰다 보면, 읽기에 전혀 노력하지 않았는데도 계속 소리 내 읽고 있었다는 사실을 깨닫곤 함 - 조종사이자 무선통신 담당자로서 늘 **두 개의 음성 흐름**을 동시에 처리할 수 있었기에 놀랍지 않은 결과임 - 관제센터와 TRACON의 관제사들은 양쪽 귀로 여러 주파수를 감시하면서, 조종사가 다른 주파수의 교신을 덮어도 처리해야 함. 인계 과정에서 내부 소통까지 해야 하며, 교신 내용도 주말 바비큐 이야기가 아니라 **METAR 수준으로 정보 밀도**가 높음 - 교사로서 여러 아이와 동시에 대화할 때가 있음. 깊은 집중이 필요하지 않으면 가능하지만 피곤해서 되도록 피함 - 헤드셋에서 여러 음성이 중앙이나 모노로 겹쳐 들리는지, 아니면 **왼쪽 귀와 오른쪽 귀**로 분리되는지 궁금함 - 여러 마음챙김 수행은 내면의 목소리를 잠재우기 위해 주의를 두 곳에 동시에 두는 듯함. George Gurdjieff의 **The Fourth Way**와 P. D. Ouspensky의 기록에서는 두 대상에 집중해 주의 흐름을 포화시키면 명상과 비슷한 의식 변화가 일어난다고 묘사함 [https://en.wikipedia.org/wiki/In_Search_of_the_Miraculous]() - 그래서 **푸가**를 듣는 일이 그렇게 즐거운지도 모르겠음 - 대학 시절 파티에서 여러 대화에 동시에 참여하며 무리 사이를 오가곤 했음. 능력이 뛰어나서라기보다 주변 대화가 전부 들렸고, 여러 무리에서 흥미로운 이야기를 하면 어느 쪽도 놓치기 싫어 계속 **대화 사이를 왕복**했던 것임 - 여러 감각 흐름을 처리할 수 없다면 배경의 위험을 감시하거나 **문맥 전환**을 할 수 없을 것임. 의식적 경험과 배경에서 일어나는 처리는 다름 - 여러 흐름을 처리하는 것과 **동시에 연속적으로 처리**하는 것은 다름. 단일 코어 CPU가 여러 스레드를 다루듯 A와 B 사이를 짧게 오가는 시간 분할로도 전자는 가능함 뇌가 여러 흐름을 실제로 동시에 계속 처리하고 부호화한다는 증거는 멀티태스킹의 정확한 메커니즘을 이해하게 해주므로, 결과가 당연해 보여도 연구할 가치가 큼 - 여기서 다루는 것은 일반적인 다중 감각 처리가 아니라 여러 **음성 흐름**의 처리임 - 글의 의미를 이해하는 것과 신호에서 위험을 판별하는 것은 처리의 **질적 수준**도 다름 - 이미 잘 알려진 사실인 줄 알았음. 내 문제는 다른 사람의 말을 **무시하지 못한다는 것**으로, 누군가와 대화하면서도 주변 대화를 한 단어도 빠짐없이 듣게 됨 - Apollo 임무 관제팀은 여러 대화 흐름을 동시에 처리하도록 훈련받았지만, 이를 끌 수 없어서 **칵테일 파티**가 악몽이 되었다고 유명함 - 공항 관제사와 철도·지하철의 비슷한 직군도 같은 어려움을 겪을 가능성이 큼 - 친척들과 식사하면 모두가 동시에 말하며 대부분 두 대화에 참여함. 대학 때문에 집을 떠난 여동생은 이 습관을 다시 버리는 데 몇 주가 걸려서 방문 중에는 식사 자리에서 아예 말하지 않았음 - 이 일화의 출처를 확인할 만한 링크가 궁금함 - Pythagoras의 전설적인 초능력 중 하나는 두 도시에 동시에 나타나 강의했다는 **이처소성(bilocation)** 임. 사교 자리에서 여러 대화에 동시에 참여할 때마다 Pythagoras가 떠오름 - 애니메이션과 음향을 처음 결합했을 때, 진자가 끝에 닿는 정확한 순간 “톡” 소리를 재생하면 사람들은 소리가 늦었다고 느꼈음. 한 자극에서 다른 자극으로 **주의를 전환하는 데 약 1/16초**가 필요하기 때문이라고 함 시간 지각에 관한 다른 관찰은 [https://en.wikipedia.org/wiki/Time_perception]()에서 볼 수 있음 - 소리 자체의 전달 속도도 느림 - 실제 시계의 똑딱 소리는 어차피 진자가 끝에 도달하기 전에 발생함