군중 속 한 사람의 목소리를 듣게 해주는 AI 헤드폰

• 워싱턴대 연구팀은 착용자가 말하는 사람을 3~5초 바라보기만 하면 그 화자를 등록하고, 시끄러운 환경에서도 해당 목소리를 실시간으로 들려주는 Target Speech Hearing 시스템을 개발함
• 기성 헤드폰의 양쪽 마이크와 온보드 임베디드 컴퓨터가 함께 동작하며, 사용자가 버튼을 누르고 화자 쪽을 향하면 기계학습 소프트웨어가 음성 패턴을 학습함
• 등록 후에는 청자나 화자가 움직여도 목소리를 계속 따라가며, 화자가 더 말할수록 훈련 데이터가 늘어나 목표 화자에 집중하는 성능이 좋아짐
• 21명 대상 테스트에서 참가자들은 등록 화자의 음성 명료도를 필터링되지 않은 오디오보다 평균적으로 거의 두 배 높게 평가함
• 현재는 한 번에 한 명만 등록할 수 있고, 같은 방향에서 큰 목소리가 섞이면 등록이 어려워 이어버드·보청기 확장은 향후 과제로 남아 있음

---

Target Speech Hearing의 동작 방식

• 워싱턴대의 Target Speech Hearing은 소음 제거 헤드폰에서 사용자가 특정 사람의 목소리만 골라 들을 수 있게 하는 AI 시스템임
• 사용자는 마이크가 장착된 기성 헤드폰을 쓰고, 말하는 사람을 향해 머리를 돌린 뒤 버튼을 누름
  • 목표 화자의 음파가 헤드셋 양쪽 마이크에 동시에 도달해야 함
  • 허용 오차는 16도임
• 헤드폰은 수집한 신호를 온보드 임베디드 컴퓨터로 보내고, 기계학습 소프트웨어가 원하는 화자의 음성 패턴을 학습함
• 등록이 끝나면 시스템은 주변의 다른 소리를 줄이고 등록된 화자의 목소리만 실시간으로 재생함
  • 청자와 화자가 움직여도 등록된 목소리를 계속 따라감
  • 화자가 계속 말하면 훈련 데이터가 늘어나 목표 화자에 더 잘 집중할 수 있음
• 연구팀은 5월 14일 ACM CHI Conference on Human Factors in Computing Systems에서 결과를 발표함
• 개념증명 장치의 코드는 LookOnceToHear에 공개되어 있음
• 이 시스템은 아직 상용 제품이 아님

실험 결과와 현재 한계

• 21명 대상 테스트에서 참가자들은 등록 화자의 명료도를 필터링되지 않은 오디오보다 평균적으로 거의 두 배 높게 평가함
• 이 연구는 사용자가 듣고 싶은 소리 범주를 고르면 나머지 환경음을 제거하던 이전 semantic hearing 연구를 기반으로 함
  • 이전 시스템은 새나 목소리 같은 특정 소리 클래스를 선택하는 방식이었음
  • TSH는 소리 범주가 아니라 한 명의 등록 화자에 초점을 맞춤
• 현재 TSH는 한 번에 한 명의 화자만 등록할 수 있음
• 목표 화자와 같은 방향에서 다른 큰 목소리가 나면 화자를 등록할 수 없음
• 사용자가 음질에 만족하지 못하면 같은 화자에 대해 등록 과정을 다시 실행해 명료도를 개선할 수 있음
• 연구팀은 향후 시스템을 이어버드와 보청기로 확장하려고 함

[GN⁺]

Hacker News 의견들

• 크기가 작은 귀마개 정도로 줄어든다면 청각장애가 없는 사람으로서도 쓰고 싶음
  적어도 진단상으로는 청각장애가 아니라고 했는데, 검사 방식이 별로인 건지 내가 정상이고 다른 사람들이 잘 듣는 척을 더 잘하는 건지 이제는 헷갈림
  친구나 모임에서는 시끄러운 식당이나 바에 가게 되기 마련이고, 못 들어서 다시 말해 달라고 해도 같은 낮은 목소리로 반복해서 또 못 듣는 일이 늘 답답함
  농담이나 지나가는 말을 놓치는 건 더 괴롭고, “뭐 때문에 웃는 거야, 못 들었는데 세 번쯤 다시 말해 줄래?” 같은 상황이 됨

  • 사람 많은 곳에서는 아무도 알아듣지 못했고, 중년이 되면서 청력이 떨어진 줄 알았음
    그런데 가는 청각전문의마다 청력은 정상이라고 했고, 결국 큰 도시권에서 가장 좋다는 전문의를 찾아 1년 대기 끝에 예약함
    하루 종일 검사한 뒤 전문의가 “좋은 소식, 나쁜 소식, 좋으면서 나쁜 소식”이 있다고 했는데, 좋은 소식은 청력이 5살 아이 수준으로 매우 좋다는 것이었고, 나쁜 소식은 너무 잘 들려서 소리를 구분하지 못한다는 점이었음
    청력이 나빠진 게 아니라 뇌가 소리를 분리하는 능력이 떨어진 것이고, 좋으면서 나쁜 소식은 결국 모두처럼 청력이 감퇴할 테니 몇 년 동안은 공공장소에서 더 잘 들을 수 있을 거라는 얘기였음
    이 문제가 더 심해진 이유 중 하나는 식당과 공공공간 설계자들이 소리 환경을 더 이상 신경 쓰지 않기 때문이라고 봄
    최근 15년 사이 문을 연 바는 대부분 시멘트 바닥에 흡음도 거의 없고, 귀가 울릴 정도가 아니면 즐거운 시간이 아니라는 전제로 설계된 듯함
    말 그대로 대화를 유지할 수 없어서 그런 곳은 더 이상 가지 않음
  • 이건 개인의 문제가 아님. 서로 겨우 들릴 만한 환경에서 대화하기로 집단이 선택한 것임
    기기로 해결하기보다 문제를 있는 그대로 보고 “하나도 못 들었고 너희도 아마 그럴 거야. 이건 멍청한 짓이니 나가자”처럼 전통적인 방식으로 푸는 편을 권함
    이런 장소들은 계속 소리 지르거나 주변에 무감각하지 않으면 고통받도록 설계된 경우가 많음
    왜 사람들이 거기 가서 돈까지 쓰는지 모르겠고, 나는 돈을 준대도 안 갈 것 같음
    서로의 한계를 존중하는 일을 AI 기기로 대체하고 싶지는 않음
  • 골전도 이어폰을 너무 많이 쓰게 됐는데, 이런 상황에서 꽤 유연해서 인상적임
    귀는 열어 둔 채 헤드셋 소리를 들을 수 있고, 사람 많은 곳에서 통화할 때처럼 더 또렷하게 들어야 하면 손가락으로 귀를 막으면 됨
    그러면 귀 안에 스피커 캐비닛 같은 효과가 생겨 골전도 음질이 더 풍부해지고, 외부 소음도 차단됨
    완전한 헤드폰 품질이 필요하면 귀마개를 끼면 되고, 크기도 작고 눈에 덜 띔
    완벽하진 않지만 “귀를 열어 둔 채 헤드셋을 듣기”에서 “소리를 막고 헤드셋을 아주 또렷하게 듣기”로 손가락이나 귀마개만으로 부드럽게 전환할 수 있다는 점이 좋음
    옆에 샷건 마이크를 붙이면 정말 멋질 듯함. 좁은 지향각을 가진 마이크를 그렇게 부르는 게 맞다면 말임
  • 이런 수동 지향성 귀마개가 있음
    https://www.flareaudio.com/pages/earhd
  • 청각 처리 장애가 있어서 청력 자체는 정말 좋은데, 누군가 내게 말하는 소리가 주변의 아무 잡음보다 훨씬 낮은 해석 우선순위를 받는 느낌임
    입술이 보이면 입술 읽기를 못하더라도 말을 훨씬 정확히 해석하는 데 도움이 됨
    이걸 찾아볼 때마다 자폐나 ADHD와의 연관으로 이어졌고, 2008년에는 진단을 받기 전이라 그런 생각을 좀 무시했음
    지금은 AuDHD 진단을 받았음

• HN 독자들이 알아야 할 점은 보청기가 얼마나 비싸고 형편없는지임
  가격을 찾아보면 기본적인 “소리를 크게 해 주는” 수준의 보청기조차 엄청나게 비쌈
  더 나쁜 점은 귀에 개입하기 때문에 청각을 “조향”하는 능력을 잃기 쉽다는 것임
  즉 다른 대화나 소음 등을 걸러 내기 어려워짐
  Facebook이 실용적이고 대중적인 AR을 찾겠다며 아마도 헛수고에 가까운 일에 수십억 달러를 쏟아붓는 과정에서 나온 좋은 부산물 하나는 https://www.projectaria.com/glasses/임
  AR식 동작을 실험할 수 있는 비교적 저렴한 플랫폼이고, 시선 추적, 마이크 배열, 전면 카메라가 있어 조향 가능한 마이크로 꽤 쉽게 개조할 수 있음

  • 현대 보청기는 꽤 멋짐. 아주 작은 형태에 놀라울 만큼 많은 기능이 들어갔고, Bluetooth를 써도 배터리가 일주일은 감
    내 Phonak 보청기는 어느 정도 자동으로 프로그램을 전환하고, 동반 앱으로 세부 조정도 가능함
    시끄러운 환경에서도 어느 정도 기능하고 대화도 할 수 있는데, 10년쯤 전 보청기로는 불가능했을 일이라 정말 감사함
    한 쌍 가격은 대략 2000달러이고, 다행히 국가 의료 시스템에서 보장돼 5년에 한 번쯤 50달러만 냄. 물론 세금으로 내는 것이기도 함
    “AI” 발전으로 단순 증폭과 필터링을 넘어, 시끄러운 환경에서 목소리를 분리하고 강화하거나 재구성할 수 있기를 바람
    한편 카페, 식당, 바에서 음악을 점점 크게 트는 유행은 사라졌으면 좋겠음. 특히 난청이 있는 사람에게는 물론이고 그 외 사람들에게도 접근성 악몽임
    0: https://www.socialstyrelsen.se/en/about-us/healthcare-for-vi...
    1: https://www.vox.com/2018/4/18/17168504/restaurants-noise-lev...
  • 비싼 건 기술 문제가 아니라 반독점 문제임
    작은 카르텔이 공급을 장악하고 있어서, 더 나은 기술로 경쟁하기보다 이익 극대화만 할 유인이 생김
    (0) https://www.thebignewsletter.com/p/silencing-the-competition...
  • 보청기에 대한 유일한 조언은 필요하다면 일찍 진단받고 개입하라는 것임
    그래야 자신에게 잘 맞고 가장 저렴하며 신뢰할 수 있는 보청기를 얻을 수 있음
    그렇지 않으면 감각 손실 때문에 앞서 말한 주의 필터링 문제가 생기기 시작함
    청력이 나빠지기 시작한 뒤 청각 보정을 오래 피할수록, 다시 보완하는 데 더 복잡하고 비싼 보청기가 필요해짐
    비싼 보청기들은 감각 손실 전에는 뇌와 청각 피질이 해 주던 일을 서툴게 근사하기 때문임
    잠깐, 청력 검사 예약하러 가야겠음
  • 우리 할머니도 그런 것들을 다 갖고 계셨음
    할머니가 살아 계실 때 가족 행사나 공공장소에서 대화해 보면서 비슷한 걸 만들어 볼까 생각한 적도 있음
    비싼 이유는 의료·헬스케어 회사와의 관계, 규정 준수 때문에 비용이 올라가기 때문일 것 같음
    예를 들어 같은 디스플레이라도 의료 시설 사용 인증이 붙으면 몇 배나 비싸지는 식임
  • 비싼 건 맞음. 내 보청기는 한쪽에 약 2500캐나다달러였지만, 보청기가 형편없다는 건 내 경험과 다름
    내 Widex 보청기는 훌륭함. 일반적인 상황에서 음질이 환상적임
    유일한 진짜 불만은 완전 방수가 아니라 비 오는 날 밖에 나갈 때 조금 미리 계획해야 한다는 정도임

• 청각장애가 있는 사람으로서 이런 기능은 정말 하늘이 준 선물 같음
  이런 기능은 최대한 빨리 보청기에 통합돼야 함. 닥쳐, 아니 사실 계속 말해 줘, 돈 낼 테니까

  • 충분히 오래 살면 우리 대부분이 결국 지금 당신이 있는 곳에 가게 됨
    개인별 음성을 골라낼 수 있다면 음성 인식으로 넘겨 실제 대화에 자막을 붙일 수도 있음. 청력이 더 나빠지거나 아예 없을 때 유용함
    다만 클라우드 왕복 지연은 유용성을 크게 떨어뜨리거나 무용하게 만들 수 있어서, 로컬에서 처리 가능한 모바일 기기가 정말 필요함
  • 나도 감각신경성 난청이 있는데, Bose Hearphones에는 지향성 소음 제거 같은 비슷한 기능이 있어 꽤 도움이 됨
    단종됐지만 리퍼 제품은 구할 수 있음
  • 이 분야에서 Luxottica가 하는 일을 살펴볼 만함
    웨어러블 안경은 말한 사용 사례에 꽤 유망한데, 누군가와 대화할 때 헤드폰을 쓰는 부피감과 무례해 보이는 느낌을 피할 수 있기 때문임

    https://www.cnet.com/health/medical/what-did-you-say-these-e...

• 이것보다 더 발전된 형태라면 내 이명에도 꽤 도움이 될 것 같음
  한 사람이 말할 때는 작게 말하거나 멀리 있어도 잘 들리는데, 여러 명이 말하거나 음악이 있으면 아무것도 안 들림

  • 나도 비슷함. 낮은 주파수의 라디오 잡음 같은 이명이 조금 있고, 배경 소음과 대화가 많은 시끄러운 곳에서는 대화가 힘듦
    시끄러운 바에 앉으면 가장 가까운 두 사람 말고는 무슨 말을 하는지 듣기 거의 불가능함
    일반적인 환경의 대화는 대체로 문제없음
    그래서 내가 보고 있는 사람의 말을 강화해 주는 기능이 있으면 정말 멋질 것 같음
    Apple AirPods에는 이미 환경과 모드에 반응하는 소리 조절 기능이 있고, 말하는 사람 앞에 휴대폰을 놓으면 특정 음성 강화도 지원함
    이 연구처럼 지향성 음성 강화를 AirPods 안에서 직접 지원하게 되면 시끄러운 장소에서 사회적 상호작용에 큰 도움이 될 것임

• 코드: https://github.com/vb000/LookOnceToHear

• 반대 용도로 상용 성공할 가능성이 더 커 보임
  파티에서 짜증 나는 목소리로 지나치게 크게 떠드는 그 한 사람만 음소거할 수 있다고 상상해 보셈

  • 실제로 대량 판매할 수 있는 걸 생각한다면 “파티”의 규모를 더 크게 봐야 할 수도 있음
    콘서트에서는 귀를 망치지 않으려고 귀마개를 흔히 끼는데, 그걸 콘서트와 가족·친구 목소리만 남기고 나머지를 필터링하는 인이어 헤드폰으로 바꾼다고 상상해 보셈
    볼륨도 조절해서, 배우자가 말하면 그 목소리만 다른 소리 위로 크게 만들고, 군중 소음은 분위기에 맞춰 남기되 주변 사람들의 일반 대화는 제거하는 식임
    머신러닝이나 AI 쪽 전문가는 아니지만, 현재 기술로 불가능한 일은 아닌 것으로 이해함
    배터리와 전력 제한은 있겠지만 콘서트라면 머리 뒤로 밴드가 지나가 고정하고 떨어져도 잃어버리지 않는 헤드폰도 말이 됨
    “네 목소리” 학습이 필요하겠지만 Alexa가 10초 만에 할 수 있다면 휴대폰 앱도 가능할 것임
    영화관용으로 200유로 미만에 나온다면 지금 당장 사고, 다시 영화관에 갈지도 모름
  • 사람을 선택적으로 음소거하는 기능은 Black Mirror 몇 에피소드에 나왔음
  • 이게 내가 겪은 가장 강한 “아, 내가 늙었나 보다” 순간 같음
    사람들이 파티에서 헤드폰을 쓰나?
  • 15피트 떨어져 있어도 아플 정도로 크게 웃고, 1분에 세 번씩 계속 웃는 사람이 있으면 정말 미쳐버림
    그런 사람을 걸러 낼 방법이 있다면 확실히 고마울 듯함
  • 몰래 사람들 대화를 엿듣는 범죄적 활용도 꽤 유용할 수 있음

• 예전 Sonos에서 일했는데, 지금의 앱 업데이트 대참사와 헤드폰 출시 훨씬 전이었음
  첫 번째로 중단된 헤드폰 제품 개발 시도 때, 이와 비슷하게 능동 소음 제거 칩셋을 통해 특정 사람 목소리만 선택적으로 통과시키는 개념 기능을 검토했음
  DSP 쪽 사람들이 정확히 어떤 접근을 썼는지는 기억나지 않음. 나는 능동 소음 제거 하드웨어에 더 가까웠음
  다만 그들이 실질적으로 분리할 수 있었던 건 착용자 본인의 목소리뿐이었고, 그 이유는 그 신호가 다른 모든 소리보다 더 강했기 때문임
  이건 정말 멋짐. 헤드폰으로 또 어떤 재미있는 일을 할 수 있을지 궁금함
  능동 소음 제거 칩셋은 엄청나게 강력하고, 그 능력은 아직 완전히 활용되려면 한참 남았다고 봄

  • 일 년에 한 번쯤은 하루 정도를 낭비하며, 시끄러운 환경에서 일해도 그 소음이 통화나 회의 통화로 전달되지 않게 해 주는 이어버드를 찾아봄
    아직 적절한 제품을 찾지 못함
    청취자 쪽 소음 제거는 차음과 능동 소음 제거로 해결된 듯하지만, 받는 사람에게 내 목소리만 분리하고 소음을 차단해 진짜 원격 근무를 가능하게 해 주는 하드웨어·소프트웨어 조합이 나오면 정말 좋겠음
  • Sonos 보청기는 절대 원하지 않음
    Sonos 제품은 전반적으로 기본 기능 문제가 있는데, 예를 들어 Wi-Fi가 끊겼다가 돌아와도 다시 연결하지 못하고, 그 사이 Wi-Fi 채널이 바뀌면 특히 심함
    “기술적” 해결책은 플러그를 뽑아 재부팅하는 것인데, 원격으로도 못 함
    Wi-Fi에 연결돼 있고 Sonos의 Spotify Connect가 말도 안 되게 버그가 많아서 재부팅하고 싶을 때조차 불가능함
    esp나 비슷한 TI 모듈 같은 걸로도 Wi-Fi 연결을 유지하고 항상 재연결하게 만들 수 있는데, Sonos 펌웨어 개발자들이 그런 기본적인 걸 하는 게 그렇게 어려운가?
  • 논문을 읽어 보면 달라진 게 없음
    여전히 목표 화자와 같은 위치에 경쟁 소리나 목소리가 없어야 한다는 조건에 의존함

• 오픈소스 코드는 https://github.com/vb000/LookOnceToHear에 있고, 논문은 https://arxiv.org/abs/2405.06289에 있음
  그래서 많은 대중과학 기사처럼 완전히 먼 얘기는 아닐지도 모름
  누군가 독립적으로 동작시켜 볼 수 있다면 결과를 듣고 싶음

• 바쁜 방에서 누군가 말하는 걸 듣기 어려운데, 마음이 모든 소리를 다 잡으려 하기 때문인 듯해서 나에게 실제로 큰 도움이 될 수 있음. 아마 ADHD 때문이라고 봄
  대화 상대의 목소리 외 다른 소리를 크게 줄일 방법이 있다면 놀라울 것 같음

  • AirPods처럼 눈에 잘 띄지 않는 형태로 나온다면 큰돈을 낼 의향이 있음
    AirPods 자체가 언젠가 이걸 할 수 있게 되는 건 시간문제였으면 좋겠음
  • 나도 같은 문제가 있음. 청력은 괜찮지만 바쁜 클럽이나 카페에서 사람들과 대화하는 건 거의 불가능함
    이런 기능은 나에게 축복일 것임
  • ADHD나 자폐에 대해 잘 알지는 못하지만, 스스로 어느 정도 자폐 성향이 있는 것 같고 이 문제가 정말 심함
    작은 삐 소리를 듣는 청력검사에서는 괜찮게 나오지만, 특히 붐비는 환경에서는 사람들이 무슨 말을 하는지 처리하는 데 큰 어려움이 있음
    아버지도 같은 문제가 있음

• 필요하다는 걸 몰랐던 잠재 기능임
  집에서 항상 능동 소음 제거 헤드폰을 쓰고 있는데, 파트너 목소리만 자동으로 통과시켜 주면 정말 유용하겠음

  • 반대도 좋을 듯함. 특정 소스만 조용하게 만드는 기능 말임
    아마 파트너는 아니겠지만, 어쩌면…
  • 능동 소음 제거는 목소리를 막지 않음
    파트너의 목소리가 약하게 들리고 귀까지 잘 안 들어오는 건 아마 헤드폰의 수동 차음 때문일 것임
    아니면 단순히 듣고 있는 음악이 목소리를 가리는 것일 수도 있음
    능동 소음 제거가 파트너 목소리를 막는 경우는 그 목소리가 배경 소음과 비슷한 높낮이·크기로 섞여 백색소음이나 유색소음처럼 되었고, 능동 소음 제거가 그 전체를 억제할 수 있을 때뿐임
  • 능동 소음 제거를 과하게 쓰면 조만간, 아니면 언젠가 신체적 또는 생리적 부작용이 따라올 것 같은 느낌이 듦