Apple SpeechAnalyzer API, Whisper·이전 API와 비교 벤치마크

 (get-inscribe.com)
1P by GN⁺ | ★ favorite | 댓글 1개
  • Apple M2 Pro에서 5,559개 LibriSpeech 음성을 동일한 프로덕션 코드로 처리한 결과, SpeechAnalyzer가 깨끗한 음성 2.12%, 잡음이 많은 음성 4.56%의 단어 오류율(WER)로 테스트한 모든 엔진보다 정확했음
  • 기존 SFSpeechRecognizer의 WER는 각각 9.02%와 16.25%였으며, 새 API는 같은 음성에서 오류를 3.5~4배 줄이면서 구두점과 대소문자까지 적용함
  • SpeechAnalyzer는 Whisper Small보다 정확하면서 약 3배 빨랐지만, 약 30개 로케일과 OS 26 이상 Apple 플랫폼으로 지원 범위가 제한됨
  • 모든 엔진이 M2 Pro에서 실시간보다 약 12~40배 빠르게 작동해 1시간 분량을 1.5~5분에 처리했으나, 개발 작업이 병행된 환경이라 엔진별 정밀 속도는 공개되지 않았음
  • 현재 iPhone이나 Mac에서 영어를 온디바이스로 전사한다면 SpeechAnalyzer가 우선 선택지가 될 수 있으며, Inscribe도 지원 언어에는 SpeechAnalyzer를, 나머지에는 Whisper를 쓰도록 기본 설정을 변경함

정확도 벤치마크 결과

  • 단어 오류율(WER) 은 엔진이 단어를 잘못 대체하거나 누락하거나 새로 만들어 낸 비율로, 낮을수록 정확함
  • 모든 엔진은 Apple M2 Pro 32GB와 macOS 26.5.1에서 완전히 온디바이스로 실행됨
  • LibriSpeech의 두 평가 데이터셋을 사용함
    • test-clean: 깨끗하게 낭독된 음성 2,620개
    • test-other: 더 어렵고 잡음이 많은 음성 2,939개
  • 엔진별 WER와 모델 크기는 다음과 같음
    • Apple SpeechAnalyzer: test-clean 2.12%, test-other 4.56%, 시스템 모델
    • Whisper Small: 3.74%, 7.95%, 약 460MB
    • Whisper Base: 5.42%, 12.51%, 약 140MB
    • Whisper Tiny: 7.88%, 17.04%, 약 40MB
    • Apple SFSpeechRecognizer: 9.02%, 16.25%, 시스템 모델
  • Apple은 iOS 26과 macOS 26에서 SFSpeechRecognizer를 SpeechAnalyzer·SpeechTranscriber로 교체했지만 정확도 수치는 공개하지 않았음
  • Inscribe는 두 Apple 엔진과 세 Whisper 모델을 함께 제공하므로, 같은 컴퓨터·음성·프로덕션 코드 경로에서 다섯 엔진을 비교할 수 있었음

SFSpeechRecognizer에서 이전해야 하는 이유

  • SpeechAnalyzer는 같은 음성에서 기존 API보다 WER를 3.5~4배 낮춤
    • 깨끗한 음성: 9.02%에서 2.12%로 감소
    • 잡음이 많은 음성: 16.25%에서 4.56%로 감소
  • 정확도뿐 아니라 구두점과 대소문자가 적용된 텍스트를 생성해 기존 엔진보다 결과가 잘 정돈됨
  • 동일한 1시간 분량을 전사하면 기존 API에서 잘못 인식되는 단어가 SpeechAnalyzer보다 대략 4배 많아짐
  • 음성 명령보다 긴 오디오를 처리하는 앱이라면 정확도 차이만으로도 마이그레이션할 근거가 충분함

SpeechAnalyzer와 Whisper의 선택 기준

  • SpeechAnalyzer는 두 데이터셋 모두에서 테스트 대상 중 가장 큰 Whisper 모델인 Whisper Small보다 낮은 WER를 기록함
  • 오디오 1초당 연산 시간도 Whisper Small의 약 3분의 1이어서 정확도와 속도 모두 앞섰음
  • 영어를 Apple 하드웨어에서 처리할 때는 테스트 가능한 온디바이스 엔진 가운데 SpeechAnalyzer가 가장 강한 결과를 보임
  • Whisper에는 두 가지 이점이 남아 있음
    • SpeechTranscriber가 약 30개 로케일을 지원하는 데 비해 훨씬 많은 언어를 지원함
    • OS 26 이상 Apple 플랫폼에 제한되지 않고 여러 환경에서 실행 가능함
  • Inscribe의 Auto 엔진은 측정 결과에 따라 지원 언어에는 SpeechAnalyzer, 그 밖의 언어에는 Whisper를 우선 사용하도록 변경됨

처리 속도와 측정 제약

  • 다섯 엔진 모두 M2 Pro에서 실시간보다 약 12~40배 빠르게 작동함
  • 1시간 분량의 오디오를 온디바이스에서 약 1.5~5분에 전사할 수 있었음
  • SpeechAnalyzer는 Whisper Small보다 약 3배 빠르면서 더 낮은 WER를 기록함
  • 정확도 측정 중 같은 컴퓨터에서 개발 작업도 실행돼 엔진별 처리 시간에 잡음이 섞였음
    • 이 작업 부하는 WER에는 영향을 주지 않음
    • 정밀한 엔진별 속도 표는 전용 유휴 환경에서 다시 측정한 뒤 추가할 예정임

재현성과 공개 데이터

  • Whisper 측정값은 OpenAI가 공개한 LibriSpeech 결과와 가까워 벤치마크 하네스의 일관성을 확인할 수 있었음
    • Whisper Tiny test-clean: 측정 7.88%, OpenAI 7.6%, 차이 +0.28%p
    • Whisper Base test-clean: 5.42%, 5.0%, +0.42%p
    • Whisper Small test-clean: 3.74%, 3.4%, +0.34%p
    • Whisper Tiny test-other: 17.04%, 16.9%, +0.14%p
    • Whisper Base test-other: 12.51%, 12.4%, +0.11%p
    • Whisper Small test-other: 7.95%, 7.6%, +0.35%p
  • 모든 측정값이 소폭 높게 나온 이유는 더 엄격한 텍스트 정규화기와 CoreML 양자화임
  • 같은 코퍼스·정규화기·채점기를 Apple 엔진에도 적용했기 때문에, Whisper 결과와의 일치가 Apple 측정값을 검증하는 기반이 됨
  • 문장별 인식 결과와 기준 텍스트, 문장별 WER를 공개해 다른 정규화 방식으로 다시 채점할 수 있음

WER 측정 방식과 온디바이스 검증

  • 각 엔진은 실험용 설정이 아니라 Inscribe 사용자가 실제로 이용하는 프로덕션 코드 경로와 버퍼링 설정으로 실행됨
  • LibriSpeech 기준 텍스트는 대문자이고 구두점이 없으며 숫자가 단어로 적혀 있지만, 최신 엔진은 구두점과 숫자를 포함해 출력함
    • 양쪽 텍스트에 대소문자, 구두점, 숫자의 단어 변환, 축약형을 처리하는 동일한 정규화기를 적용함
    • 보기 좋은 형식을 생성한 엔진이 불이익을 받지 않도록 원문을 그대로 채점하지 않고 OpenAI의 영어 정규화 방식을 따름
  • 짧은 문장이 과도하게 반영되지 않도록 문장별 WER 평균 대신 전체 오류 수를 전체 기준 단어 수로 나눈 코퍼스 WER를 사용함
  • SFSpeechRecognizer는 기본적으로 Apple 서버로 음성을 전송할 수 있어 온디바이스 인식을 강제함
    • 클라우드로 자동 전환되면 비교가 무효가 되므로 하네스가 실행을 거부하도록 구성함
    • 개인정보 보호 제품에서 5,559개 음성을 서버로 업로드하지 않기 위한 조치이기도 함
  • 결과를 반환하지 않은 경우도 숨기지 않고 해당 문장의 WER를 100%로 계산함
    • 총 27,795회 전사 중 한 번 발생했으며, SFSpeechRecognizer의 test-other 사례였음

벤치마크에서 발견한 제품 버그

  • Inscribe의 Apple 엔진 파일 가져오기 기능은 오디오를 SpeechAnalyzer에 전달하고 입력 스트림을 닫았지만 finalizeAndFinishThroughEndOfInput() 을 호출하지 않았음
  • 이 호출이 없으면 분석기가 최종 결과를 전달하지 않아 파일 가져오기가 무기한 멈춤
  • Auto 설정이 이전까지 Whisper를 우선 사용해 해당 버그가 발견되지 않은 상태였음
  • 벤치마크 과정에서 문제를 확인했으며 수정 사항은 같은 날 배포됨

한계와 실제 적용 범위

  • 영어 낭독 음성만 평가했으므로, Whisper가 지원하지만 SpeechTranscriber가 지원하지 않는 100개 이상의 언어에는 결과를 적용할 수 없음
  • LibriSpeech는 비교 가능한 표준 코퍼스지만 회의 음성은 아님
    • 억양이 있는 음성, 멀리서 녹음한 음성, 여러 화자가 참여한 회의는 후속 평가 대상임
  • M2 Pro와 macOS 26.5.1 한 대에서만 측정함
    • 정확도는 다른 Apple Silicon에서도 유지될 것으로 예상되지만 속도는 칩에 따라 달라짐
  • Whisper는 Inscribe가 실제 제공하는 WhisperKit CoreML 양자화 모델로 실행함
    • 기준 GPU 구현은 결과가 소폭 다를 수 있으며, OpenAI 공개값과의 차이는 재현성 표에 반영돼 있음
  • 현재 iPhone이나 Mac에서 영어를 전사한다면 운영체제 내장 SpeechAnalyzer가 측정상 가장 정확한 온디바이스 선택지였음
  • Inscribe는 지원 언어에서 SpeechAnalyzer를, 나머지에서 Whisper를 사용하며 모든 처리를 기기 안에서 수행하고 음성을 업로드하지 않음

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • Whisper는 비교 기준으로 적절하지 않으며, 현재는 Nvidia의 Nemotron·Parakeet, Mistral의 Voxtral, Cohere Transcribe처럼 더 뛰어난 최신 모델이 있음
    한편 Whisper를 단순히 감싼 유료 앱 상당수는 타격을 받을 듯함. Apple이 macOS용 녹음 앱 같은 네이티브 GUI를 내놓으면 요즘 바이브 코딩으로 만들어지는 래퍼 앱 대부분이 불필요해질 것 같음

    • 이 테스트는 영어만 평가했지만, 다른 모델들의 강점은 언어를 미리 지정하지 않고도 여러 언어를 인식한다는 데 있음. 일상적으로 세 언어를 받아쓰기할 때 단축키를 세 개씩 둘 필요가 없음
    • Parakeet가 정말 최첨단 모델인지는 의문임. 말을 더듬으며 “m-m-m-map”이라고 하면 Parakeet는 그대로 “m m m map”이라고 옮기는데, 용도에 따라 장점일 수도 단점일 수도 있음. Whisper는 그러지 않으며, Cohere Transcribe는 상당히 마음에 듦
    • Apple의 Voice Memos는 이미 macOS 15와 iOS 18부터 자동 전사를 지원함
    • 이 모델들 가운데 매개변수 10억 개 미만은 Parakeet뿐이며 Apple 모델보다 좋아 보이지만 내장형은 아님. 지연 시간과 효율성은 어떻게 비교될지 궁금함
    • Apple 키보드의 형편없는 음성 입력 기능도 교체해 주길 바람. 도저히 견디기 어려운 소프트웨어임

  • Mac 녹음에는 Willow를 추천함. 내용을 정리하면서도 거의 즉시 처리해 내게는 ‘완벽한 전사보다 더 나은’ 수준이며, Superwhisper도 좋아했지만 차이가 커서 Willow로 옮겼음
    더 좋아질 여지가 있는지 의문일 만큼 뛰어나고, 음성 인식은 이미 해결됐거나 늦어도 5년 안에는 해결될 문제로 보임. 관련 업체들이 장기적으로 살아남을지는 모르지만 소비자에게는 훌륭하며, 2030년의 Apple SpeechAnalyzer가 충분히 좋아지면 서드파티 소프트웨어가 필요 없어질 듯함

  • 주 용도인 수학 강의 자막 생성에서 Whisper-Large-V2와 비교해 보니 훨씬 빠르고 정확도는 약간 낮았음. 실시간 전사에는 충분히 쓸 만하지만 자막을 즉시 만들 필요는 없어 당분간 Whisper를 계속 사용할 생각임

    • 반년째 개발 중인 팟캐스트 앱에 사용하고 있는데 실제로 매우 빠름. 여러 구간으로 오디오를 나누고 동시 디코딩 스트림 제한을 넘지 않게 실행하면 엄청난 속도가 나오며, 구간 경계 일부를 잃더라도 팟캐스트 용도로는 충분함
      iPhone 17 Pro에서 1시간 분량의 오디오를 1분 만에 처리함
    • 더 빠르지만 품질이 낮다면 더 작은 Whisper 모델과 비교하는 편이 맞지 않을까 싶음

  • Voxtral과 비교하는 편이 더 적절함. 내 회의 전사에서는 공개·비공개 모델을 통틀어 이렇게 낮은 두문자어 오류율(AER)을 낸 모델이 없었고, 업무에서 쓰는 온갖 기술 용어도 이해하거나 추론해 거의 수정할 필요가 없음. Whisper는 처참할 정도로 나빴음

    • 이런 이유로 Apple 제품에서는 보통 자동 수정을 끔. 개선된 음성 모델에는 조심스럽게 기대하지만, 기술 전문 용어를 흔한 단어로 ‘교정’ 해 버릴까 우려됨

  • Whisper small·tiny·base는 거의 4년 된 모델이고 Whisper v2나 v3에서도 갱신되지 않았는데, 이제는 더 나은 비교 대상이 있어야 하지 않을까 싶음

    • 선택지는 많으며 https://artificialanalysis.ai/speech-to-text/non-streaming에서 스트리밍 지원 여부와 공개 가중치만으로도 검색·필터링할 수 있음. 현재는 Voxtral과 Nvidia Nemotron이 가장 좋아 보임
    • 모델은 아주 많고, 최근 기억나는 것 중에서는 Parakeet가 독립적인 경량 구현까지 나오며 주목받았음

  • 인상적임. Apple이 27에서 모델을 개선했다고 했으니 베타 버전의 측정 결과도 궁금함

  • 이게 1년 된 일반 iPhone 17에서는 Pro가 아니라는 이유로 실행할 수 없는 새 받아쓰기 엔진인가?

  • Spokenly를 Nvidia 모델과 오프라인 전용 모드로 사용함. 모든 처리가 로컬에서 이뤄지고 완전히 무료라 적극 추천함

  • Whisper large와 large v3 turbo도 벤치마크해 주면 좋겠음. 구형 MacBook에서도 무리 없이 실행되고 실시간 계수(RTF)가 1 미만이며, 자동 음성 인식 순위표와 달리 실제 받아쓰기에서는 Parakeet 계열보다 훨씬 정확함

    • 며칠 전에 나온 MOSS-Transcribe-Diarize를 사용해 보길 권함. 해당 Whisper 모델들보다 결과가 좋고 매우 빠르면서 작으며, 잡음이 많은 오디오에도 더 적합함

  • Whisper large v3 turbo는 최신 iPhone에서도 로컬로 잘 실행되는데 비교 대상에서 빠진 것이 이상함

답변달기