# Apple SpeechAnalyzer API, Whisper·이전 API와 비교 벤치마크 > Clean Markdown view of GeekNews topic #31408. Use the original source for factual precision when an external source URL is present. ## Metadata - GeekNews HTML: [https://news.hada.io/topic?id=31408](https://news.hada.io/topic?id=31408) - GeekNews Markdown: [https://news.hada.io/topic/31408.md](https://news.hada.io/topic/31408.md) - Type: GN+ - Author: [xguru](https://news.hada.io/@xguru) - Published: 2026-07-14T06:58:45+09:00 - Updated: 2026-07-14T06:58:45+09:00 - Original source: [get-inscribe.com](https://get-inscribe.com/blog/apple-speech-api-benchmark.html) - Points: 1 - Comments: 1 ## Topic Body - Apple M2 Pro에서 5,559개 LibriSpeech 음성을 동일한 프로덕션 코드로 처리한 결과, **SpeechAnalyzer**가 깨끗한 음성 2.12%, 잡음이 많은 음성 4.56%의 단어 오류율(WER)로 테스트한 모든 엔진보다 정확했음 - 기존 **SFSpeechRecognizer**의 WER는 각각 9.02%와 16.25%였으며, 새 API는 같은 음성에서 오류를 3.5~4배 줄이면서 구두점과 대소문자까지 적용함 - SpeechAnalyzer는 **Whisper Small보다 정확하면서 약 3배 빨랐지만**, 약 30개 로케일과 OS 26 이상 Apple 플랫폼으로 지원 범위가 제한됨 - 모든 엔진이 M2 Pro에서 실시간보다 **약 12~40배 빠르게** 작동해 1시간 분량을 1.5~5분에 처리했으나, 개발 작업이 병행된 환경이라 엔진별 정밀 속도는 공개되지 않았음 - 현재 iPhone이나 Mac에서 영어를 온디바이스로 전사한다면 SpeechAnalyzer가 우선 선택지가 될 수 있으며, **Inscribe**도 지원 언어에는 SpeechAnalyzer를, 나머지에는 Whisper를 쓰도록 기본 설정을 변경함 --- ### 정확도 벤치마크 결과 - **단어 오류율(WER)** 은 엔진이 단어를 잘못 대체하거나 누락하거나 새로 만들어 낸 비율로, 낮을수록 정확함 - 모든 엔진은 Apple M2 Pro 32GB와 macOS 26.5.1에서 완전히 **온디바이스**로 실행됨 - LibriSpeech의 두 평가 데이터셋을 사용함 - `test-clean`: 깨끗하게 낭독된 음성 2,620개 - `test-other`: 더 어렵고 잡음이 많은 음성 2,939개 - 엔진별 WER와 모델 크기는 다음과 같음 - **Apple SpeechAnalyzer**: `test-clean` 2.12%, `test-other` 4.56%, 시스템 모델 - **Whisper Small**: 3.74%, 7.95%, 약 460MB - Whisper Base: 5.42%, 12.51%, 약 140MB - Whisper Tiny: 7.88%, 17.04%, 약 40MB - Apple SFSpeechRecognizer: 9.02%, 16.25%, 시스템 모델 - Apple은 iOS 26과 macOS 26에서 SFSpeechRecognizer를 **SpeechAnalyzer·SpeechTranscriber**로 교체했지만 정확도 수치는 공개하지 않았음 - [Inscribe](https://get-inscribe.com/index.html)는 두 Apple 엔진과 세 Whisper 모델을 함께 제공하므로, 같은 컴퓨터·음성·프로덕션 코드 경로에서 다섯 엔진을 비교할 수 있었음 ### SFSpeechRecognizer에서 이전해야 하는 이유 - SpeechAnalyzer는 같은 음성에서 기존 API보다 WER를 **3.5~4배 낮춤** - 깨끗한 음성: 9.02%에서 2.12%로 감소 - 잡음이 많은 음성: 16.25%에서 4.56%로 감소 - 정확도뿐 아니라 **구두점과 대소문자**가 적용된 텍스트를 생성해 기존 엔진보다 결과가 잘 정돈됨 - 동일한 1시간 분량을 전사하면 기존 API에서 잘못 인식되는 단어가 SpeechAnalyzer보다 대략 4배 많아짐 - 음성 명령보다 긴 오디오를 처리하는 앱이라면 정확도 차이만으로도 마이그레이션할 근거가 충분함 ### SpeechAnalyzer와 Whisper의 선택 기준 - SpeechAnalyzer는 두 데이터셋 모두에서 테스트 대상 중 가장 큰 Whisper 모델인 **Whisper Small보다 낮은 WER**를 기록함 - 오디오 1초당 연산 시간도 Whisper Small의 약 **3분의 1**이어서 정확도와 속도 모두 앞섰음 - 영어를 Apple 하드웨어에서 처리할 때는 테스트 가능한 온디바이스 엔진 가운데 SpeechAnalyzer가 가장 강한 결과를 보임 - Whisper에는 두 가지 이점이 남아 있음 - SpeechTranscriber가 약 30개 로케일을 지원하는 데 비해 훨씬 많은 언어를 지원함 - OS 26 이상 Apple 플랫폼에 제한되지 않고 여러 환경에서 실행 가능함 - Inscribe의 `Auto` 엔진은 측정 결과에 따라 지원 언어에는 **SpeechAnalyzer**, 그 밖의 언어에는 Whisper를 우선 사용하도록 변경됨 ### 처리 속도와 측정 제약 - 다섯 엔진 모두 M2 Pro에서 실시간보다 **약 12~40배 빠르게** 작동함 - 1시간 분량의 오디오를 온디바이스에서 약 **1.5~5분**에 전사할 수 있었음 - SpeechAnalyzer는 Whisper Small보다 약 3배 빠르면서 더 낮은 WER를 기록함 - 정확도 측정 중 같은 컴퓨터에서 개발 작업도 실행돼 엔진별 처리 시간에 잡음이 섞였음 - 이 작업 부하는 WER에는 영향을 주지 않음 - 정밀한 엔진별 속도 표는 전용 유휴 환경에서 다시 측정한 뒤 추가할 예정임 ### 재현성과 공개 데이터 - Whisper 측정값은 OpenAI가 공개한 LibriSpeech 결과와 가까워 **벤치마크 하네스의 일관성**을 확인할 수 있었음 - Whisper Tiny `test-clean`: 측정 7.88%, OpenAI 7.6%, 차이 +0.28%p - Whisper Base `test-clean`: 5.42%, 5.0%, +0.42%p - Whisper Small `test-clean`: 3.74%, 3.4%, +0.34%p - Whisper Tiny `test-other`: 17.04%, 16.9%, +0.14%p - Whisper Base `test-other`: 12.51%, 12.4%, +0.11%p - Whisper Small `test-other`: 7.95%, 7.6%, +0.35%p - 모든 측정값이 소폭 높게 나온 이유는 더 엄격한 **텍스트 정규화기**와 CoreML 양자화임 - 같은 코퍼스·정규화기·채점기를 Apple 엔진에도 적용했기 때문에, Whisper 결과와의 일치가 Apple 측정값을 검증하는 기반이 됨 - 문장별 인식 결과와 기준 텍스트, 문장별 WER를 공개해 다른 정규화 방식으로 다시 채점할 수 있음 - [summary.json](https://get-inscribe.com/data/speech-benchmark/summary.json): 10개 측정값을 담은 3KB 기계 판독용 요약 - [raw-transcripts-apple.json.gz](https://get-inscribe.com/data/speech-benchmark/raw-transcripts-apple.json.gz): SpeechAnalyzer의 5,559개 결과, 620KB - [raw-transcripts-legacy.json.gz](https://get-inscribe.com/data/speech-benchmark/raw-transcripts-legacy.json.gz): SFSpeechRecognizer의 5,559개 결과, 620KB ### WER 측정 방식과 온디바이스 검증 - 각 엔진은 실험용 설정이 아니라 Inscribe 사용자가 실제로 이용하는 **프로덕션 코드 경로**와 버퍼링 설정으로 실행됨 - LibriSpeech 기준 텍스트는 대문자이고 구두점이 없으며 숫자가 단어로 적혀 있지만, 최신 엔진은 구두점과 숫자를 포함해 출력함 - 양쪽 텍스트에 대소문자, 구두점, 숫자의 단어 변환, 축약형을 처리하는 동일한 정규화기를 적용함 - 보기 좋은 형식을 생성한 엔진이 불이익을 받지 않도록 원문을 그대로 채점하지 않고 OpenAI의 영어 정규화 방식을 따름 - 짧은 문장이 과도하게 반영되지 않도록 문장별 WER 평균 대신 전체 오류 수를 전체 기준 단어 수로 나눈 **코퍼스 WER**를 사용함 - SFSpeechRecognizer는 기본적으로 Apple 서버로 음성을 전송할 수 있어 온디바이스 인식을 강제함 - 클라우드로 자동 전환되면 비교가 무효가 되므로 하네스가 실행을 거부하도록 구성함 - 개인정보 보호 제품에서 5,559개 음성을 서버로 업로드하지 않기 위한 조치이기도 함 - 결과를 반환하지 않은 경우도 숨기지 않고 해당 문장의 WER를 100%로 계산함 - 총 27,795회 전사 중 한 번 발생했으며, SFSpeechRecognizer의 `test-other` 사례였음 ### 벤치마크에서 발견한 제품 버그 - Inscribe의 Apple 엔진 파일 가져오기 기능은 오디오를 SpeechAnalyzer에 전달하고 입력 스트림을 닫았지만 **`finalizeAndFinishThroughEndOfInput()`** 을 호출하지 않았음 - 이 호출이 없으면 분석기가 최종 결과를 전달하지 않아 파일 가져오기가 무기한 멈춤 - `Auto` 설정이 이전까지 Whisper를 우선 사용해 해당 버그가 발견되지 않은 상태였음 - 벤치마크 과정에서 문제를 확인했으며 수정 사항은 같은 날 배포됨 ### 한계와 실제 적용 범위 - **영어 낭독 음성만** 평가했으므로, Whisper가 지원하지만 SpeechTranscriber가 지원하지 않는 100개 이상의 언어에는 결과를 적용할 수 없음 - LibriSpeech는 비교 가능한 표준 코퍼스지만 회의 음성은 아님 - 억양이 있는 음성, 멀리서 녹음한 음성, 여러 화자가 참여한 회의는 후속 평가 대상임 - M2 Pro와 macOS 26.5.1 한 대에서만 측정함 - 정확도는 다른 Apple Silicon에서도 유지될 것으로 예상되지만 속도는 칩에 따라 달라짐 - Whisper는 Inscribe가 실제 제공하는 **WhisperKit CoreML 양자화 모델**로 실행함 - 기준 GPU 구현은 결과가 소폭 다를 수 있으며, OpenAI 공개값과의 차이는 재현성 표에 반영돼 있음 - 현재 iPhone이나 Mac에서 영어를 전사한다면 운영체제 내장 SpeechAnalyzer가 측정상 가장 정확한 온디바이스 선택지였음 - Inscribe는 지원 언어에서 SpeechAnalyzer를, 나머지에서 Whisper를 사용하며 모든 처리를 기기 안에서 수행하고 음성을 업로드하지 않음 ## Comments ### Comment 61747 - Author: neo - Created: 2026-07-14T06:58:46+09:00 - Points: 1 ###### [Hacker News 의견들](https://news.ycombinator.com/item?id=48894752) - **Whisper는 비교 기준으로 적절하지 않으며**, 현재는 Nvidia의 Nemotron·Parakeet, Mistral의 Voxtral, Cohere Transcribe처럼 더 뛰어난 최신 모델이 있음 한편 Whisper를 단순히 감싼 유료 앱 상당수는 타격을 받을 듯함. Apple이 macOS용 녹음 앱 같은 네이티브 GUI를 내놓으면 요즘 바이브 코딩으로 만들어지는 래퍼 앱 대부분이 불필요해질 것 같음 - 이 테스트는 **영어만 평가**했지만, 다른 모델들의 강점은 언어를 미리 지정하지 않고도 여러 언어를 인식한다는 데 있음. 일상적으로 세 언어를 받아쓰기할 때 단축키를 세 개씩 둘 필요가 없음 - Parakeet가 정말 **최첨단 모델**인지는 의문임. 말을 더듬으며 “m-m-m-map”이라고 하면 Parakeet는 그대로 “m m m map”이라고 옮기는데, 용도에 따라 장점일 수도 단점일 수도 있음. Whisper는 그러지 않으며, Cohere Transcribe는 상당히 마음에 듦 - Apple의 **Voice Memos**는 이미 macOS 15와 iOS 18부터 자동 전사를 지원함 - 이 모델들 가운데 **매개변수 10억 개 미만**은 Parakeet뿐이며 Apple 모델보다 좋아 보이지만 내장형은 아님. 지연 시간과 효율성은 어떻게 비교될지 궁금함 - Apple 키보드의 형편없는 **음성 입력 기능**도 교체해 주길 바람. 도저히 견디기 어려운 소프트웨어임 - Mac 녹음에는 **Willow**를 추천함. 내용을 정리하면서도 거의 즉시 처리해 내게는 ‘완벽한 전사보다 더 나은’ 수준이며, Superwhisper도 좋아했지만 차이가 커서 Willow로 옮겼음 더 좋아질 여지가 있는지 의문일 만큼 뛰어나고, 음성 인식은 이미 해결됐거나 늦어도 5년 안에는 해결될 문제로 보임. 관련 업체들이 장기적으로 살아남을지는 모르지만 소비자에게는 훌륭하며, **2030년의 Apple SpeechAnalyzer**가 충분히 좋아지면 서드파티 소프트웨어가 필요 없어질 듯함 - 주 용도인 수학 강의 자막 생성에서 **Whisper-Large-V2**와 비교해 보니 훨씬 빠르고 정확도는 약간 낮았음. 실시간 전사에는 충분히 쓸 만하지만 자막을 즉시 만들 필요는 없어 당분간 Whisper를 계속 사용할 생각임 - 반년째 개발 중인 팟캐스트 앱에 사용하고 있는데 실제로 매우 빠름. 여러 구간으로 오디오를 나누고 **동시 디코딩 스트림 제한**을 넘지 않게 실행하면 엄청난 속도가 나오며, 구간 경계 일부를 잃더라도 팟캐스트 용도로는 충분함 **iPhone 17 Pro**에서 1시간 분량의 오디오를 1분 만에 처리함 - 더 빠르지만 품질이 낮다면 **더 작은 Whisper 모델**과 비교하는 편이 맞지 않을까 싶음 - **Voxtral과 비교**하는 편이 더 적절함. 내 회의 전사에서는 공개·비공개 모델을 통틀어 이렇게 낮은 두문자어 오류율(AER)을 낸 모델이 없었고, 업무에서 쓰는 온갖 기술 용어도 이해하거나 추론해 거의 수정할 필요가 없음. Whisper는 처참할 정도로 나빴음 - 이런 이유로 Apple 제품에서는 보통 자동 수정을 끔. 개선된 음성 모델에는 조심스럽게 기대하지만, **기술 전문 용어를 흔한 단어로 ‘교정’** 해 버릴까 우려됨 - Whisper small·tiny·base는 거의 4년 된 모델이고 Whisper v2나 v3에서도 갱신되지 않았는데, 이제는 **더 나은 비교 대상**이 있어야 하지 않을까 싶음 - 선택지는 많으며 [https://artificialanalysis.ai/speech-to-text/non-streaming]()에서 스트리밍 지원 여부와 공개 가중치만으로도 검색·필터링할 수 있음. 현재는 **Voxtral과 Nvidia Nemotron**이 가장 좋아 보임 - 모델은 아주 많고, 최근 기억나는 것 중에서는 **Parakeet**가 독립적인 경량 구현까지 나오며 주목받았음 - 인상적임. Apple이 **27에서 모델을 개선했다**고 했으니 베타 버전의 측정 결과도 궁금함 - 이게 **1년 된 일반 iPhone 17**에서는 Pro가 아니라는 이유로 실행할 수 없는 새 받아쓰기 엔진인가? - **Spokenly**를 Nvidia 모델과 오프라인 전용 모드로 사용함. 모든 처리가 로컬에서 이뤄지고 완전히 무료라 적극 추천함 - **Whisper large와 large v3 turbo**도 벤치마크해 주면 좋겠음. 구형 MacBook에서도 무리 없이 실행되고 실시간 계수(RTF)가 1 미만이며, 자동 음성 인식 순위표와 달리 실제 받아쓰기에서는 Parakeet 계열보다 훨씬 정확함 - 며칠 전에 나온 **MOSS-Transcribe-Diarize**를 사용해 보길 권함. 해당 Whisper 모델들보다 결과가 좋고 매우 빠르면서 작으며, 잡음이 많은 오디오에도 더 적합함 - **Whisper large v3 turbo**는 최신 iPhone에서도 로컬로 잘 실행되는데 비교 대상에서 빠진 것이 이상함