taraskuzio.com

SpeechAnalyzer : un benchmark confirme que la transcription d’Apple bat le Whisper d'OpenAI

Introduit avec macOS 26, SpeechAnalyzer a profondément modernisé le système de transcription audio d’Apple. Ses performances ont rapidement été comparées à celles de Whisper, mais sans mesure approfondie pour départager les deux solutions. Apple n’ayant publié aucun chiffre officiel, les développeurs de l’application Inscribe ont soumis SpeechAnalyzer à un benchmark face à l’ancienne API SFSpeechRecognizer et à plusieurs déclinaisons du modèle d’OpenAI. Dans ce cadre, Apple l'emporte haut la main pour de la transcription en local.

Le taux d'erreur des différents modèles (un score plus bas est positif). Image Inscribe

Le test repose sur 5 559 extraits du corpus anglophone LibriSpeech, comprenant aussi bien des enregistrements propres que des passages plus difficiles et bruités. Toutes les transcriptions ont été effectuées localement sur un Mac équipé d’une puce M2 Pro avec 32 Go de RAM sous macOS 26.5.1, sans envoyer les fichiers vers un serveur distant. Le nouveau SpeechAnalyzer atteint un taux d’erreur de 2,12 % sur les extraits les plus clairs, contre 9,02 % pour l'ancienne API SFSpeechRecognizer. Sur les enregistrements plus complexes, ce taux passe respectivement à 4,56 % et 16,25 %.

La nouvelle API d’Apple ne se contente pas de faire nettement mieux que celle qu’elle remplace. Elle devance également Whisper Small, le modèle le plus performant testé par Inscribe, qui obtient un taux d’erreur de 3,74 % sur les enregistrements propres et de 7,95 % sur les extraits bruités. SpeechAnalyzer serait en outre environ trois fois plus rapide, tout en produisant un texte correctement ponctué et capitalisé. Sur la machine utilisée, une heure d’audio peut être traitée localement en quelques minutes.

macOS 26 concurrence Whisper avec un modèle de transcription local et très rapide

macOS 26 concurrence Whisper avec un modèle de transcription local et très rapide

Ces résultats changent sensiblement la donne pour les développeurs d’applications destinées aux appareils Apple. Pour une transcription en anglais sur un Mac ou un iPhone récent, l’outil intégré au système pourrait désormais devenir le choix par défaut, sans téléchargement d’un modèle de plusieurs centaines de mégaoctets. Inscribe, qui est (entre autre) une application de transcription, a d’ailleurs modifié son propre moteur afin de privilégier SpeechAnalyzer lorsque la langue est prise en charge, et de conserver Whisper pour les autres cas.

Whisper garde néanmoins plusieurs avantages importants. Le modèle d’OpenAI fonctionne sur de nombreuses plateformes et couvre plus d’une centaine de langues, tandis que SpeechTranscriber reste limité à une trentaine de paramètres régionaux et aux appareils compatibles avec les derniers systèmes d’Apple. Le benchmark ne porte par ailleurs que sur de l’anglais lu, et non sur des conversations à plusieurs voix, des réunions ou des accents variés. On regrettera aussi qu'il n'y ait pas eu de comparaison avec d'autres modèles avancés comme Parakeet ou Nemotron.