技巧 · 模型选择

选语音识别模型时,最大的那个经常是错的

5 分钟阅读

"用最大的模型准没错"是本地转写里最常见的一笔冤枉账。大模型确实更准,但准确率的边际收益会很快变小,而时间、内存和散热代价是线性上升的。更关键的是:在中文、方言、强噪声这些具体场景里,模型家族的差异往往比参数量差异大得多。

先看语言,再看大小

绝大多数量化对比是在英文上做的。如果你的素材主要是中文,这个排名基本不适用——中文的声调、同音字、以及口语里的省略,对模型的训练数据分布要求很高。一个以中文为主的模型(Tongyi / FunASR 系)即使参数量只有大模型的三分之一,在中文上的实际表现也经常更好。

粤语、闽南语、带口音的普通话是另一个台阶。这时候不是"准不准"的问题,而是"能不能识别"——语言覆盖不到,模型再大也是输出一段看起来像中文的胡话。

大模型的收益在哪、不在哪

参数量带来的提升主要体现在两处:罕见词与专有名词的识别,以及嘈杂环境下的鲁棒性。这两点确实是硬需求——如果你的素材是户外采访、会议现场,或者充满专业术语,大模型值得那个时间成本。

它不带来的东西也很明确:标点与断句的合理性(那更多取决于后处理)、时间戳精度(取决于对齐策略,不是参数量)、以及对口音的处理(取决于训练数据)。把大模型当成万能解,往往在换不来提升的地方付了钱。

你的素材优先看什么原因
普通话口播、录课中等模型 + 词级时间戳清晰音频上大模型收益很小
访谈、圆桌(多人)说话人分离能力谁说的比说了什么更难
户外、现场、嘈杂噪声鲁棒性这是大模型真正赢的地方
方言、口音重语言/方言覆盖覆盖不到时准确率无从谈起
专有名词密集(医疗、法律)大模型 + 术语校对罕见词是参数量的强项
长音频(数小时)速度与内存大模型在长音频上会撞内存墙

VAD 为什么会影响你看得见的质量

VAD(语音活动检测)负责判断"这段音频里有没有人说话"。它看起来是个内部细节,但直接决定输出:切分不准,模型就会在静音段上凭空生成句子,也就是所谓的幻觉字幕。

好的 VAD 会把长音频切成带自然停顿的片段,让每段都短到模型能稳定处理。坏的结果是字幕里出现整段没人在说的文字——这类错误比错别字更麻烦,因为校对时你很难判断"这句话到底有没有说过"。

MonoSub 用 Silero VAD 做预切分,并把每段的边界记录下来。这既是准确率措施,也是可解释性措施:出问题时能定位到具体片段,而不是面对一整份可疑的转写稿。

量化:省内存,代价是什么

同一个模型常有多种量化版本(q8_0、q4_k_m 等)。规律是:q8 相对原始精度的损失通常可以忽略,q4 开始能听出差别,更激进的量化在噪声环境下退化明显。

实用的做法是:内存够就上 q8,紧张就 q4,只有在跑不动时才继续往下压——而不是一开始就选最小的以换取速度。速度慢一点可以等,识别错了要重来。

怎么快速试出适合你的模型

不要用别人的评测决定,用你自己的素材。一个十五分钟的流程:

  • 挑一段你熟悉的、有代表性的素材(含你最头疼的那种情况:口音、噪声、术语)
  • 手动写下这段的真实文本,作为基准
  • 用两三个候选模型分别跑,把输出和基准逐句对比
  • 记录的不只是错字数,还有"错得有多难改"——错一个专有名词比错三个虚词更贵
  • 同时记下耗时,因为你的时间也是成本

这个流程花十五分钟,但能省掉之后几个月的反复试错。而且结论只对你这批素材有效——这也是为什么没有一份通用推荐能替你做决定。

结论

模型选择是一次权衡,不是一次升级。先按语言和功能筛,再按素材特性在剩下的里面挑,最后才用大小和量化调性能。把顺序倒过来,最常见的结局是:跑得最慢的那个模型,在你最在意的指标上并不占优。

#技巧#模型选择#MonoSub
M

MonoSub

做本地字幕工具的人写的对比与教程。产品能做什么、做不到什么,都写在里面。

价格与功能以各产品官网为准,本文数据核对于文中标注日期。

免费下载,批量再买 Pro

单文件处理免费;批量用的 Pro 是一次性购买:Mac App Store 内购 $9.99 / ¥48,或直营店离线授权 ¥36 / $8.60。

相关内容