技巧 · 模型选择
选语音识别模型时,最大的那个经常是错的
"用最大的模型准没错"是本地转写里最常见的一笔冤枉账。大模型确实更准,但准确率的边际收益会很快变小,而时间、内存和散热代价是线性上升的。更关键的是:在中文、方言、强噪声这些具体场景里,模型家族的差异往往比参数量差异大得多。
先看语言,再看大小
绝大多数量化对比是在英文上做的。如果你的素材主要是中文,这个排名基本不适用——中文的声调、同音字、以及口语里的省略,对模型的训练数据分布要求很高。一个以中文为主的模型(Tongyi / FunASR 系)即使参数量只有大模型的三分之一,在中文上的实际表现也经常更好。
粤语、闽南语、带口音的普通话是另一个台阶。这时候不是"准不准"的问题,而是"能不能识别"——语言覆盖不到,模型再大也是输出一段看起来像中文的胡话。
大模型的收益在哪、不在哪
参数量带来的提升主要体现在两处:罕见词与专有名词的识别,以及嘈杂环境下的鲁棒性。这两点确实是硬需求——如果你的素材是户外采访、会议现场,或者充满专业术语,大模型值得那个时间成本。
它不带来的东西也很明确:标点与断句的合理性(那更多取决于后处理)、时间戳精度(取决于对齐策略,不是参数量)、以及对口音的处理(取决于训练数据)。把大模型当成万能解,往往在换不来提升的地方付了钱。
| 你的素材 | 优先看什么 | 原因 |
|---|---|---|
| 普通话口播、录课 | 中等模型 + 词级时间戳 | 清晰音频上大模型收益很小 |
| 访谈、圆桌(多人) | 说话人分离能力 | 谁说的比说了什么更难 |
| 户外、现场、嘈杂 | 噪声鲁棒性 | 这是大模型真正赢的地方 |
| 方言、口音重 | 语言/方言覆盖 | 覆盖不到时准确率无从谈起 |
| 专有名词密集(医疗、法律) | 大模型 + 术语校对 | 罕见词是参数量的强项 |
| 长音频(数小时) | 速度与内存 | 大模型在长音频上会撞内存墙 |
VAD 为什么会影响你看得见的质量
VAD(语音活动检测)负责判断"这段音频里有没有人说话"。它看起来是个内部细节,但直接决定输出:切分不准,模型就会在静音段上凭空生成句子,也就是所谓的幻觉字幕。
好的 VAD 会把长音频切成带自然停顿的片段,让每段都短到模型能稳定处理。坏的结果是字幕里出现整段没人在说的文字——这类错误比错别字更麻烦,因为校对时你很难判断"这句话到底有没有说过"。
MonoSub 用 Silero VAD 做预切分,并把每段的边界记录下来。这既是准确率措施,也是可解释性措施:出问题时能定位到具体片段,而不是面对一整份可疑的转写稿。
量化:省内存,代价是什么
同一个模型常有多种量化版本(q8_0、q4_k_m 等)。规律是:q8 相对原始精度的损失通常可以忽略,q4 开始能听出差别,更激进的量化在噪声环境下退化明显。
实用的做法是:内存够就上 q8,紧张就 q4,只有在跑不动时才继续往下压——而不是一开始就选最小的以换取速度。速度慢一点可以等,识别错了要重来。
怎么快速试出适合你的模型
不要用别人的评测决定,用你自己的素材。一个十五分钟的流程:
- 挑一段你熟悉的、有代表性的素材(含你最头疼的那种情况:口音、噪声、术语)
- 手动写下这段的真实文本,作为基准
- 用两三个候选模型分别跑,把输出和基准逐句对比
- 记录的不只是错字数,还有"错得有多难改"——错一个专有名词比错三个虚词更贵
- 同时记下耗时,因为你的时间也是成本
这个流程花十五分钟,但能省掉之后几个月的反复试错。而且结论只对你这批素材有效——这也是为什么没有一份通用推荐能替你做决定。
结论
模型选择是一次权衡,不是一次升级。先按语言和功能筛,再按素材特性在剩下的里面挑,最后才用大小和量化调性能。把顺序倒过来,最常见的结局是:跑得最慢的那个模型,在你最在意的指标上并不占优。
MonoSub
做本地字幕工具的人写的对比与教程。产品能做什么、做不到什么,都写在里面。
价格与功能以各产品官网为准,本文数据核对于文中标注日期。
免费下载,批量再买 Pro
单文件处理免费;批量用的 Pro 是一次性购买:Mac App Store 内购 $9.99 / ¥48,或直营店离线授权 ¥36 / $8.60。