语音识别的预训练模型
语音识别的预训练模型
语音识别模型
大致分为两类：
- 连接时序分类（Connectionist Temporal Classification, CTC）：仅编码器（encoder-only）的模型，顶部带有线性分类（CTC）头
- 序列到序列（Sequence-to-sequence, Seq2Seq）：编码器-解码器（encoder-decoder）模型，编码器和解码器之间带有交叉注意力机制
在 2022 年之前，CTC 是这两种架构中更受欢迎的一种，以 encoder-only 模型为主，例如 Wav2Vec2、HuBERT 和 XLSR 在语音的预训练/微调范式中取得了突破。 大公司如 Meta 和 Microsoft 在大量无标签音频数据上对编码器进行了多天甚至数周的预训练。 用户采用一个预训练的检查点，并在少至 10 分钟的有标注的语音数据上进行微调，就可以在下游语音识别任务中取得强大的性能。
然而，CTC 模型也有其缺点。在编码器上附加一个简单的线性层可以得到一个小巧、快速
原文地址：https://blog.csdn.net/ARPOSPF/article/details/145149312
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！