Confucius4-R2T2:用于真正实时转录的稳定前缀流式语音识别模型

本文介绍了Confucius4-R2T2,这是一种专为语音代理和同声传译等实时应用设计的稳定前缀流式自动语音识别(ASR)模型。传统的流式ASR系统在获取更多上下文时经常修正部分转录文本,这会浪费计算资源并导致下游代理出错。为了解决这一问题,作者引入了最长稳定前缀(LSP)概念,证明了其单调性、与完整音频输出的一致性以及极大性。通过在冻结音频编码器和投影仪的同时,利用1500小时的中英文音频及LSP监督对Qwen3-ASR-1.7B进行后训练,R2T2在无需修改架构的情况下生成只增不改的稳定文本。广泛的评估表明,R2T2在保持低发射延迟和强大跨语言泛化能力的同时,接近了基础模型的全上下文识别质量。相关代码和模型权重已开源。

信号75结构75影响72可信度77热度65