以线性Nystrom注意和旋转位置嵌入为基础的构型器语音识别

自我注意已经成为端到端（E2E）自动语音识别（ASR）的一个重要组成部分。最近，带有相对位置编码（RPE）的卷积增强型变换器（Conformer）取得了最先进的性能。然而，自我注意的计算和记忆复杂性随着输入序列长度的增加而呈四分法增长。在处理较长的序列时，这对Conformer编码器的影响可能是很大的。在这项工作中，我们建议用线性复杂度的Nystro ̈m注意代替自我注意，这是一种基于Nystro ̈m方法的注意分数的低等级近似。此外，我们建议使用旋转位置嵌入（RoPE）和Nystro ̈m注意力，因为RPE的复杂度是二次的。此外，我们还表明，通过从顶部编码器层中移除自我关注的子层，可以使模型变得更轻，而性能不会有任何下降。此外，我们证明Conformer中的卷积子层可以有效地恢复由于Nystro ̈m近似而丢失的信息。