首页 > AI前沿 > Depth through Recurrence: Towards Ultra-Efficient On-Device ASR

Depth through Recurrence: Towards Ultra-Efficient On-Device ASR

arXiv机器学习 2026-10-28 02:45 3 阅读 查看原文
1. 先看任务规则和目标: - 我是专业新闻排版工程师。 - 用户要我把给定的纯文本新闻正文排版成语义化的HTML片段。 - 输出限制: 1. 只输出HTML片段本身,不要Markdown围栏,不要解释。 2. 每个自然段落用 `

` 包裹,长文用 `

/

` 划分小节。 3. 列表内容用 `
  • `,引用用 `
    `,代码用 `
    `,重要句子可用 ``。
      4. 保留原文所有信息,不得增删改内容。
      5. 不要输出 `//` 等文档级标签。
    
    - 给定文本是一篇科技新闻/论文摘要风格的文字。
    
    2. 分析原文:
    
    原文看起来像是一篇学术论文摘要或科技新闻稿,讲的是关于现代自动语音识别(ASR)系统的一个新架构——块循环(block-recurrent)架构,旨在减少模型大小和资源消耗,同时保持高精度。
    
    原文是一个长段落,我需要:
    - 用 `

    ` 包裹每个自然段落。 - 由于原文是一个长段落,我需要判断是否需要用 `

    ` 或 `

    ` 来划分小节。从内容上看,它有明确的结构:背景问题 → 研究动机 → 方法 → 结果 → 结论。所以可以划分小节。 - 原文中没有明显的列表、引用、代码。但有一句关键的问题:“can we achieve high representational power in deep ASR models without scaling up parameterization?” 可以将其作为强调。 - 需要保留所有信息,不得增删改内容。这意味着我不能改变原文的措辞,只能添加HTML标签。 3. 规划HTML结构: 原文只有一个长段落,但逻辑上可以划分为几个部分。根据规则,长文可以用 `

    /

    ` 划分小节。我决定这样做: - 开头部分:介绍背景和问题 → 作为一个小节,用 `

    ` 或 `

    ` 标题。但原文没有标题,我需要从原文中提炼标题,且不能增删内容。规则说“保留原文所有信息,不得增删改内容”,这有点矛盾:如果我添加标题,算不算增加内容?通常在这种排版任务中,添加小标题是允许的,但标题文字必须来自原文或者合理概括。但为了严格遵守“不得增删改内容”,我最好不添加任何不在原文中的文字。所以,我可能不需要添加小标题,或者我可以把原文的第一句话作为标题?但那样会改变结构。 再仔细看规则:“长文用

    /

    划分小节”。这意味着如果原文很长,我应该划分小节。但原文实际上只有一个段落。如果我把它拆分成多个 `

    `,每个 `

    ` 是一个自然段落?原文本身就是一个自然段。所以可能只需要用一个 `

    ` 包裹。 但规则也说了“每个自然段落用

    包裹”,原文只有一个自然段,所以应该用一个 `

    ` 包裹全部内容。 但是,如果原文很长,为了可读性,可能需要用 `

    ` 或 `

    ` 来划分小节。但原文中并没有明显的小节标题。如果我要添加标题,就违反了“不得增删改内容”的规则。 让我重新审视规则:“保留原文所有信息,不得增删改内容”。这意味着我不能添加任何原文中没有的文字。所以,我不能添加小标题。我只能使用已有的文字来构建HTML结构。 那么,我可以把原文拆分成多个 `

    ` 吗?原文是一个自然段,但规则说“每个自然段落用

    包裹”。如果原文只有一个自然段,那就只有一个 `

    `。 但是,原文中有句子可以用 `` 强调重要句子。例如,“This raises a fundamental question: can we achieve high representational power in deep ASR models without scaling up parameterization?” 这句话是核心问题,可以用 `` 包裹整个句子或者问题部分。 另外,原文中还有一些关键成果,如“a model with only two shared blocks recovers 97.4% of the accuracy of large models on average”,这些也可以用 `` 强调,但规则没有强制要求强调所有重要句子,只说“重要句子可用”。所以我可以选择性强调。 现在,检查原文是否有列表、引用、代码:没有。所以不需要使用 `

      `, `
      `, `
      `。
      
      因此,最终的HTML片段可能很简单:一个 `

      ` 包裹整个段落,其中部分句子用 `` 强调。 但等等,原文开头是:“Modern automatic speech recognition (ASR) systems have achieved remarkable accuracy...” 这看起来像是一篇完整的摘要。我是否应该把它分成多个段落?原文是连续的,没有明显的段落分隔。但为了语义化,我可以根据句号拆分?不,规则说“每个自然段落用

      包裹”,自然段落是由换行符分隔的。原文中没有换行符,所以它是一个自然段。 所以,最安全的做法是:用一个 `

      ` 包裹全部文本,并在适当位置使用 ``。 现在,考虑是否有需要强调的句子。我可以强调以下部分: - “This raises a fundamental question: can we achieve high representational power in deep ASR models without scaling up parameterization?” - “block-recurrent models retain the accuracy of large reference models while using an order of magnitude fewer parameters” - “a model with only two shared blocks recovers 97.4% of the accuracy of large models on average” - “high quality ASR can be achieved without large parameterization” 但要注意,不要改变原文内容。`` 只是包裹,不改变文字。 另外,规则说“长文用

      /

      划分小节”。如果原文很长,我可能需要用标题。但原文中没有标题。如果我要添加标题,必须从原文中提取。例如,我可以把第一句话作为标题?但那样会重复内容,而且不是原文的标题。所以我认为不应该添加标题。 最终决定:用一个 `

      ` 包裹整个文本,其中强调关键句子。但为了更语义化,我可以把原文分成几个句子,但放在同一个 `

      ` 中。或者,我可以根据逻辑把原文分成多个 `

      `?规则说“每个自然段落用

      包裹”,原文是一个自然段,所以只有一个 `

      `。但如果我把它分成多个 `

      `,算不算增删内容?不算,只是改变了段落结构,但文字内容没变。但规则要求“每个自然段落”,原文只有一个自然段落,所以不应该拆分。 因此,输出应该是: ```html

      Modern automatic speech recognition (ASR) systems have achieved remarkable accuracy by scaling model depth and capacity, but at the cost of increased memory, energy, and computational demands. On edge devices where ASR is often most needed, such as watches and glasses, deploying such large models is infeasible due to extremely constrained resources. This raises a fundamental question: can we achieve high representational power in deep ASR models without scaling up parameterization? In this work, we revisit the role of depth and identify layer wise representational dynamics, in which most layers learn functionally similar transformations. Motivated by this insight, we propose a block-recurrent ASR architecture that replaces parameterized depth with a small set of recurrent blocks, each consisting of weight-shared layers, thereby preserving effective depth while drastically reducing model size. Through representation-guided grouping and knowledge distillation, block-recurrent models retain the accuracy of large reference models while using an order of magnitude fewer parameters. Across Open ASR Leaderboard benchmarks, a model with only two shared blocks recovers 97.4% of the accuracy of large models on average. The compact backbone further enables efficient on-device personalization through lightweight MoE-LoRA adaptation, allowing user-specific models to match or surpass the accuracy of general-purpose ASR systems with significantly lower inference cost. By reusing weights across recurrent steps, the proposed architecture reduces memory-access overhead and inference energy consumption. Together, these results show that high quality ASR can be achieved without large parameterization, and that structured recurrence provides a principled path towards ultra-compressed, energy-efficient, and personalized speech recognition on the edge.

      ``` 但这样没有使用 `

      `/`

      `,规则说“长文用

      /

      划分小节”。如果我认为原文是长文,我应该划分小节。但划分小节需要添加标题,而标题文字必须来自原文。我可以把原文的某些句子作为标题?例如,把“Modern automatic speech recognition (ASR) systems have achieved remarkable accuracy...” 作为 `

      `?但这样