首页 > AI前沿 > Low Language Transfer Speech-to-Text

Low Language Transfer Speech-to-Text

arXiv自然语言 2026-11-12 12:00 22 阅读 查看原文
用户需要我扮演一个专业的新闻排版工程师,将提供的一段纯文本新闻正文排版成语义化的HTML片段。 约束条件如下: 1. 仅输出HTML片段本身,不使用Markdown代码围栏,不添加解释。 2. 每个自然段落用`

`包裹,长文使用`

`或`

`划分小节。 3. 列表内容使用`
  • `,引用使用`
    `,代码使用`
    `,重要句子可以使用``。
    4. 保留原文所有信息,不得增删改内容。
    5. 不输出``、``、``等文档级标签。
    
    分析提供的正文内容:
    这是一段关于多语言语音识别模型微调研究的新闻/学术摘要。
    正文内容:
    "A multilingual speech recogniser has heard much speech in its own languages. We ask how much of that it brings to a language it was never trained on, when it is fine-tuned on the little that language has. We score 28 open multilingual models untouched on Low-Language-TTS, 50 low-resource languages in 11 writing systems, and fine-tune 24 of them on at most 1,000 clips a language, 82 hours in all, with a dev set choosing every epoch. Fine-tuning lowers every model's macro character error rate (CER), by 16.6 to 53.1 points, to 9.5 at best, and a word language model takes three CTC models 1.2 to 1.4 points lower; WER is still 34.4 at best. On the 12 languages that no model lists, every model starts at 46 or worse and the best ends at 11.7. The same architectures from random weights stay 60 points or more behind, so the gain is transfer, and an encoder left untouched already gives a Whisper or Qwen decoder most of what it needs. It is the language, not the corpus: on FLEURS recordings that ours do not share, the median model keeps 79% of its gain. It costs the languages the models knew, 5.7 points of CER on English, Spanish, French and German in the median model. Low-rank adapters on 4% of the weights come within 1.1 points of tuning everything, and on 2 of 3 models forget less. Seq2seq and language-model decoders are done within three to five epochs, while a new CTC head is still improving at twenty or thirty. Data beats epochs: 25 clips a language take Qwen3-ASR 0.6B from 60.9 to 39.3, and at equal clips presented, ten times the data is worth 9.7 points. A model that first learned forty of the languages learns the other ten no faster. On a public Malay benchmark, untouched Whisper large-v3 scores 8.9 when it detects the language and 14.9 when told the clip is Malay, because it then translates the English that speakers mix in; trained on the Scicom telephony dataset it scores 6.0."
    
    如何划分小节和段落?
    原文是一整段长文本。为了符合“长文用`

    `/`

    `划分小节”的规则,我可以将其合理划分为几个逻辑小节,并使用`

    `作为小节标题(注意:添加小节标题算不算“增删改内容”?规则说“保留原文所有信息,不得增删改内容”。如果我添加了原文没有的标题文字,这算“增”吗?为了严格遵守“不得增删改内容”,我不能自己编造小节标题文字。但是规则要求“长文用

    /

    划分小节”。如果原文本身没有小节标题,我该如何划分? 也许我可以把原文的某些句子组合成段落,并使用`

    `包裹原文中的某些关键词或句子作为小节标识?或者,我可以将整段文本拆分成多个`

    `,如果必须用`

    `/`

    `,我可以把原文本中的一些关键句提取出来作为小标题? 等一下,如果我直接添加诸如“研究背景”、“实验方法”之类的标题,就违反了“不得增删改内容”。 有没有可能,原文的某些部分天然可以作为小标题?原文中没有明显的标题。 或者,我可以使用`

    `来包裹原文中的某些核心主题句?比如把“It is the language, not the corpus:”作为小标题?但这改变了原文的格式,可能被视为修改。 另一种理解:“长文用

    /

    划分小节”是指如果原文有小节,就用这些标签。既然原文是一整段纯文本,没有小节标题,我可以只使用`

    `包裹各个自然段落(将长文本按逻辑拆分为几个自然段落),而不强行添加不存在的小标题,或者将某些句子用``标出,不使用`

    `/`

    `,或者把原文本的首句作为`

    `? 如果严格不增删改内容,我不能添加任何新词。那我可以这样处理:将原文按逻辑拆分成几个`

    `。为了满足“长文用

    /

    划分小节”的字面要求,如果我必须用,可以把原文的某些完整句子用`

    `包裹,作为小节标题。例如:

    A multilingual speech recogniser has heard much speech in its own languages.

    但这会把正文变成标题,不太合理。 或者,我可以认为这段文本不够长,或者没有明显的小节结构,所以主要用`

    `,并适当使用``。但规则说“长文用

    /

    划分小节”,这更像是一个条件规则(如果是长文且有小节,则用)。为了安全起见,我可以把原文分成几个段落,并使用`

    `。如果必须用`

    `/`

    `,我可以提取原文中的一些关键短语作为小标题,但这违反了“不得增删改内容”。 再仔细看规则:“保留原文所有信息,不得增删改内容”。这意味着文字内容不能变。如果我用`

    `标签包裹原文中的某句话,并没有增加或删除文字,只是改变了标签。例如:

    Fine-tuning lowers every model's macro character error rate (CER)...

    这样文字没有变。 不过,最安全的做法是把原文按逻辑拆分成几个`

    `,因为规则是“每个自然段落用

    包裹,长文用

    /

    划分小节”。如果原文没有小节,就不强行加小节,或者把整个文本视为几个自然段落。 让我们把原文拆分成3-4个自然段落: 段落1(背景与方法):A multilingual speech recogniser... choosing every epoch. 段落2(结果与发现):Fine-tuning lowers... most of what it needs. 段落3(泛化与代价):It is the language... forget less. 段落4(训练动态与数据):Seq2seq and language-model... no faster. 段落5(具体案例):On a public Malay benchmark... it scores 6.0. 这样分成5个`

    `。为了体现`

    `/`

    `,我是否可以把某些核心结论用`

    `作为小节标题?比如原文没有小标题,我不添加任何新文字,只用`

    `。如果系统强制要求出现`

    `或`

    `,我可以把第一句或者某个关键句用`

    `包裹。 比如:

    A multilingual speech recogniser has heard much speech in its own languages.

    We ask how much...

    这保留了所有文字,只是把第一句变成了标题。这算“增删改内容”吗?标签的改变不算内容的改变。 或者,我不使用`

    `/`

    `,因为原文并没有“小节”。规则说“长文用

    /

    划分小节”,如果原文没有小节,就不需要划分。 为了稳妥,我把文本分成几个`

    `,并对一些重要句子使用``。 例如:

    A multilingual speech recogniser has heard much speech in its own languages. We ask how much of that it brings to a language it was never trained on, when it is fine-tuned on the little that language has. We score 28 open multilingual models untouched on Low-Language-TTS, 50 low-resource languages in