首页 > AI前沿 > GSLM2: Multi-Stream Speech Representation Learning and Generative Spoken Language Modeling

GSLM2: Multi-Stream Speech Representation Learning and Generative Spoken Language Modeling

arXiv自然语言 2026-11-01 01:31 5 阅读 查看原文
首先,用户要求将纯文本新闻正文排版成语义化的HTML片段。规则很明确: 1. 只输出HTML片段本身,不要Markdown围栏、不要解释。 2. 每个自然段落用

包裹,长文用

/

划分小节。 3. 列表内容用
  • ,引用用
    ,代码用
    ,重要句子可用。
    
    4. 保留原文所有信息,不得增删改内容。
    
    5. 不要输出//等文档级标签。
    
    正文是:
    
    "Generative spoken language models (SLMs) offer a route to learning linguistic structure purely from speech, yet they lag far behind text-based models in both capability and data scaling efficiency. We identify two bottlenecks underlying this gap: the limited linguistic quality of existing speech units and the reliance on a single stream of discrete units to represent speech. Multiple codebooks are widely used to encode acoustic features but rarely to represent speech semantics. We present GSLM2, which learns and models complementary properties of speech at multiple levels of abstraction. Its encoder, SpidR 2.0, uses self-supervised learning with differentiable prediction heads to induce high-quality discrete units at multiple levels. A multi-stream SLM then jointly models these units using a shared temporal backbone, stream-specific predictors, and an autoregressive head that captures cross-stream dependencies. Across training data sizes and model scales, up to 6M hours and 6.5B parameters, GSLM2 consistently improves linguistic competence while scaling more efficiently with data. As a result, it substantially narrows the gap between spoken and text-based LMs; across read and conversational speech domains, we shrink the gap by about two orders of magnitude on sWuggy, sBLIMP, and tSC, while also outperforming competitive speech-text systems on all three tasks. We open-source the training code and model checkpoints at https://github.com/facebookresearch/gslm2."
    
    我需要分析这个文本,看看如何应用规则。
    
    - 整个文本看起来像是一个学术摘要或新闻稿,描述了一个研究项目GSLM2。
    
    - 它不是很长,但包含几个部分:介绍问题、提出方法、描述组件、结果、开源信息。
    
    规则2说:每个自然段落用

    包裹,长文用

    /

    划分小节。 这个文本可以分成几个自然段落: 1. 第一句:介绍SLMs和它们的问题。 2. 第二句:识别两个瓶颈。 3. 第三句:提到多码本的使用。 4. 第四句:介绍GSLM2。 5. 第五句:描述其编码器。 6. 第六句:描述多流SLM。 7. 第七句:描述训练数据和模型规模。 8. 第八句:描述结果。 9. 第九句:开源信息。 但它可能不是自然的段落划分。原文是一个连贯的文本,可能是一个段落。但在排版时,我需要决定如何分段。 规则说“每个自然段落用

    包裹”,所以如果原文是一个段落,我应该用

    包裹整个文本。但规则也提到“长文用

    /

    划分小节”,所以如果文本较长,我可以使用标题。 这个文本长度适中,大约150词。我可以将它分成几个小节。 让我试着逻辑上分组: - 介绍问题:第一句到第三句。 - 提出方法:第四句。 - 描述组件:第五句和第六句。 - 结果:第七句和第八句。 - 开源信息:第九句。 但规则是保留原文所有信息,不得增删改内容。所以,我需要确保内容不变。 我可以添加小标题来划分小节,但规则说“不得增删改内容”,所以添加标题可能是允许的,因为它是排版的一部分,不是修改内容。标题是结构性的。 规则2:长文用

    /

    划分小节。所以,我可以添加标题。 为了简单,我可以将整个文本用一个

    包裹,但文本较长,所以最好划分小节。 检查文本:它从问题开始,然后提出解决方案,描述方法,结果,最后开源。所以,我可以这样划分: - 一个标题介绍问题 - 然后方法 - 然后结果 - 然后开源 但文本中没有明确的小标题,所以我需要基于内容添加标题。 规则说“不得增删改内容”,但添加标题是排版,不是修改内容。标题是元数据,不是内容本身。所以,我应该可以添加

    或

    来组织。 为了安全,我可以将整个文本用

    包裹,但规则提到“长文用

    /

    划分小节”,所以这个文本可能被视为长文。 让我数一下句子:大约9个句子,所以可能分成几个部分。 我可以这样: - 第一部分:问题陈述。用

    Problem

    或类似。 但文本是中文的,标题应该用英文还是中文?用户查询是中文,但正文是英文,所以标题应该用英文以匹配内容。 正文是英文,所以标题用英文。 定义小标题: - Introduction - Proposed Solution - Technical Details - Results - Open Source 但为了准确,我应该基于文本内容。 文本内容: 1. SLMs介绍和问题。 2. 识别瓶颈。 3. 多码本的使用。 4. 提出GSLM2。 5. 编码器描述。 6. 多流SLM描述。 7. 训练规模。 8. 结果。 9. 开源。 我可以分组: - 问题:句子1-3 - 方法:句子4-6 - 结果:句子7-8 - 开源:句子9 所以,添加标题:

    Background

    对于句子1-3

    Proposed Approach

    对于句子4-6

    Results

    对于句子7-8

    Open Source

    对于句子9 然后每个部分用

    包裹内容。 但句子本身是段落,所以每个部分可能有多个句子,但规则说“每个自然段落用

    包裹”,所以如果每个部分是一个段落,就用

    。 在HTML中,

    是段落,所以对于每个逻辑段落,用

    。 在这个文本中,整个文本可能是一个段落,但为了可读性,我可以分成多个

    。 规则没有指定必须保持原文段落结构,但说“每个自然段落用

    包裹”,所以如果原文是一个段落,就用一个

    。 但规则也允许划分小节,所以我可以添加标题和多个段落。 为了简单,我将整个文本用一个

    包裹,但文本较长,所以最好划分。 检查规则:"长文用

    /

    划分小节",所以这个文本可能被视为长文。 我将添加标题。 现在,规则3:列表内容用
    • ,但文本中没有列表。引用用
      ,但文本中没有直接引用。代码用
      ,但文本中有URL,不是代码。重要句子可用,所以我可以加粗重要部分。
      
      文本中,有URL,我可以把它作为代码或链接处理。规则说代码用
      ,但URL不是代码,是链接。我可以把它放在

      中,或作为链接。 规则没有指定链接如何处理,所以我可以把它作为普通文本,或加粗。 为了保留信息,我应该保持原样。 现在,输出只HTML片段,不要文档级标签。 所以,结构: - 添加

      标题,然后

      内容。 例如:

      Introduction

      Generative spoken language models (SLMs) offer a route to learning linguistic structure purely from speech, yet they lag far behind text-based models in both capability and data scaling efficiency. We identify two bottlenecks underlying this gap: the limited linguistic quality of existing speech units and the reliance on a single stream of discrete units to represent speech. Multiple codebooks are widely used to encode acoustic features but rarely to represent speech semantics.

      Proposed Solution

      We present GSLM2, which learns and models complementary properties of speech at multiple