首页 > AI前沿 > What's in a Tree ? Hierarchical $n$-gram models as controlled approximators of language

What's in a Tree ? Hierarchical $n$-gram models as controlled approximators of language

arXiv自然语言 2026-11-18 01:14 14 阅读 查看原文
用户要求把给定的纯文本新闻正文排版成语义化的HTML片段。需要遵守规则:只输出HTML片段本身,不要Markdown围栏,不要解释;每个自然段落用

包裹,长文用

/

划分小节;列表内容用
  • ,引用用
    ,代码用
    ,重要句子可用;保留原文所有信息,不得增删改内容;不要输出//等文档级标签。
    
    现在,分析正文内容。原文是一个段落,没有明显的小节、列表、引用或代码。但用户要求长文用

    /

    划分小节。原文是关于tree-grams的学术摘要,包含多个方面:介绍、模型、结果、应用、发现等。可以将其划分为几个小节,以符合“长文”的要求,但必须保留所有信息,不得增删改内容。 原文是单一段落,我需要将其拆分成多个自然段落,并用

    或

    划分。规则说“每个自然段落用

    包裹,长文用

    /

    划分小节”。原文可以视为一个长文,所以应该划分小节。 让我重新阅读原文,看看如何合理划分: - 第一句:Hierarchical models have been proposed... underexplored. — 背景介绍。 - 第二句:In this work, we introduce tree-grams, ... scalable family of approximators of language. — 模型介绍。 - 第三句:We show how tree-grams outperform existing n-gram baselines, ... — 性能比较。 - 第四句:We demonstrate the utility of such controlled approximations by using tree-grams as generative models. — 应用。 - 第五句:In particular, we show that hyperparameter transfer under μP can be made more robust ... — 具体发现。 - 第六句:In addition, we show that entropy and effective range of correlations control performance gap after fine-tuning. — 另一个发现。 - 第七句:This is because tree-grams allow us to explicitly control horizon and capacity. — 原因。 - 第八句:When allowed to route across candidate topologies, we observe emergent sparsity in tree-grams. — 现象。 - 第九句:Such concentrated routing permits pruning upto 95% of topologies without significant change in performance. — 结果。 我可以将这些内容划分为几个小节。例如: -

    背景与模型介绍

    然后包含前两句。 -

    性能与应用

    包含第三、四句。 -

    发现与分析

    包含后几句。 但需要确保不改变内容。原文是连贯的,但为了符合排版要求,可以合理划分。规则说“保留原文所有信息,不得增删改内容”,所以拆分段落时不能改变句子内容,只是添加结构标签。 另外,原文中有数学公式,如 $n$、$p(x_n \mid x_{1:n-1})$、$μ$P 等。在HTML中,通常应该保持原样,因为用户没有要求转换数学公式。规则没有提到数学公式,所以直接保留文本即可。注意,$n$ 和 $p(x_n \mid x_{1:n-1})$ 是LaTeX格式,但用户说“保留原文所有信息”,所以应该原样输出,不要转换成MathML或HTML实体。 重要句子可用。我可以将一些关键句子加粗,比如模型介绍的核心句子,或者关键发现。 现在,构建HTML片段。由于原文是单一段落,我将其拆分为多个自然段落,每个用

    包裹,并用

    划分小节。注意不要输出等标签。 我决定这样划分: -

    背景与模型

    第一句和第二句,合并为一个段落,因为都是介绍。

    但原文是两句话,我可以分成两个段落,或者合并。规则说“每个自然段落用

    包裹”,原文中每个句子可以视为一个自然段?通常自然段是由多个句子组成的,但这里原文只有一个段落,所以拆分时可以将相关句子放在一起。 为了更清晰,我将背景和模型介绍作为一个小节,包含一个段落(包含前两句)。 -

    性能比较

    第三句。

    -

    应用与发现

    第四、五、六、七句合并为一个段落?或者分开。但原文中这些句子是连续的,可以视为一个自然段。但为了可读性,可以分成几个段落,但不要改变内容。 实际上,原文是一整段,我拆分时应该保持句子的连贯性。我可以将后半部分作为一个大段落,但加上小节标题。 或者,更细致地:

    模型应用

    第四句。

    关键发现

    第五、六、七句。

    结构特性

    第八、九句。

    但这样可能会显得过于碎片化。规则说“长文用

    /

    划分小节”,所以适当的划分是好的。 我决定采用三个小节: 1.

    背景与模型介绍

    Hierarchical models ... language.

    (包含前两句) 2.

    性能与应用

    We show how ... models.

    (第三、四句) 3.

    发现与分析

    In particular, ... performance.

    (后五句,但为了可读性,可以分成多个段落,但用同一个小节标题。或者用多个

    。) 但规则要求每个自然段落用

    包裹,所以一个

    下可以有多个

    。 为了更符合原文的连贯性,我决定将原文按句子拆分,但保持逻辑分组。例如:

    背景与模型

    Hierarchical models have been proposed as synthetic settings for studying language. However, their relevance to realistic language corpora remains underexplored.

    In this work, we introduce tree-grams, autoregressive generative $n$-gram models that build the conditional probability tensor $p(x_n \mid x_{1:n-1})$ through a hierarchical composition of order-2 and order-3 tensors. $n$ controls the maximal context window, whereas a rank hyperparameter $d$ controls model capacity, yielding an interpretable and systematically scalable family of approximators of language.

    性能比较

    We show how tree-grams outperform existing $n$-gram baselines, while remaining competitive with deep transformer-based language models.

    应用与发现

    We demonstrate the utility of such controlled approximations by using tree-grams as generative models. In particular, we show that hyperparameter transfer under $μ$P can be made more robust when narrower models are tuned on simpler data, generated by tree-grams with moderate $n$ and $d$. In addition, we show that entropy and effective range of correlations control performance gap after fine-tuning. This is because tree-grams allow us to explicitly control horizon and capacity.

    When allowed to route across candidate topologies, we observe emergent sparsity in tree-grams. Such concentrated routing permits pruning upto 95\% of topologies without significant change in performance.

    这样划分比较合理。注意,原文中"upto"应该是"up to",但用户原文是"upto",所以保留原样,不能改。 现在,关于重要句子用。我可以将关键句加粗,比如: - "In this work, we introduce tree-grams, autoregressive generative $n$-gram models ..." 可以加粗前半部分?但规则说“重要句子可用”,所以可以加粗整个句子或部分。为了不改变内容,我可以加粗整个句子,但这样可能影响可读性。通常,加粗关键句是允许的。 我选择将核心模型介绍句和关键发现句加粗。例如:

    In this work, we introduce tree-grams,