包裹,长文用
/
划分小节?不对,原文的内容是连贯的?等下,再看内容:首先第一部分是介绍Muon的更新方式,然后是测量曲率的部分,然后是实验和干预结果?不对,要不要分小节?等下,先看,首先,用户给的正文是一段吗?对,是一段。不对,再仔细读: 首先,内容: 1. 第一部分:Muon的更新规则,以及这种选择的固定分配,然后说好不好需要曲率,他们进行测量。 2. 然后是测量的方法和结果,在124M参数的decoder上的结果,然后用Lean证明的诊断。 3. 然后是干预的测试,各种干预的结果,以及无效的干预。 不对,要不要加小标题?等下规则说“长文用
/
划分小节”,那这里的内容可以分成几个小节?比如第一个小节是
Muon的更新特性与曲率测量
,然后对应前面的内容,然后下一个干预实验与结果
,然后后面的内容?不对,但是要保留所有信息,不能增删改内容,哦对,规则4是保留原文所有信息,不得增删改内容,那小标题的话?不对,等下,不对,如果加小标题的话会不会是增内容?不对,等下规则2说“长文用/
划分小节”,那应该是对原有内容的章节划分,用原文里的相关内容作为小标题?不对,等下看原文的内容,有没有可以划分的?不对,再看,原文是连贯的一段?不对,再仔细看,原文的内容: 第一句到“we measure it.”是讲Muon的更新方式,以及需要测量曲率。 然后“Using held-out gradients...cooldown, but not at its end.”是讲测量的方法、结果和证明。 然后“We then test interventions...do not help.”是讲干预测试和结果。 哦,对,那可以分三个?不对,或者两个?等下,要注意不能增删改内容,那小标题用原文里的概括性的话?不对,不对,等下规则说“长文用
/
划分小节”,是不是如果原文有小节标题就用,没有的话可以基于内容划分,但是不能添加额外的内容?不对,等下,规则4是“保留原文所有信息,不得增删改内容”,那如果加小标题的话,是不是属于增加内容?哦,不对,等下,可能原文的内容是自然段,如果没有明确的章节,那是不是如果内容是一段的话就用
?不对,等下再看用户给的规则:2.每个自然段落用
包裹,长文用
/
划分小节。哦,可能如果原文有多个自然段落就每个包
,长文的话加小节标题,用原文里的表述?不对,等下,原文的正文是一整段吗?对,用户给的正文是一整段。那怎么处理? 等下,再仔细看内容,里面有没有需要用其他标签的?比如有的?比如“Muon”是不是重要?不对,规则说重要句子可用,哦,对,比如核心的结论?比如“Muon over-steps the high-curvature top of its spectrum.”这个是重要结论,可以加?然后还有公式?不对,里面有$σ^{-1/4}$,这个是公式,直接保留吗?对,保留原文内容。然后有没有列表?没有。有没有引用?没有。有没有代码?没有。 哦,等下,原文的内容是一段?不对,再仔细看,用户给的正文是: Muon updates each hidden weight matrix along the polar factor of its momentum, the steepest-descent direction under the spectral norm. That choice fixes two allocations without consulting the loss: every singular direction of the momentum receives the same step, and in a non-square matrix each neuron's step is set by its leverage score. Whether they are good is a question about curvature, which steepest-descent arguments do not answer; we measure it. Using held-out gradients and Hessian-vector products, we decompose Muon's step by singular-value band and by neuron group and compute each group's second-order optimal multiplier. In a 124M-parameter decoder trained on FineWeb-Edu, the multipliers rise monotonically from the top singular directions to the tail: Muon over-steps the high-curvature top of its spectrum. We prove in Lean when such a diagnostic licenses an intervention at Muon's own update norm. On the measured curvature, the criterion predicts, and held-out losses confirm, that moving step length off the top helps mid-training and early in the cooldown, but not at its end. We then test interventions under per-step norm matching, tuned baselines and paired seeds. Orthogonalizing Q, K and V separately rather than as one fused matrix lowers the loss by 0.0250 nats and accounts for all of the gain of block-wise variants. A matmul-only, rotation-equivariant spectral tilt $σ^{-1/4}$ applied in the cooldown lowers the loss of this stronger baseline by a further 0.0120 nats, additively with NorMuon (0.0158 nats together, three seeds; the baseline needs about 4.3% more tokens to match), and by 0.0188 nats at 355M parameters (three seeds). Energy-matched Schatten-1 weight decay adds a further 0.0052 nats. Geometrically principled changes that do not act on the measured miscalibration, namely exact polar factors, steepest-descent input whitening and top-heavy decay, do not help. 哦,原来这是一整段?那是不是需要划分小节?比如,第一个小节讲Muon的更新特性与曲率测量,对应前面到“we measure it.”?不对,但是加小标题的话,是不是需要用原文里的话?比如
Muon的更新机制与曲率测量
?不对,不对,原文是英文的,不能改内容,哦对!原文是英文的,所以小标题也要用英文的,而且不能添加额外内容?不对,等下规则4是不得增删改内容,那如果我加小标题,是不是属于增内容?哦,不对,等下规则2说“长文用/
划分小节”,那应该是指如果原文有章节结构的话,就按原文的来,如果没有的话,是不是如果内容不长的话就不用?不对,再看用户给的正文,是一篇学术新闻?内容是比较长的,所以应该划分小节。那怎么划分? 等下,再梳理内容结构: 1. 开篇介绍Muon的更新方式,以及其分配的特性,指出需要测量曲率: Muon updates...we measure it. 2. 曲率测量的结果与相关证明: Using held-out gradients...but not at its end. 3. 干预实验的结果: We then test interventions...do not help. 那这三个部分,每个部分加
?但是小标题要用什么?哦,不对,是不是我理解错了,规则2的“长文用
/
划分小节”是指在排版的时候,对长内容用标题来划分,标题可以是对内容的概括,但是不能改变内容?不对,规则4是“保留原文所有信息,不得增删改内容”,那如果加小标题的话,是不是增加了原文没有的内容?哦,哦,等下,可能原文里的自然段落如果有多个的话,每个
,如果没有的话,是不是如果内容是连贯的,就用
,然后重要的地方用?不对,等下再仔细看用户的要求,用户说“把下面的纯文本新闻正文排版成语义化的HTML片段”,规则里说长文用