Modality-Aware Expert Pruning for MoE-Based Multimodal Large Language Models

1. 分析需求： * 角色设定： 专业的新闻排版工程师。 * 输入： 一段关于 MAEP（一种用于 MoE-MLLMs 的专家剪枝方法）的纯文本新闻正文。 * 规则： 1. 只输出 HTML 片段本身。不要 Markdown 围栏（```html），也不要解释。 2. 每个自然段落用 `

` 包裹，长文用 `

`/`

` 划分小节。 3. 列表内容用 `

• `，引用用 `

  `，代码用 `

  `，重要句子可用 ``。
          4. 保留原文所有信息，不得增删改内容。
          5. 不要输出 ``、``、`` 等文档级标签。
      *   输入文本分析：
          *   第 1 段：Mixture-of-Experts (MoE) enables... (Context: MoE scales MLLMs but experts dominate memory).
          *   第 2 段：Expert pruning has emerged... (Problem: existing methods ignore vision vs language roles).
          *   第 3 段：To address this, we propose MAEP... (Solution: MAEP framework, Delta-H Output, low-attention vision tokens).
          *   第 4 段：Text-side importance serves as... (Method details: text-side = preservation, vision-side = pruning, global ranking).
          *   第 5 段：Experiments on three MoE-based... (Results: outperforms baselines, reduces BF16 expert weight footprint by 27GB/47%, fits 58GB model on 40GB GPU).
          *   第 6 段：Code is available at... (Code link).
      *   排版策略：
          *   文本属于学术/技术新闻稿风格。
          *   可以添加带有 `
  ` 的小节标题来组织行文吗？等等，规则 4 规定“保留原文所有信息，不得增删改内容”。添加标题属于增加内容。为了安全起见并严格遵守“不得增删改内容”，我不应该在 `
  `/`
  ` 标签中*添加*新的文本标题。
          *   等等，规则 2 提到“长文用 `
  `/`
  ` 划分小节”。如果这段长文本已经是短段落了，我可以只使用 `
  ` 标签。不过，我也可以把第一段作为引言或摘要。但为了严格遵循“不得增删改内容”，我绝对不能凭空捏造如“Introduction”或“Method”的标题。我将只对现有的自然段落使用 `
  ` 标签。或者我可以把第一句作为 `
  ` 吗？不，那会改变句子结构。为了确保 100% 安全且不增删内容，我将把每个自然段落包裹在 `
  ` 中。
          *   让我们仔细检查文本中的“重要句子”，以便使用 ``。
              *   “MAEP (Modality-Aware Expert Pruning)”
              *   “Delta-H Output ($ΔH$)”
              *   “low-attention vision tokens”
              *   “about 27 GB (about 47% of total memory)”
              *   “single 40 GB GPU”
          *   “列表内容”怎么办？文本中没有天然的列表。我不应该强制造一个列表，否则会违反“不得增删改内容”的规则。
          *   “引用”怎么办？文本中没有直接的引用。
          *   “代码”怎么办？“Code is available at https://github.com/nota-github/MAEP.” 我可以将其放入 `
  ` 吗？不，它只是一个 URL。保持原样或用 `` 包裹 URL 是可以的。
      *   优化 HTML 结构：
          *   第 1 段：`
  Mixture-of-Experts (MoE) enables multimodal large language models (MLLMs) to scale capacity efficiently, but expert parameters dominate memory even though only a few experts are activated per token: they account for over 90% of model size in modern MoE-MLLMs (e.g., 54 GB out of about 58 GB in BF16 for InternVL3.5-30B-A3B and Qwen3-VL-30B-A3B).
  `
          *   第 2 段：`
  Expert pruning has emerged as an effective compression strategy, but existing methods aggregate importance uniformly across tokens, ignoring that the same expert may serve different roles for vision versus language processing.
  ` (为“Expert pruning”加上 strong)
          *   第 3 段：`
  To address this, we propose MAEP (Modality-Aware Expert Pruning), a training-free framework that decomposes expert importance by modality in a single forward pass. MAEP introduces (1) Delta-H Output ($ΔH$), a redistribution-aware metric measuring the MoE output change when an expert is removed, and (2) low-attention vision tokens as a vision-side pruning signal that is dataset-stable: its expert-importance ranking remains stable across different datasets.
  `
          *   第 4 段：`
  Text-side importance serves as a preservation signal while vision-side importance serves as a pruning signal, and experts are ranked globally across layers.
  `
          *   第 5 段：`
  Experiments on three MoE-based MLLMs across multimodal and text benchmarks show that MAEP outperforms modality-agnostic baselines on the majority of multimodal benchmarks while remaining competitive on text-only tasks, reducing the BF16 expert weight footprint by about 27 GB (about 47% of total memory) so that the full weight footprint of an approximately 58 GB model fits within a single 40 GB GPU.
  `
          *   第 6 段：`
  Code is available at https://github.com/nota-github/MAEP.
  `
  
      *   等等，规则 2 说：“长文用 `
  `/`
  ` 划分小节”。如果我没有 `
  `/`
  `，是否会违反规则 2？“长文用 h2/h3 划分小节”意味着“如果是长文，使用 h2/h3 来划分小节”。这段文字由短段落组成。为了绝对安全，并且不增加任何原文没有的新标题文本，我将坚持使用 `
  `。如果我打算把某些东西作为标题，我必须使用现有的文本。例如，我可以用第 1 句作为 `
  `？不，那会破坏段落结构。我还是把所有东西都用 `
  ` 包裹起来。提示词说“每个自然段落用 `
  ` 包裹，长文用 `
  `/`
  ` 划分小节”。这是“如果适用”的条件。文本已经分成了自然段落，因此 `
  ` 是主要要求。
  
      *   让我重新阅读提示词：“长文用 `
  `/`
  ` 划分小节”。因为这是一篇较短的技术摘要（6 个段落），使用段落级别的 `
  ` 就足够了，并且可以防止增加“增删改内容”的标题。
  
      *   等等，有没有办法用 `
  ` 或 `
  ` 而不增加新文本？没有，HTML 标题需要文本内容。如果我使用 `
  ` 却不在里面放文本，那是无效的 HTML 或者毫无意义。如果我放入现有的文本，我就会“修改内容”或“改变结构”（例如把一句完整的句子变成标题）。我决定严格使用 `
  ` 来处理这些段落。
  
      *   让我仔细检查文本，看看是否有可以用 `` 突出显示的重要句子。 * “they account for over 90% of model size in modern MoE-MLLMs” -> 重要指标。 * “MAEP (Modality-Aware Expert Pruning)” -> 核心概念。 * “Delta-H Output ($ΔH$)” -> 核心方法。 * “low-attention vision tokens” -> 核心方法