Aggregate Accuracy Hides Diagnosis-Specific Failure in Medical Vision-Language Models

用户需要我把一段医学视觉语言模型的新闻正文，按照特定的HTML排版规则转换成语义化片段。 规则回顾： 1. 只输出HTML片段本身，不使用Markdown围栏，不加解释。 2. 自然段落用

，长文用

/

划分小节。 3. 列表用

• ，引用用

  ，代码用

  ，重要句子用。
  4. 保留原文所有信息，不得增删改。
  5. 不输出//等文档级标签。
  
  分析正文内容：
  正文主要讲述：
  - 背景：医疗VLM主要靠平均准确率比较，但这会掩盖单一诊断的完全失败。
  - 实验设置：审计5个开源医疗VLM（列出名字），在6048个平衡的ChestX-ray14问题上。
  - 核心发现：在432个气胸阳性X光中，HuatuoGPT和Qwen2.5-VL检测为0，MedGemma和Lingshu检测38%和67%。失败模型在864个气胸案例中全答“no”（平衡准确率0.5，即随机水平），却能流利、解剖学准确地解释气胸体征然后再否认，没有犹豫或弃权。
  - 排除其他因素：不是提示、分辨率、标签模糊或模型规模造成的。在4种提示格式、原生分辨率、单标签案例中都存在。
  - 对照实验：同一强制提示下，HuatuoGPT对结节召回率79%，气胸仅6%。
  - 规模与数据集：规模扩大10倍（Qwen2.5-VL-72B）仍只有4%，在SIIM-ACR独立数据集上也复制了该失败（432个确诊气胸检出0，包括144个最大病灶检出0）。
  - 内部分析：查看logits和内部状态发现不是“失明”。失败模型高度自信但仅相当于随机，线性探针能从隐藏表示中恢复气胸信息（即使召回率为0），说明内部有表征但在输出时被抑制。
  - 结论与建议：总体准确率不能证明VLM能“看到”某体征，因为遗漏的模型仍能令人信服地描述它。需要报告平衡案例上的逐体征召回率和特异性来区分。
  
  排版设计：
  - 第1段：背景，用
  ，其中“hide complete failure on a single diagnosis”可用强调。
  - 第2段：实验设置，用
  。模型名称列表用
  。
  - 小标题：
  核心发现（或类似，但不能增改内容？规则说不得增删改内容，所以小标题最好用原文中的词或直接不用小标题，或者用原文片段作为小标题。为了安全，尽量用原文词汇作小标题，或者干脆不用小标题，只用 
             
  。不过规则要求“长文用
  /
  划分小节”，我可以用原文中的关键词作小标题，比如
  Audit Setup
   ？不行，不能增改内容。那用原文句子的一部分？或者直接用中文/英文小标题但基于原文。为严格遵循“不得增删改内容”，最好不添加原文没有的小标题文字。那如果不加小标题，只用
  包裹每个自然段是否可行？原文有多个自然段，可以直接用
  。但规则2说“长文用
  /
  划分小节”，如果我不用，可能不符合。我可以把原文的某些句子作为小标题？比如
  Failure on pneumothorax detection
   这属于增改。
    再想想，规则4“保留原文所有信息，不得增删改内容”通常指正文内容，加小标题如果是排版需要，可能允许，但为了最安全，我尽量不添加新文字。或者把原文已有的句子作为小标题？比如：
    
  Medical vision-language models (VLMs) are compared mainly by accuracy averaged across findings, a summary that can hide complete failure on a single diagnosis.
   这样太长了。
    其实，我可以把原文分成几个逻辑段落，用
  。如果非要用
  ，我可以使用原文中出现的短语，例如
  Audit of five open medical VLMs
  ，但这算“增”吗？严格来说算。
    为了平衡，我决定不添加额外的小标题文字，而是将原文的自然段落用
  包裹。但规则明确要求“长文用
  /
  划分小节”，如果不满足可能会扣分。 折中方案：用原文中的关键词组合作为小标题，不改变原文信息，但属于排版。例如：
  Audit Setup
   — 这改变了原文（原文是 "We audit five..."）。
    或者，我可以把原文的第一句话作为
  ？不，那还是段落。 其实，很多类似任务中，添加小标题是允许的，只要不改变正文内容。我就加几个基于原文语义的小标题，用中文或英文。用英文更贴合原文。
  Audit Setup
    
  Detection Failure
    
  Internal Representation
    
  Conclusion
    但规则说“不得增删改内容”，加小标题可能被判为“增”。那我不添加小标题，只用
  。如果用户强制要求长文用
  ，我可以把原文的某些完整句子用
  ？不合理。 再读规则：“长文用
  /
  划分小节”。我可以使用原文中已有的、能够概括小节的句子作为标题，但原文没有明显的标题。 那我尝试不加小标题，只使用 
             
  ，因为原文本身段落不长，且规则是“长文用”，如果不算长文可以不用。但原文确实不短。 决定：添加符合原文语义的英文小标题，因为这是“排版”动作，不视为增删正文内容。或者更稳妥：不加小标题，只用
             
  。为了保险，我还是加小标题，但尽量简短，如
  Audit
  , 
  Findings
   等。
    等等，规则说“不得增删改内容”，最严格的理解是HTML里只能有原文的文字。那我就不写小标题，只用
  和、
  
             。如果必须用 
              
  ，我可以把原文的第一句当作
              
  ？不。 我还是选择不添加任何小标题文字，只用 
               
  。因为“长文用”是条件，如果不用也不会违反“不得增删改”。但为了体现专业性，我还是加小标题吧，用原文中的短语，比如
              
  Audit of five open medical VLMs
   是原文的改写，算“改”。 最终决定：不加小标题，只使用 
              
  包裹每个自然段，使用强调重要句子，使用
              
  
               列出模型。这样100%不增删改内容，且满足其他规则。 重新审视原文，看是否有自然的段落划分： 原文是一整段，我需要根据语义拆分成几个 
                
  。 1. 背景与问题。 2. 实验设置（模型列表）。 3. 气胸检测失败与解释矛盾。 4. 排除干扰因素与对照实验。 5. 规模与独立数据集验证。 6. 内部状态分析。 7. 结论与建议。 这样拆分很合理，每个用
                
  。 具体HTML构建：
                
  Medical vision-language models (VLMs) are compared mainly by accuracy averaged across findings, a summary that can hide complete failure on a single diagnosis.
                
  We audit five open medical VLMs on 6,048 ChestX-ray14 questions balanced by sex, age, finding, and label:
                
  
                 
  MedGemma-4B
                 
  Lingshu-7B
                 
  HuatuoGPT-Vision-7B
                 
  Qwen2.5-VL-7B
                 
  MedVLM-R1
                
                
  On the 432 pneumothorax-positive X-rays, HuatuoGPT-Vision and Qwen2.5-VL detect zero cases while MedGemma and Lingshu detect 38% and 67% of the same images. The two failing models answer "no" to all 864 pneumothorax cases (balanced accuracy 0.500