当掩码扩散语言模型以随机顺序在几个并行步骤中采样时，实际运行的模型是揭示计划的混合体，而交叉熵训练拟合的是令牌条件而非这种混合体。
我们引入混合似然微调（Mix-FT），它在重要性加权的自身采样器似然界上微调预训练模型，无需教师，也不改变架构或采样器。
在LLaDA-8B上的结果
在相同计算量下，LoRA微调（仅用预训练计算量的0.002%）生成的OpenWebText续写优于持续交叉熵和Alpha扩散，且在每个测试步骤数上均表现更优。
使用半数模型评估（每块16步而非32步），其续写在所有种子下、在三个评判标准下均优于原始模型，包括置信度解码和随机顺序；在置信度解码下，来自不同模型家族的两位盲LLM评分员在69%和71%的配对中更偏好这些续写。
在110M参数块扩散模型上的结果
在一个公共的110M参数块扩散模型上，Mix-FT仅需不到4个T4小时，在每块4、8和16步时，在两个评判标准下、所有种子中均优于持续交叉熵、Alpha扩散和SDTT蒸馏。
在text8上，通过将每个计划等权加权的对照实验，约四分之三的似然增益（相对于持续交叉熵）可归因于根据每个计划对序列的解释程度进行加权。