TextSeal2:面向大语言模型的无失真水印,在推测解码下仍保持信号。被替换的草稿token继续使用同一组密钥水印,接受率不变;同时保持输出多样性,不引入可测的推理延迟。
前代方法TextSeal在Gumbel-max方案中通过抛硬币为每个token在两个密钥间路由以恢复多样性。由于检测器在不知道实际使用哪个密钥的情况下对两个密钥的得分取平均,这一做法并非最优。
方法改进
TextSeal2将两个或更多密钥合并为单个虚拟密钥,并通过AutoMark的高斯copula将其与新的噪声耦合。任意数量的密钥(包括公开共享的密钥)都可以如此合并而不削弱检测效果。
推测解码下的验证
在推测解码中,TextSeal2利用一次额外的指数竞赛对带密钥的草稿进行验证,该竞赛运行在草稿竞赛的剩余时间上。由于无记忆性,这次竞赛可复现块级验证,从而输出严格遵循目标模型。
评估
我们在三个LLM上评估TextSeal2。在相同的输出token多样性下,在误报率为$10^{-3}$时,TextSeal2比TextSeal多检测8到22个百分点的100-token回答,并且与textGrain相当,同时无需后logits优化。在推测解码下,在相同接受率下,它分别比TextSeal和textGrain多检测18和22个百分点的200-token回答。