新智元报道
新智元报道
当任务的终点是决策，模型是否应该从决策本身出发？
从一组文档中找到相关证据，判断一项条件是否成立，或按照标准给出评分——许多语言模型请求最终需要的，不是一篇长答案，而是一个明确、可靠的判断。
System One模型正是面向这类需求：直接输出选择、概率或分数，而无需生成长篇推理文本。
然而，只考虑「直接给出答案」还不够。同一个问题，同一组答案，只是把选项换个顺序，模型的决定就应该改变吗？
再看另一个场景：用户想办理退款，系统却只提供「修改地址」「查询物流」「重置密码」三个选项。模型即使给出了明确的排序，排在第一位的那个，就一定是正确答案吗？
新加坡国立大学xML Lab的最新工作将这些问题放回架构设计的起点。
论文链接：https://arxiv.org/pdf/2610.18773
项目主页：https://liqiiiii.github.io/Jeva/
GitHub：https://github.com/LiQiiiii/Jeva
模型：https://huggingface.co/LIQIIIII/Jeva-4B
图 1｜Jeva的架构与四项结构特性。上方为架构对比，下方为直观示意；原论文图1。
Jeva关注的不是某一个任务上的专门技巧，而是不同决策任务共同需要的四项结构特性。
Null-aware｜没有合适答案，也是一种答案
「最好的选项」不等于「合适的选项」。假设用户需要办理退款，但候选只有修改地址、查询物流和重置密码：即使其中一个得分最高，也不意味着它能解决问题。Jeva将「是否存在可接受的候选」与「候选之间谁更好」分开判断，为答案缺席提供明确的null输出，而不是强行选出一个。
Permutation-invariant｜换顺序，不换判断
同一组候选，从A、B、C改排为C、A、B，不应改变它们本身的含义。Jeva按候选集合进行对称聚合，并以同一规则打分，让概率跟随候选身份，而非列表位置。真正需要关心的不是模型是否仍然选择「第二项」，而是它是否仍然选择同一个答案。
Option-scalable｜选项变多，决策方式不变
候选可能是十几个标签，也可能是上千份文档。Jeva为每个候选应用共享的评分规则，无需为新增候选扩展一套固定的答案符号。在论文的大候选实验中，它直接处理完整集合，而不需要通过多轮淘汰逐步缩小范围。
Cacheable｜复用选项的计算，不复用旧答案
文档、政策条款和评分标准往往比用户问题更稳定。Jeva可以保留这些选项的计算结果，在问题变化、候选重新组合时继续使用；当前请求的判断仍然重新执行。缓存的是可复用的信息，不是上一次的结论。
四项特性不是互不相干的功能清单，而是同一种决策架构需要共同回答的问题。
Jeva将「理解文本」与「作出当前判断」分开：共享编码器分别表示请求和选项，轻量决策模块再读取整个候选集合，只更新请求状态。由此，选项表征保持可复用，判断则随当前问题和候选内容更新。
分别编码不等于独立打分。如下图所示，固定初始请求状态和候选A、B，仅将第三个候选从C₊换成C₋，就能使更新后的状态改变方向，让偏好从A转向B。
这一构造表明，单个决策块已能表达集合相关偏好；相比之下，仅依赖请求与单个候选的独立评分，无法因第三个候选的变化而反转A、B的相对排序。
图2｜固定选项，变化的偏好。(a)保持A、B和初始状态不变，替换第三个候选；(b)请求状态沿不同方向更新；(c)A、B的分数差由正变负；原论文图3。
换位置，不应改变判断；换了可供选择的内容，判断则可以随之调整。
得到候选分数后，还需判断整组选项是否适用。Jeva用q描述候选之间的相对偏好，用覆盖概率ρ估计是否存在合适答案，再合成为包含null的完整分布p。
下图上半部分把两个候选的分数同时降低相同幅度：相对概率仍为73%和27%，覆盖概率却从88%降至12%，null概率随之升高。下半部分固定已有分数，加入一个低于现有最高分的候选：覆盖概率保持不变，候选之间的概率重新分配。
图3｜相对偏好与答案是否存在，分别判断。(a)同幅降低候选分数，q不变，覆盖概率ρ下降；(b)固定已有分数加入低分候选，ρ不变，完整分布p中的候选概率重新分配；原论文图4。
上述状态更新和输出计算随请求执行，选项的语义表征及其层投影则可以缓存。模型、决策类型与编码设置固定时，新请求能够取出这些记忆，重新组成当前候选集。
下图中，第一次处理A、B、C，需要准备三个选项；第二次面对B、C、D，只需新增D；第三次使用A、C、D，三个选项均可复用。每次仍重新编码请求，并计算当前判断。
图4｜新请求、新组合，复用已有候选。三组候选依次为ABC、BCD、ACD，单选项缓存命中为0/3、2/3、3/3；原论文图5。
同一套计算支持Choice、Noul和Score。面对「生产登录页返回HTTP 503，所有客户无法登录或完成购买」的报告，三种输出可分别回答下表中的问题。其中，Noul返回命题为真的概率，null则表示没有合适候选。
论文中的Jeva-4B使用Qwen3.5-4B骨干和一个决策块。评估从任务质量出发，同时检查答案缺席、选项重排和候选规模增长等结构性问题。
研究团队在BANKING77上构造了3,080个匹配请求，每个请求提供16个候选，其中包含588个答案缺席的情况。Jeva的null检测AUROC达到98.66%，高于对照中的KEV-BF16（93.61%）、InternDecision-4B（84.27%）和JevK5（79.44%）。
AUROC衡量的是模型在不同阈值下区分「有答案」与「无答案」的整体能力。更直观地看，在把约5%的有答案请求误判为无答案的阈值下，Jeva能识别约94%的答案缺席请求。
开场中那个退款问题，由此对应到一个明确的实验目标：模型不仅要排出名次，还要识别整组选项都不适用的情况。
顺序实验则固定问题和候选内容，仅改变候选排列。在600个Choice样本上，研究团队测试原始顺序、倒序，以及最多三种随机排列，再按候选身份对齐结果。
Jeva没有出现决策翻转，原始准确率与「每种测试顺序下都答对」的准确率均为76.67%。对照中，Jev-1.13.0、InternDecision-4B和JevK5的翻转率分别为17.00%、22.67%和26.17%。
图5｜左：识别答案缺席的ROC曲线，越接近左上方越好。右：原始准确率与所有测试顺序下均正确的准确率；两者的间隔显示顺序变化带来的影响；截取自原论文图6(b,c)。
这两组实验把「可靠地作选择」拆得更具体：选项不合适时能够拒绝，选项仅仅换了位置时则保持判断稳定。
当候选数量不断增加，新的问题出现了：模型是在真正比较完整集合，还是只能把它拆成很多轮小型选择？
论文的ToolRet诊断中的请求分布在32至2,048个候选的六组设置中。Jeva支持全部请求；候选文本可以分批编码，准备好之后，完整集合仍在同一次决策头计算中参与比较。
在2,048个候选的设置下，Jeva准确率为69.88%，单张H200上的请求中位延迟为12.04秒。采用递归选择的JevK5准确率为67.47%，中位延迟约28.35秒：Jeva在这一设置中同时取得更高准确率与约2.35倍的速度优势。
图6｜上：准确率。中：请求中位延迟，虚线为Jeva的旧分批设置，7.85×对应同一模型的分批优化收益。下：可处理请求的比例。各候选数组使用不同问题，准确率仅比较完整支持的设置；原论文图8。
更关键的问题是：对同一个问题，逐渐加入更多候选，模型能否持续答对？为此，论文固定83个问题，将每个问题的候选集从32个逐步扩展至2,048个。
图7｜每一列是同一个问题，每一行对应不同候选数量。彩色格表示答对；原论文图7。
Jeva在所有测试规模下都答对了其中58个问题，JevK5为48个，CLM为7个。相比只看某一个规模的准确率，这项实验更直接展示了候选集合扩大时，正确决策能保留多少。
检索中的长文档、业务系统中的政策条款、评估任务中的评分标准，都可能被许多不同请求反复使用。候选越长，候选数量越多，重复编码的代价越值得关注。Jeva的复用不仅面向完全相同的候选集合，也支持从缓存中取出已有选项，组成新的集合。
在论文的MLDR长文档实验中，面对新组合的候选集，当候选全部已经缓存时，请求中位延迟从约2.10秒降至75.1毫秒，相当于27.98倍加速；不同缓存条件下未观察到决策改变。
图8｜上：不同候选复用比例下的加速；中：共享候选库的请求延迟；下：避免重复编码的候选比例；原论文图9。
Jeva将答案缺席识别、顺序不变性、候选扩展和计算复用统一到模型设计中。它的核心可以概括为：
让决策的基本原则，成为架构的内在能力。
Decision principles, built into the architecture.
Jeva提供的不只是更快的一次推理，而是一种设计视角：把候选集合、答案缺席和计算复用视为决策本身的结构，让架构从一开始就为这些需求而设计。
参考资料：
https://arxiv.org/pdf/2610.18773
编辑：LRST
