Code as Explanations: Executable and Verifiable LLM Explanations

用户现在需要把给定的新闻正文排版成语义化的HTML片段，要遵循给定的规则。首先，先看正文的结构，首先第一个自然段落是开头的内容，用

包裹，里面有重要的内容比如提出的内容，需要加的？不对，先逐句理。首先，第一段：As large language models...的内容，是第一个自然段，用

包。然后里面的“We propose {code explanations to address the mismatch in how LLM explanations are generated versus how they are evaluated: a program explains LLM behavior across a dataset of inputs, and its execution enables automatic verification.”这里是不是要强调？不对，然后“We define Consistency metric...”这些，然后接下来的内容，有没有需要分小节的？哦，原文的结构是一段吗？不对，看原文，整个是一段？不对，等下看用户给的正文，是不是整个是一个长段？不对，再仔细看：用户给的正文是一段吗？不，等下，原文的内容：首先第一句讲背景，然后说现有问题，然后提出方法，然后定义指标，然后实验结果，然后问题，然后Claude的实验，然后结论，然后代码链接。哦，有没有需要用h2或者h3的？不对，用户规则里说长文用h2/h3划分小节，那这里可以划分吗？不对，等下，首先要保留所有信息，不能增删改。哦，等下，先看，首先，原文的各个部分，首先第一个自然段是开头的背景和问题，然后接下来是提出的方法和指标，然后是实验结果，然后是限制，然后是Claude的实验，然后结论和代码链接？不对，不对，用户要求每个自然段落用p包裹，长文用h2/h3划分小节。那首先，原文的整个内容，是不是可以分成几个小节？比如第一个小节是背景与问题，然后是方法与指标，然后是实验结果，然后是局限与进一步实验，然后结论？不对，但是不能改内容，哦，h2的内容是不是要准确？不对，等下，不对，用户说“保留原文所有信息，不得增删改内容”，那h2的标题是不是不能自己加？哦，不对啊，原文里没有标题，那怎么办？哦，等下再看规则：“每个自然段落用

包裹，长文用

/

划分小节”，那如果原文是连贯的一段？不对，再看用户给的正文，是不是整个是一段？不对，看原文的标点，都是连贯的，没有分段？哦，不对，等下看用户给的正文：整个是一整段吗？哦，对，用户给的正文是一个连续的段落？那不对，那怎么划分？哦，不对，等下仔细看：用户的正文内容：“As large language models (LLMs) increasingly make consequential decisions and solve problems alongside humans, we must understand how models arrive at their conclusions. Understanding how an LLM behaves requires observing it across multiple inputs, yet free-text explanations such as chain-of-thought (CoT) are generated per instance and cannot be easily verified on new inputs. We propose {code explanations to address the mismatch in how LLM explanations are generated versus how they are evaluated: a program explains LLM behavior across a dataset of inputs, and its execution enables automatic verification. We define Consistency metric that measures the fraction of inputs on which the program reproduces the LLM's outputs, and use it to evaluate and select candidate programs. Across three open-source code-capable LLMs and eight tasks, we find that LLMs can produce highly consistent code explanations in several settings. Code explanations are also 6$\times$ to 100$\times$ shorter than CoT, and better align with model behavior in 9 out of 24 settings. However, consistency is significantly lower on tasks with more complex linguistic components, where generated programs reproduce model outputs no more frequently than an uninformative explanation baseline, and these programs often rely on longer hard-coded patterns. In experiments with Claude Opus 5.5, providing the model with consistency feedback and code execution improves explanation consistency across tasks, but consistency remains significantly lower on more complex tasks. Our findings establish executable code as a novel, verifiable, and compact approach to explaining LLM behavior and highlight verification feedback as a promising direction for improving explanation consistency. The code for this paper is at https://github.com/rajesh-lab/code-as-explanations.”哦，整个是一整段？那不对，那怎么排版？哦，不对，等下，是不是我理解错了，用户说的“自然段落”，原文里如果没有分自然段的话，那是不是可以按照内容逻辑划分？不对，但是规则说“不得增删改内容”，哦，不对，等下，再看规则，“每个自然段落用

包裹，长文用

/

划分小节”，那如果原文是长文，需要划分小节，但是原文没有标题，那是不是h2的标题要基于原文的内容，不能自己乱加？哦，不对，不对，等下，是不是用户给的正文是一篇新闻的正文，本身是连贯的，那是不是可以不用h2？不对，等下，再看，里面的{code explanations，是不是需要用代码标签？哦，对，规则里说代码用

，哦，{code explanations这里是不是代码？不对，原文里的{code explanations，是不是就是字面的？哦，对，原文里的是We propose {code explanations，那这里的{code是不是要用代码标签？不对，等下，原文里的内容是“{code explanations”，那是不是把{code这部分用code包裹？不对，等下，再看，“Consistency metric”是不是重要的，要用strong？还有“6$\times$ to 100$\times$”是重要数据，strong？还有“9 out of 24 settings”也是？还有“Claude Opus 5.5”是重要的模型名，strong？还有最后的结论部分的重要句子，strong？哦，对，规则里说重要句子可用。那现在，首先，原文是一整段吗？不对，等下，是不是我漏看了，原文有没有分段？哦，没有，用户给的正文是一整段。那怎么处理？哦，不对，等下，是不是可以按照内容逻辑划分小节，但是h2的标题要准确，不能添加额外信息？比如第一个h2是
研究背景与核心问题
？不对，但是原文里没有这个表述，算不算增改内容？哦，不对，规则里的“不得增删改内容”是指正文的信息，标题是结构划分，对吧？不对，等下，再仔细看用户的要求：“保留原文所有信息，不得增删改内容”，那如果我加h2的标题，是不是属于添加内容？哦，这时候怎么办？哦，等下，再看原文的内容，是不是其实是一段，不需要划分h2？不对，用户说“长文用
/
划分小节”，那这篇算不算长文？哦，其实也不算太长，但是如果是一段的话，那直接用p包裹？不对，等下，再想，哦，不对，原文里的内容，是不是可以分成几个部分，但是h2的标题不要自己瞎编？哦，不对，等下，是不是用户的意思是，如果原文有小标题就用h2，没有的话，如果长的话可以划分，但是标题要贴合原文内容，而且不能改原文的信息？不对，或者，是不是我理解错了，原文的整个内容就是一段，所以直接用
包裹，然后里面的重点内容加strong，代码部分加code？哦，等下，原文里的“{code explanations”，这里的{code是不是代码相关的内容，所以用包裹？对，规则里说代码用
，不过这里是行内的代码，是不是用就行？不对，
是预格式化，行内的用就可以了，
是多行的代码块。哦，对，那{code这部分用{code，然后后面的explanations正常。然后，“Consistency metric”是重要的，加。“6$\times$ to 100$\times$”是重要的数据，加。“9 out of 24 settings”也是，加。“Claude Opus 5.5”是重要的模型，加。然后最后的结论部分的“executable code as a novel, verifiable, and compact approach to explaining LLM behavior”和“verification feedback as a promising direction for improving explanation consistency”是不是要加strong？还有最后一句的代码链接，是不是正常就行。那现在，整个原文是一整段，那直接用
包裹？不对，等下，用户说“长文用
/
划分小节”，那如果这篇是长文的话，怎么划分？哦，等下，再看原文的内容结构：1. 背景和问题：前两句。2. 提出方法和指标：接下来两句（We propose...和We define...）。3. 实验结果：Across three...和Code explanations are also...。4. 局限性：However, consistency...。5. Claude实验：In experiments with...。6. 结论和代码：Our