RefCraft：在网页开发中以视觉示例进行Agent生成
除基础工具使用与编码能力外，在智能体生成中有效引入视觉参考同样至关重要，这是将AI智能体应用于真实世界生产力任务的关键能力。
我们通过网页开发这一实用且易于评估的场景研究这一能力。现有基准大多仅关注重建视觉目标或仅依据文本指令生成网页，忽略了更常见的“以视觉实例为起点”的开发流程。
- 为此，我们提出RefCraft——一个包含300个真实、多模态网页开发任务的基准，任务将自然语言指令与来自1至5个参考网页的截图相结合；
- 智能体需要在渲染、视觉检查并迭代优化输出的过程中，选择性地解读并利用这些参考。
我们对产出的开放式工件进行评估，采用可独立验证的关键点，并辅以程序化评判器和视觉语言模型（VLM）评判器。
在九款前沿（多模态）大语言模型（M）LLM的测试中，表现最佳的系统总分仅为100分的52.12，表明在实用网页开发环境下，条件于视觉参考的智能体生成对当前模型仍是巨大的挑战。
“我们引入RefCraft——一个包含300个真实、多模态网页开发任务的基准，任务将自然语言指令与来自1至5个参考网页的截图相结合。”
评分与评估
- 关键点评估：可由第三方独立校验；
- 程序化评判器：自动度量布局、样式与结构等相关指标；
- 视觉语言模型（VLM）评判器：提供多维视觉与语义层面的评分。
参考范围
任务的参考网页数量在1至5个之间，指令为自然语言描述。
结论
实验表明，条件于视觉参考的智能体生成在网页开发等实用场景下仍存在显著挑战：最佳系统的总体得分仅为52.12/100。
关键能力需求
- 在渲染阶段选择性解读并利用视觉参考；
- 进行视觉自检与迭代式优化；
- 遵循自然语言指令并综合截图约束；
- 在开放式产出上通过可验证的关键点与自动化评判器完成质量评估。