谷歌发布了 Android Bench 2.0——谷歌用于评估 Android 开发任务中 AI 模型和智能代理的基准测试框架。此次重大更新引入了长周期任务（LHT）、基于智能体的评估以及连续评分机制，可以更好地评估在复杂的多步骤开发任务中的性能。
Android Bench 于数月前推出，用于通过一系列常见的开发任务对 AI 模型进行评估，其中融入了权限、导航和网络联通性等方面的 Android 最佳实践。随着最新版本的发布，谷歌已经将该基准测试的覆盖范围扩展至更广泛的开发任务。
今天，我们发布了第一批长周期任务（LHT）。这些任务非常复杂，工程师需要花费数天甚至一周的时间才能完成。此外，我们还推出了基于智能体的评估机制，首先采用的是来自相应模型提供商的智能体。
虽然初始版本主要侧重于对现有代码库的增量修改，但 Android Bench 2.0 引入了长周期任务（LHT）——谷歌将其描述为工程师可能需要“数天甚至一周时间才能完成”的工作。这些任务包括升级依赖项、添加新功能、从零开始构建应用，或将跨平台应用转换为 Android 应用。
2.0 版本的一项重大变化是，评估方式从二元的“通过或失败”转变为更细致的评分系统。此前，一项复杂的任务可能会因为单个边际情况断言失败而被判定为失败，即使该智能体已经成功地满足了其他数十项要求。
我们综合考虑了功能、视觉保真度以及避免回归等因素来计算完成率。此外，对于偏离评估说明或结构约束的情况，我们还会施加客观的扣分处罚。
Android Bench 2.0 提供的结果也有助于识别哪些任务更可能在 AI 的辅助下取得成功。例如，谷歌报告称，“AI 在编写新代码方面比重构现有代码表现得更好”，这可能反映出重构和迁移需要对代码库的架构复杂性有深入的理解。
同样，即使在规模较大的代码库中，AI 在若干“成熟的确定性转换”任务上表现也很出色。例如将 Java 转换为 Kotlin、用 Ktor 替换 Retrofit，或者引入 ViewModel 层。
相反，在许多情况下，大模型仍然面临着困难，包括需要运行时验证的任务（如缺少依赖注入图）、涉及破坏性框架变更，或因未发布的库而遇到知识缺口。特别是，在将跨平台应用移植到 Android 方面，即使是最顶尖的模型也仅实现了 80% 的完成率，这总体上仍然是一个“未解的难题”。
更新后的 Android Bench 2.0 仪表盘收录了最新模型，例如 Gemini 3.8 Flash、Gemini 3.7 Flash、OpenAI GPT-6、Anthropic Fable 5.1、Kimi K3 以及 Qwen 3.8 Max。截至本文发布时，Claude Opus 5.5 以 32% 的 LHT 通过率位居排行榜榜首，其次是 GPT 6 Astra，通过率为 28%。