GIMP 终于有了一套自动化的界面测试。起因很朴素:GIMP 有大量互相交织的菜单、对话框和工具。改动了界面的一部分,另一部分可能就悄悄坏了——有时候要等到用户报告才发现。
新引入的测试做的事和人一样:点击菜单和按钮,然后检查结果。每次合并贡献者的改动时自动跑。

为什么之前的测试不够
GIMP 本来就有单元测试。但单元测试只检查代码的一小块,它们不打开真实的窗口,所以没法告诉你某个对话框是不是还能打开、某个按钮是不是还有反应。
项目里还有一些遗留的集成测试,直接和核心代码交互,有时甚至模拟输入设备的事件(指针移动、点击、拖拽)。但官方给了一句评价:没有什么能比和真实界面交互更有说服力。
而且那些直接侵入核心代码的老测试有自身的问题——它们经常坏,却不是因为检测到了 bug。
现在有 13 个测试
测试的逻辑是:打开 GIMP,做一件小事,然后读结果。结果不对就失败并告诉你是哪儿。
这 13 个测试目前检查的是:
GIMP 能启动并显示主窗口;欢迎对话框在正确的标签页打开,以及在你不需要时保持隐藏;用指定尺寸创建图像;交换前景色和背景色;在对话框里输入新的前景色;添加图层、删除图层;点击工具箱里的工具按钮能选中对应工具,然后用油漆桶工具在画布上填充。

两个技术选择值得说
测试不需要屏幕。 每个测试启动一个小型隐藏桌面,在里面跑 GIMP,结束后移除。因为这样,测试可以在没有显示器的服务器上跑。
找按钮和菜单不靠像素。 测试用的是无障碍信息——就是屏幕阅读器用的那套。这个选择还有个额外好处:当你让软件更容易被测试时,也就让它更容易被屏幕阅读器使用,顺带改善了可访问性。
为了在无屏服务器上跑,dogtail(这套界面测试依赖的工具)需要一个新特性。GIMP 把这个特性贡献给了上游,所以其他项目也能用。
目前这些测试只在 Linux 上跑,X11 和 Wayland 都支持。dogtail 不支持 Windows 和 macOS。
一点判断
13 个测试覆盖的功能其实很有限——启动、几个对话框、图层增删、一个工具。这离「界面回归测试完备」还很远,官方也说 GIMP 有更多对话框和工具等着,欢迎帮忙写测试,并且提供了一份如何写新测试、如何定位控件的指南。
但这个方向选得对。GUI 应用的自动化测试一直是个难题,多数项目的做法是干脆不测,或者用截图比对(脆得很)。GIMP 选了无障碍树这条路径——稳定、不依赖渲染、还顺手改进了无障碍支持。
「让软件更容易被测试,也就让它更容易被使用」——这句话可以作为所有界面工程的一条准则。
参考来源: