首页 > 开源 > 哈佛大学研究人员:AI 编程目前的瓶颈是“Code Review”

哈佛大学研究人员:AI 编程目前的瓶颈是“Code Review”

OSChina资讯 2026-11-20 17:00 39 阅读 查看原文

哈佛大学两位博士候选人做了一份工作论文,把 AI 编程 Agent 的真实效果算了一遍。样本是 718 家公司、725938 名员工。

结论不太好看。

用上 AI 编程 Agent 之后,人均每月新增代码行数从 5017 涨到 6511,多了约 30%。提交数增长 20%,Pull Request 增长 23%。该有的增长都出现了。

但活干完了吗?没有。

论文用 Jira issue 是否部署到生产来定义「完成」。这个数字只动了 0.12 个 issue / 人月,基线是 3.67——标准误 0.17,统计上和零没有区别。95% 置信区间排除了明显上升的可能。

写得多,交付没变。

作者排除了「工程师开始做大任务所以数量被低估」这种可能。他们用 GPT-4o 给 0.5% 的 issue 打了规模标签,再用文本嵌入模型扩展到全部 issue,没发现平均规模有变化,PR 也没有变大。

问题出在代码评审。从提交 PR 到合并的时间从 7.03 天涨到 10.48 天,多了 49%。收到正式变更请求的 PR 比例上升约 12 个百分点——基线是 13%,几乎翻倍。每个 PR 的评审评论数涨了 35%。

关键的一点是,AI 评审工具并没有解决这个瓶颈。

到 2026 年 3 月,近 80% 的公司已经在用 AI 代码评审工具。但 AI 只生成了 23.3% 的评审评论,只有 10.8% 的 PR 收到过哪怕一条 AI 评论。

作者用一个双渠道模型解释这些数字。第一条渠道:写得更快,把更多代码送到数量固定的评审人面前,这个通过把人力挪到评审环节就能缓解。第二条渠道:变更请求和评论数的上升,单靠「写得快」解释不了——在他们的模型里,这读作草稿质量下降的信号。

论文里引了一段访谈。一名初级软件工程师描述了自己的处境,大意是现在要审的代码多了很多,但判断这些代码对不对的责任还在人身上。

数据来源要说清楚。研究基于 Jellyfish 的数据——这是一家卖工程活动分析平台的公司——再关联 Revelio Labs 采集的 LinkedIn 雇佣记录,样本区间是 2021 年 1 月到 2026 年 3 月。设计上用的是交错双重差分,比较已采用和尚未采用的公司在逐月变化上的差异。

这个设计成立的前提是采用时间上的差异与公司增长速度无关。作者说,采用时间主要受采购流程影响,而这与公司增长关系不大。他们也承认一个已知的不平衡:大公司更早采用,并对公司规模做了控制。如果还有隐藏因素,作者认为方向更可能是让 AI 显得比实际更有生产力,而不是相反。

还需要注意论文的性质。当前版本日期是 2026 年 8 月 4 日,最早一版是 1 月 7 日,作者 Fiona Chen 是作为求职论文发布的。文中明确写着,没有迹象表明已完成同行评审或已被期刊接收。

另外一个容易被误读的点:这次增长并没有转化成裁员。估计排除了整体就业下降超过 2.9% 的可能,工程岗位的口径更粗一些,排除了下降超过 13.8% 的可能。作者提醒这是短期的局部均衡效应,可能掩盖竞争对手那边的岗位流失。

这篇论文最有价值的地方,是把「AI 让程序员更快了」这个笼统说法拆成了可以逐项检验的数字:代码确实多了三成,但交付量没动,瓶颈从写代码转移到了评审代码。而绝大多数公司买了 AI 评审工具,只是把它当辅助,没有真正改变评审这个环节的组织方式。

参考来源: