07-11
Agent 编码的测试、基准与方差：来自一线的深度复盘
Dan Luu 分享了他过去一年密集使用 AI 编码代理（coding agents）的实战经验，重点围绕测试、基准测试和代理循环。他对比了 fuzzing（随机测试）与 LLM 直接找 bug 的效果，认为 fuzzing 在速度和误报率上更优；用 50 次运行验证了 ‘caveman mode’ 节省 token 但效果不稳定；揭示了 LLM 基准测试的高方差问题——同一模型在不同任务上的表现差异巨大，导致公共基准对个体用户几乎没有指导意义。他还讨论了如何用代理自动从支持工单生成 PR、用多 persona 协作减少误报，以及数据分析和代理循环中的系统性难点。适合关心 AI 编码工具真实效果的一线工程师阅读。