Benchmarks

智能体编码中的测试哲学：从芯片设计到AI工作流

本文作者以在芯片公司Centaur的测试经验为背景，探讨了LLM驱动的智能体（agent）在软件工程中的测试与编码实践。核心观点包括：Centaur的无代码审查、模糊测试为主的工作流在AI时代依然高效，每年仅出现<1个重大用户可见bug；LLM直接生成的测试质量较差，但通过定向提示进行模糊测试可在数分钟内发现真实漏洞；LLM方差极大，同一模型在不同任务上表现迥异，使得公共基准测试的单一排名缺乏实际指导意义；作者还分享了在构建超人类棋盘游戏AI时的系统性方法——基于数据和分析而非盲目提示。文章适用于对AI辅助软件工程、测试自动化及高效agent工作流感兴趣的工程师。