← 博客

工程笔记约 3 分钟

让仿真用户检验智能体产出,要证据而不是模型结论

让智能体评审自己的产出,它评的只是代码改动。而你真正需要知道的是:一个人能不能完成任务——这得有人真把智能体做出来的东西用一遍才有答案。

Mirasim 的一个会话:审阅的人在智能体的产出上留批注Mirasim 的一个会话:审阅的人在智能体的产出上留批注

智能体的自我评审为什么不够用

智能体评审自己的代码
有人去用智能体做出的东西
重点检验什么内容
代码改动:能否通过编译、命名是否一致、边界情况是否已处理
用户在实际使用中能不能顺利把整件事做完
用什么方式去检验
智能体直接阅读并检查修改后的代码
实际运行并操作智能体刚做出来的真实构建版本
能回答什么问题
这次修改的代码本身写得对不对
哪一步没人走得通、哪句话没人看懂、哪个按钮没人找得到
这张对比图说明,代码改动「diff 是对的」和产品「这个功能能用」是两个不同的断言,只有前者能单靠读代码检验出来。

如果你问智能体它刚改的代码好不好,你会得到一份像样的代码改动评审,告诉你代码能编译、命名一致、边界情况也处理了;这些都没错,但没有一条回答了「这东西到底好不好用」。在开发早期,真正要紧的问题比代码评审直观得多:哪一步没人走得通、哪句话没人看得懂、哪个按钮没人找得到。只要有人把做出来的东西真正用上一遍,这些问题在几分钟内就会暴露出来,不至于拖上好几周、等投入沉没之后才被发现。

仿真用户评测跑起来是什么样

  1. 你调用 $eval 发起评测

    评测是你按需手动触发的显式技能,不是常开的自动评审

  2. 仿真用户试用真实构建版本

    仿真在本机运行,直接操作智能体刚做出来的真实构建产物

  3. 评测返回实际使用证据

    截图、执行轨迹、命令记录和评测报告都会收进产物面板

  4. 证据锚定到对应的那次运行

    绑定产出它的机器与运行记录,可在对应会话旁直接预览

这张流程图说明,调用 $eval 拿回的是绑定到具体运行的证据而非打分;追溯不到某次运行的结论,一律视为没有结论。

评测证据如何接入下一步工作

  1. 保存第一轮评测的证据

    评测证据会一直保存在它所属的项目里,不会丢失

  2. 评测证据直接变成下一批任务

    仿真用户没走通的步骤直接转为待办任务,不用人工重新录工单

  3. 智能体针对暴露的问题做修复
  4. 再跑第二轮仿真用户评测

    拿第二轮结果与第一轮对比来验证修复效果,而不是覆盖旧记录

这张图展示了评测闭环:发现的问题不用人重敲成工单就能交给智能体修复,且第一轮证据还在,「修复有没有生效」才答得上来。

当然,仿真用户不是真实用户的替代品,这套评测也不宣称能预测你的真实客户会怎么做。它提供的是一种快速、可重复的检验方式,帮你在上线前找出那些事后看很明显、真发出去会让人难堪、但不做这步实测就真的会发出去的问题。

接着读