开源仓库

共 9 个仓库 · 按最近更新排序

查看全部 →
Agent 的命令执行靠不靠谱:我用 20 条命令测了一次 新

Agent 的命令执行靠不靠谱:我用 20 条命令测了一次

一句话总结:BashReliability这个指标量的是「Agent生成的命令能不能跑通」。我拿20条命令实测了一遍:按退出码算,13成7败,得分+30%;把「退出码0但语义已经变了」的5条也算进去,只剩+5%。同一个Agent,两种口径差25个百分点。问题在于退出码只告诉你「没报错...

Computer Use 的通过率怎么算:三层条件,一个判定器 新

Computer Use 的通过率怎么算:三层条件,一个判定器

一句话总结:Hy4报的任务通过率96.15%很漂亮,但"通过"这个词背后的判定逻辑才是关键。我写了个三层判定器——先查一票否决(有没有碰红线),再查必须满足(目标达成没有),末尾算加分(步骤多不多)。三个任务跑下来只有1个通过,两个失败的原因还完全不同。腾讯混元Hy4的发布信息里有个数字:任务通过率...