当前位置:首页 > 品牌优化 > 正文

评测提升怎么写:16.7 个百分点还是 51%

约 3068 字 · 预计阅读 8 分钟
一句话总结:Fable 5.2 的编程基准从 32.4% 到 49.1%,官方写"提高 16.7 个百分点",媒体可以写"提升 51%",两个数都是真的,但指向的事实不同。用哪个不是文风问题,是选择让读者看到什么。

11 月 9 日 Anthropic 发布 Fable 5.2,FrontierCode 2.0 从 32.4% 升到 49.1%。同一组数字,三种写法:

说法 数值 读者感受到的
提高 16.7 个百分点+16.7 pt进步明显,但离满分还远
相对提升 51.5%×1.515一半的进步,很大
接近翻倍—这句话是错的,1.51 倍不是翻倍

第三种是编的,用来说明一件事:数字本身没错,怎么组合会改变读者判断。

同一组数字的三种说法

评测提升怎么写:16.7 个百分点还是 51%

图 1:三个分支对应三种口径,选错不是文风问题,是让读者看到不同的事实

百分点是绝对差,相对提升是比值。两个都从同一组数算出来:

绝对差:49.1 - 32.4 = 16.7 个百分点
相对:  49.1 / 32.4 - 1 = 51.5%

选择哪个,取决于基数的位置。

基线 32.4% 意味着"三分之一的改动能被合并"。在这么低的基数上,任何绝对增长都会带来很大的相对增长。反过来,如果基线是 90%、涨到 95%,绝对差 5 个点,相对只有 5.6%——这时候说"提升 5.6%"会显得毫无进步,而实际上从 90 往 95 走比从 32 往 49 走难得多。

所以两个数都真,但都只讲了一半。

什么时候用百分点

比较不同模型在同一基准上的位置时,用百分点。

理由很直接:同一基准的满分固定,百分点可以直接换算成"多解决了多少比例的问题"。Fable 5.2 的 49.1%、Opus 5.5 的 45.5%、GPT-6 Astra 的 42.8%,差 3.6 个点、6.3 个点,这个差是可比的。

这时候换成相对提升会误导。45.5 比 42.8 高 6.3%,49.1 比 45.5 高 7.9%,看上去差不多,实际上前者是 3 个点、后者是 4 个点,在低分段这两个差距的含义不一样。

写评测的时候有个简单的判断:如果读者要拿这个数做选型,就用百分点。 选型看的是绝对能力差距,不是增长比例。

什么时候用相对提升

讲"这一代比上一代进步多少"时,相对提升更能说明问题,但前提是同一模型。

同一个模型从 32.4 到 49.1,是训练改进的直接结果,这时候说"提升一半"不算夸张,因为它确实把成功率提高了 1.5 倍。

不过这有个陷阱:跨基准不能这么算。Chartography 从 44.8% 到 73.4% 是 +28.6 点、+63.8%,FrontierSWE 从 56.3% 到 69.9% 是 +13.6 点、+24.2%。三个基准的相对提升分别是 51.5%、63.8%、24.2%,看起来图表理解进步最大——但三个基准的难度、分母、评分方式都不同,横着比没有意义。

相对提升只能纵向用,不能横向用。 这是我在写发布稿那篇时最小心的一处。

数字口径最隐蔽的坑:成本降幅

价格类的数字更容易混。

Fable 5.2 把输入输出价从 10/50 降到 8/40,官方写"下调 20%",这个没问题。但同时输出提速 30%,单位任务成本实际降了 38.5%。

成本 ∝ 价格 ÷ 速度
8 / 1.3 = 6.15(相对 10 的 61.5%)
降幅 = 38.5%

这时候该用哪个?

如果是给采购看,用 38.5% 更接近账单的实际变化,但前提是任务真是输出瓶颈。如果任务输入密集(反复读长文档),提速不影响成本,实降就是 20%。

同一个模型、同一组价格,两个降幅都成立,区别在任务类型。写的时候必须带上前提,不然读者按自己的场景一算,发现对不上,整篇文章的可信度就没了。

这类"条件数字"最容易出问题的地方,是把它写成无条件结论。我在文中写"降 20%"还是"降 38.5%",取决于我有没有紧跟一句"假设任务是输出瓶颈"。

指标本身靠不靠得住,是另一个层面的问题。抽 100 题估分那篇算过,100 题的评测 p95 误差是 11 个点——如果基准本身有 11 个点的噪声,纠结 16.7 还是 51% 就没那么重要了。写数字之前先问一句:这个数的误差范围是多少,比选哪种口径更关键。

参考资料

  1. Anthropic 发布 Fable 5.2 与 Mythos 5.2(财联社)
目录导航
  • 同一组数字的三种说法
  • 什么时候用百分点
  • 什么时候用相对提升
  • 数字口径最隐蔽的坑:成本降幅
    • 参考资料
  • 相关文章:

  • 禁用词清零,AI 检测还是判 100%:问题不在词
  • 数据中心争议怎么写:三个容易踩的坑
  • Meta 的抓取条款暂停了,但不是内容站赢了
  • 抽样误差有多大:抽 100 题估分,p95 偏 11 个点
  • 欧盟 AI 法和乌镇倡议,同一周落地:内容站该准备什么
  • Agent 的命令执行靠不靠谱:我用 20 条命令测了一次
  • 算力变贵了:CoreWeave 债券跌到 79.5,内容站的账要重算
  • Computer Use 的通过率怎么算:三层条件,一个判定器
  • 发表评论

    ◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。