当前位置:首页 > 编程开发 > 正文

递归自我改进怎么落地:先优化推理,不造模型

约 2932 字 · 预计阅读 8 分钟
一句话总结:百度披露的 ERNIE Evolve 已经在给 ERNIE 5.5 Flash 做推理优化,这是递归自我改进第一次真正进产线。选这个场景不是保守,是它同时满足可验证、可回滚、收益确定三个条件。换成让 AI 设计新模型,三个条件一个都不成立。

11 月 9 日,百度说内部自动化研究系统 ERNIE Evolve 已投入实际使用,第一项落地任务是推理优化,在 NanoChat AutoResearch 和 NanoGPT Speedrun 两个测试上取得当前最优。同一天开源 ERNIE 5.5 Flash Base,一个 280B 的混合专家模型。

递归自我改进(RSI)过去主要活在论文和安全讨论里。这次不一样的地方在于:它接上了一条真实产线。

为什么 RSI 的第一步选推理优化

推理优化这个活,有几个别的任务没有的性质。

目标可以写成数字。 延迟多少毫秒、吞吐多少 token 每秒、显存占多少,全是可测量的。系统改完一个方案,跑一遍基准就知道好坏,不需要人来判断"这个代码写得好不好看"。

反馈周期短。 改一个算子,编译跑一遍,几分钟就有结果。要是让系统去设计一个新模型架构,训练一轮就得好几天,几周才知道行不行。

错了可以退回。 优化方案是独立可替换的模块,改坏了把上一个版本换回来,服务继续跑。模型训练没有这个选项:训崩了就是几百万美元和几周时间。

这三条放在一起,构成的不是"简单",是"可自动化"。一个循环要能自主转起来,每一圈都必须有确定的评价信号和可承受的失败成本。

三个特性让验证能自动跑起来

我把它画成一道闸门:

递归自我改进怎么落地:先优化推理,不造模型

图 1:候选方案要过三道闸才能进产线,任何一道不过就退回

第一道是离线基准。 方案在测试集上跑,指标不升直接扔掉。淘汰率在这里最高,也最便宜,不用碰生产环境。

第二道是小流量灰度。 测试集涨了不代表线上涨。真实流量的输入分布和测试集差得远,长度分布、并发模式、cache 命中率都不一样。

第三道是可回滚上线。 通过了前两道,还要能随时退。这一步决定了系统敢放多大的权限给它。

三道闸的设计本身不新鲜,工程上早就有。新的是把"提出方案"这一步也交给了模型:以前这三道闸前面站着一个人,现在站在前面的是另一个模型。

递归自我改进的天花板在哪

三道闸能过滤掉坏方案,但过滤不掉"局部最优"。

推理优化有个理论极限:给定硬件和模型结构,能压的延迟和能提的吞吐是有上界的。ERNIE Evolve 在这条线上能走多远,取决于还剩多少空间,而不是它有多聪明。

一旦把这层的收益榨干,系统要往上走就得碰结构,比如改层数、改注意力、改专家路由。而这些改动的评价周期马上从几分钟变成几周,可回滚性也没了。这是我判断它暂时不会迈过去的原因,也是所有 RSI 路线共同的门槛。

之前的两个样本可以对照着看:Hy4 训出的 Jev 走的是"小模型在大沙盒里自我改进",Naive-N0.5-Flash 走的是"用 AI 研发 AI 的推理引擎",151 轮实验换一个内核。三个案例的共同点是:都从有确定指标的子任务切入,没有一个是直接让 AI 造模型。

280B 基座里的标识串

同一天开源的 ERNIE 5.5 Flash Base 是 280B 的混合专家模型,有个细节值得记一下:权重文件里带有司法辖区与署名标识串。

这个做法在国内厂商里还不常见。它把"这个权重从哪来、受哪套规则管"写进了文件本身,而不是靠许可证文本约定。对下游使用者是好事,溯源清楚了;对重新分发的人则是约束,标识串不好删,删了就是明着违反许可。

至于这个基座和 Evolve 的关系,官方没说 Evolve 优化的是不是就是这一版的推理实现。按时间线推测大概率是,但这是推测,我没找到明确说法。

参考资料

  1. AI 行业快讯 2026-11-10:百度 ERNIE Evolve
目录导航
  • 为什么 RSI 的第一步选推理优化
  • 三个特性让验证能自动跑起来
  • 递归自我改进的天花板在哪
  • 280B 基座里的标识串
    • 参考资料
  • 相关文章:

  • W4A4 量化误差多大:4bit 实测 16.7%
  • Hy4 训出的 Jev:RSI 实验的 8 项 6 胜
  • StepBack 复现:省 78% 的 token,前提是定位准
  • 10.87 倍需要什么条件:把 SpecPilot 的数字反解一遍
  • Anthropic 招股书:Q3 营收近 170 亿,单季却亏 233 亿
  • Anthropic 自曝 80% 代码由 Claude 写:RSI 递归自我改进,是捷径还是悬崖
  • 发表评论

    ◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。