开源仓库

共 8 个仓库 · 按最近更新排序

查看全部 →
扩散语言模型五年谱系:三条路线、三道坎,和一次迟到的规模化 新

扩散语言模型五年谱系:三条路线、三道坎,和一次迟到的规模化

一句话总结:从2022年的DiffuSeq到2026年的Clover-35B,扩散语言模型走了五年才第一次在35B这档和自回归打平;这五年里它分化出三条路线(从头预训练、自回归权重转换、只卖API),也始终被三道技术坎卡着,理解这三道坎比记住模型名字有用得多。Clover发布那天很多人第一次...

Clover-35B-A3B 深度解读:扩散语言模型第一次在 Agent 编程上压过同尺寸自回归 新

Clover-35B-A3B 深度解读:扩散语言模型第一次在 Agent 编程上压过同尺寸自回归

一句话总结:Clover-35B-A3B-Preview是扩散智能10月28日开源的块扩散语言模型,35B总参数、3B激活、Apache2.0、128K上下文,用Qwen3.6-35B-A3B的权重初始化再做扩散训练,SWE-benchVerified拿到73.6,比它的自回归底座高约...