当前位置:首页 > 软件工具 > 正文

125B 塞进 12GB:45.5 tok/s 卡在内存

约 3991 字 · 预计阅读 10 分钟
一句话总结:张博开源的 linger 用 polystrata 把 125B 的 MoE 模型跑在 12GB 显卡上,2-bit 权重约 39GB。官方给的 45.5 tok/s,前提是同时有 64GB 内存;换成 32GB 内存那档只有 21.3 tok/s,首字延迟约 3 分钟。

这个演示很抓人:一张 12GB 卡,跑一个 125B 的模型。先说清楚它不是骗术,也不是魔法,是三道前提叠出来的结果。

三组数字,只有一组是真机

第一组,12GB 显卡 + 64GB 内存,Qwen3.8-Flash-Next 稳态 45.5 tok/s,明确标注不含首 token 等待。这组是实测。

第二组,12GB 显卡 + 32GB 内存,同模型 21.3 tok/s,首字延迟约 3 分钟。这组不是真机——是拿 96GB 显卡限制显存预算模拟出来的。

第三组,8GB 显存档,38.1 tok/s,脚注同样注明是 96GB 显卡上的模拟。

三组数字经常被拼在一起讲“8GB 也有 38 tok/s”,但它们的测试条件不同,不能横向比。官方文档自己也提醒了这一点。

125B 塞进 12GB:45.5 tok/s 卡在内存

图 1:只有第一根柱子是真实硬件

125B 怎么装进 12GB

靠的是 polystrata 这个 MoE 推理引擎。它的思路不复杂:MoE 的专家是稀疏激活的,每个 token 只走少数几个专家,所以没必要把所有专家都放在显存里。

做法是分层:热专家留在显存,其余放系统内存,再冷的放 SSD,用到时按需调度。Qwen3.8-Flash-Next 的 2-bit 量化文件约 39GB,正好塞进 64GB 内存,显存只负责当前这一步要用的专家。

这是用时间换空间。显存不够,就拿内存带宽和调度延迟去补。

polystrata 已适配 12 个开源模型,包括 Qwen、DeepSeek、Gemma 几个系列,还有 Qwen3.8-27B、Spark-X2.6-4B。不是只为一个演示模型定制的。

125B 塞进 12GB:45.5 tok/s 卡在内存

图 2:芯片很小,权重很大,中间靠一条慢速传送带

45.5 tok/s 卡在内存带宽上

算一笔账就清楚了。解码阶段每个 token 都要把激活的权重读一遍,显存带宽再高也没用,因为权重不在显存里。

# 估算:解码时每 token 要读多少权重,需要多少带宽
active_b, bits = 8, 2                 # 假设激活 8B,2bit 量化
per_tok = active_b * 1e9 * bits / 8 / 1e9   # GB / token

for tps in (45.5, 21.3):
    print(tps, "tok/s →", round(per_tok * tps, 1), "GB/s")

print("DDR5-5600 双通道理论上限", round(5600 * 8 * 2 / 1000, 1), "GB/s")
print("12GB 显存等效带宽(按 1TB/s 计)", 1000, "GB/s")

按“激活 8B、2bit”估,每 token 要读 2GB,45.5 tok/s 就是 91GB/s。而 DDR5-5600 双通道的理论上限是 89.6GB/s。

这个结果说明什么?说明它已经把内存带宽吃满了,45.5 tok/s 不是模型能力上限,是内存条的物理上限。换更快的内存能提,换更大的显存能提得更猛;换更强的 GPU 核心,一点用都没有。

这也解释了 21.3 tok/s 那档:内存砍半、还要分页到 SSD,调度开销直接翻倍。首字 3 分钟不是模型慢,是它在把 39GB 权重从 SSD 往内存里搬。

“零 token 费”这句话要打折

官方主打的是本地推理不产生云端账单。这话没错,但只是把账单换了科目。

硬件:12GB 显卡 + 64GB 内存,按现在 DRAM 的行情,64GB 内存条本身就不便宜——32GB DDR5 套装已经超过 500 美元。电费:满载跑一天,几十度电。时间:同样的任务,云端 API 几秒出结果,这里要等。

真正的价值不在省钱,在另外三件事:数据不出本机、断网可用、模型可以随便换。对处理邮件、日历、本地文件的个人 Agent 来说,这三条比省几块钱重要得多。

但有个细节要盯:linger 的操作权限是“用户授权的运行环境”,可以读文件、用已登录的浏览器、跑命令行,靠确认卡和服务端校验拦写入动作,没有沙箱隔离。这意味着它的安全边界是“你信不信这个程序”,而不是“它被关在盒子里”。本地跑模型省掉了云端风险,但同时把权限交回给了本地进程。

这套东西适合谁

适合三种人:想试冷门或私有模型、不想付 API 费的人;处理敏感数据、不能上云的人;离线环境。

不适合两种场景:高并发(单机一条内存通道,吞吐就那样)、长上下文(KV cache 要占显存,本来就不够)。

我的判断:这个演示的真正意义不是“12GB 跑 125B”,是“显存不再是硬门槛”。门槛从显存挪到了内存带宽和容量,这对消费级硬件是个好消息——内存比显卡便宜,也更容易加。

顺带一句:这条路和站内写过的另一条正好相反。145B 塞进 29GB 靠的是每秒 400GB 带宽,走的是显存堆叠;polystrata 走的是把权重摊到内存。两条路的瓶颈一个是 HBM,一个是 DDR,钱花在不同地方。

FAQ

Q:12GB 显卡真能跑 125B 吗?

能跑,但要配 64GB 内存,且速度受内存带宽限制。45.5 tok/s 是在这个组合下测的,不是 12GB 卡单独的成绩。

Q:2-bit 量化后模型还能用吗?

能用,质量会降。具体降多少要看模型和任务,官方没给评测分数,只给了吞吐。这也是它目前只能算“可玩”的原因。

Q:和 8GB 档的 38.1 tok/s 怎么比?

不能比。那一档是 96GB 显卡上的显存预算模拟,不是真 8GB 卡跑出来的。

参考资料

  1. 华尔街见闻 · 前 DeepSeek 成员张博开源 linger,主打零 token 费(2026-11-20,三档配置、39GB 权重与 polystrata 说明)
  2. 站内 · 145B 模型怎么塞进 29GB:每秒要 400GB 带宽(另一条路线的对照)
  3. BornCity · DDR5 32GB 套装已超 500 美元(2026-11-18,内存成本背景)

核验方式:45.5、21.3、38.1 tok/s,12GB / 64GB / 32GB / 8GB 三档配置,39GB 2-bit 权重、12 个适配模型、96GB 显卡模拟条件、确认卡与无沙箱的权限说明,取自华尔街见闻对官方文档的转述;500 美元取自内存行情。91GB/s、89.6GB/s、2GB/ token 是我按“激活 8B、2bit”的假设算的,激活参数官方未逐层公布,这组数属估算,用于说明瓶颈位置,不作为性能结论。

目录导航
  • 三组数字,只有一组是真机
  • 125B 怎么装进 12GB
  • 45.5 tok/s 卡在内存带宽上
  • “零 token 费”这句话要打折
  • 这套东西适合谁
    • FAQ
    • 参考资料
  • 相关文章:

  • 全双工语音两条路:12GB 198ms,80GB 448ms
  • Haru-4B 开源全双工语音:65ms 漏算 133ms
  • 145B 模型怎么塞进 29GB:每秒要 400GB 带宽
  • Qwen3.8-27B 要多少显存:24GB 卡装下什么
  • Naive-N0.5-Flash:AI 训 AI 的四个实测数字
  • Ripple-65B 单机部署:Q4 权重 36.3G,24G 卡差 12G
  • Ling-3.2-flash:7:1 混合注意力,跑出 280 token/s
  • Inkling 2 Small 训练数据里有 Kimi K3 的轨迹
  • 发表评论

    ◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。