开源仓库

共 9 个仓库 · 按最近更新排序

查看全部 →
循环层 vs 堆参数:24GB 显存下谁先撑不住

循环层 vs 堆参数:24GB 显存下谁先撑不住

一句话总结:循环层用同一份权重跑两遍,权重显存确实省下来了。但它的KVcache按"层计算次数"算,56次而不是32次,KV反而更贵。在24GB单卡上,FP16精度大约到11万token处反转,8bit精度更早,5.7万就翻过来了。省显存这件事,有前提。上一篇拆了商汤那个Loop...

商汤 Loop 架构:9B 参数跑出 27B 效果,中间 24 层跑了两遍

商汤 Loop 架构:9B 参数跑出 27B 效果,中间 24 层跑了两遍

一句话总结:商汤的SenseNova6.8Flash用了循环层架构,32层里首尾各4层正常执行,中间24层共享同一份权重连续跑两遍,单次前向完成56次层计算,等效参数约14.6B。官方称它能达到27B参数级开源模型的水平。这条路把能力的来源从"堆参数"换成"算得更久",省的是显存,花的是...