开源仓库

共 9 个仓库 · 按最近更新排序

查看全部 →
LongCat-2.5 权重是 BF16,不是 4bit

LongCat-2.5 权重是 BF16,不是 4bit

一句话总结:LongCat-2.5说推理用W4A4,4bit存下来只要745GiB;但模型页显示仓库体积2.97TB,折下来是14.85bit每参数。这个数只可能说明一件事——仓库里存的是BF16原始权重,4bit要你自己量化。LongCat-2.5权重:2.97TB和745GiB差...

LongCat-2.5 需要多少显存:745GiB 起

LongCat-2.5 需要多少显存:745GiB 起

一句话总结:1.6万亿参数按W4A4存下来是745GiB,八张H200能放下并剩383GiB,八张80GB卡放不下差105GiB;每生成一个token要读22.4GiB权重,理论上限214tok/s,八卡专家并行可以做到1700上下。模型开源了,能不能跑是另一回事。这笔账算清楚...

LongCat-2.5 开源:1.6 万亿参数,百万上下文

LongCat-2.5 开源:1.6 万亿参数,百万上下文

一句话总结:LongCat-2.5用MIT协议开源,1.6万亿总参数、480亿激活、100万上下文,W4A4量化后能在单卡不足80GB的国产算力上跑;训练细节里最有价值的一条是——任务环境断网、清git历史、缓存清空,专门防agent钻空子。11月9日,美团开源LongCat-2...