开源仓库

共 9 个仓库 · 按最近更新排序

查看全部 →
W4A4 量化误差多大:4bit 实测 16.7%

W4A4 量化误差多大:4bit 实测 16.7%

一句话总结:我用numpy把权重和激活分别量化到8bit和4bit跑了一遍:8bit权重误差0.66%、argmax零翻转;4bit权重量化后误差11.8%、翻转15%;权重和激活同时4bit,误差涨到16.7%、翻转17.6%。两项误差不是相加,是叠加。LongCat-2.5用的...

LongCat-2.5 开源:1.6 万亿参数,百万上下文

LongCat-2.5 开源:1.6 万亿参数,百万上下文

一句话总结:LongCat-2.5用MIT协议开源,1.6万亿总参数、480亿激活、100万上下文,W4A4量化后能在单卡不足80GB的国产算力上跑;训练细节里最有价值的一条是——任务环境断网、清git历史、缓存清空,专门防agent钻空子。11月9日,美团开源LongCat-2...