开源仓库

共 9 个仓库 · 按最近更新排序

查看全部 →
GGUF 文件头怎么读:24 个字节看出量化方式 新

GGUF 文件头怎么读:24 个字节看出量化方式

一句话总结:GGUF文件开头24个字节就能定出四件事——是不是GGUF、版本号、张量数量、元数据条数。真正的量化参数藏在后面的元数据里,关键是general.file_type这个字段,它的整数值直接对应量化类型,15就是Q4_K_M。我按规范构造了一个文件头,用解析器读回来验证了一遍。下载一个...

MiniMax 428B:252GB 压到 93GB,每权重 1.87 bit 新

MiniMax 428B:252GB 压到 93GB,每权重 1.87 bit

一句话总结:MiniMaxM3.1Flash的428B开放权重,被社区开发者在10天内从252.4GB压到93GB,官方点名致谢。按体积反推,每权重从5.07bit降到1.87bit,比标准的Q2量化还低。这个数字用普通标量量化做不到,得靠模型本身对量化友好。MiniMax前两...