开源仓库

共 9 个仓库 · 按最近更新排序

查看全部 →
压缩注意力翻 8 倍只多省 0.6 个点:这笔账的地板在哪

压缩注意力翻 8 倍只多省 0.6 个点:这笔账的地板在哪

一句话总结:ERNIE-5.5-Flash-Base用「每128个token只缓存一条」的压缩注意力,43层里压了37层。我写了个计算器跑不同配置,发现压缩比从1/128提到1/1024(8倍),总KV只从14.67%降到14.09%。但如果多压3层(37到40),能直接从...

ERNIE-5.5-Flash-Base:280B 的纯基座,下载了不能直接聊

ERNIE-5.5-Flash-Base:280B 的纯基座,下载了不能直接聊

一句话总结:百度开源了ERNIE-5.5-Flash-Base,280B总参数、每token只激活14B,33.5万亿token从零预训练,推理支持1M上下文。43层里37层用压缩注意力,每128个token只缓存一条。但它是纯预训练基座——没做中训练和后训练,下载下来不能直接对话...