开源仓库

共 8 个仓库 · 按最近更新排序

查看全部 →
自建 428B MoE:M3.1 Flash 权重部署与成本核算 新

自建 428B MoE:M3.1 Flash 权重部署与成本核算

一句话总结:428B总参数、23B激活的M3.1Flash听上去「不算太大」,但FP8权重约428GB,实际起步是8张80GB卡;这篇给显存怎么算、vLLM怎么起、吞吐怎么压,以及一张「自建vsAPI」的成本表。先说结论,免得白读:除非你的卡是闲置的,否则428B自建不划算。但...

10 月开源权重季:K3.1 Pro、M3.1 Flash、Muse Spark、Raon 到底该下哪个 新

10 月开源权重季:K3.1 Pro、M3.1 Flash、Muse Spark、Raon 到底该下哪个

一句话总结:10月这批开源模型看着热闹,但「开源」分四种——真Apache可商用、带商用门槛的开放权重、协议还没写清的开放权重、以及只是放出权重的API模型;选错一档,法务和运维两头都会翻车。这个月放出来的权重有点多:KimiK3.1Pro、MiniMaxM3.1Flash、MetaMuse...