开源仓库

共 9 个仓库 · 按最近更新排序

查看全部 →
微调前先出 41 道题:第一轮掉分就是这么发现的

微调前先出 41 道题:第一轮掉分就是这么发现的

一句话总结:有人用AI在24GB的Mac上微调一个0.6B模型,AI接手后第一件事不是开训,是先出41道题给基线摸底——结果第一轮从8.451分掉到7.229分;41题够不够用,本文算了一遍。用AI微调模型的案例里,最值得抄的往往不是训练配置,是顺序。Naive-N0.5-F...

改 0.016% 的权重:位置差 100 倍,方向再差 5 倍

改 0.016% 的权重:位置差 100 倍,方向再差 5 倍

一句话总结:在一个76,296参数的小网络里改同样数量的12个权重——清零最关键的12个,准确率掉1.97个点;随机清零12个,只掉0.02个点;位置对但方向错,掉9.12个点。权重的价值不在数量,在坐标。MIT那篇权重空间编程的博客这两天刷屏了:GPT-6Astra自己写Py...