标签: 硬件选型
thumbnail

10 月开源小模型扎堆,家用机器到底能跑哪个

十月这半个月,模型圈发的东西比往年同月密:旗舰继续往上堆,另一头却拼命往小里压。Saluki 把 27B 压到 7.89GB 还能留 96% 的基准能力,面壁的端侧模型在手机上用 3GB 内存跑出十几 token 每秒。这些数字对家里那台 16GB 小主机意味着什么,我按自己的理解拆一遍。

硬件选型