标签: 本地推理
thumbnail
new

本地跑大模型要多少内存:苹果 128GB 这台说了一半

苹果 10 月 28 日发布的新 MacBook Pro 最高可选 128GB 统一内存,官方说能本地跑数千亿参数模型。可公告里没写跑哪个模型、压到几位精度、每秒出多少字。这篇把装得下和跑得动分开说,也回答家里那台机器要不要跟着加内存。

本地推理