本地 AI 助手的硬件门槛:旧笔记本到小主机,差在哪

餐桌上放着一台合着的旧笔记本电脑,旁边是一个白瓷杯和一副耳机
旧机器不是不能跑,是得先知道它能跑到什么程度。

上个月在一个朋友家,他把公司淘汰的一台旧笔记本翻出来,说要装个本地模型,文件不出门。装是装上了,7B 的量化模型,问一句话,等回音的时间够我去泡杯茶——一百多个 token 的答案,愣是吐了半分多钟。

他不服气,去查参数表:四核、十六 G 内存、固态硬盘,看起来不差。问题在于,跑模型看的不是这几行。

决定速度的是带宽,不是核数

模型推理,每吐出一个 token,都要把整个模型的权重从内存里过一遍。7B 的模型量化到 4 位,大致四到五个 G。也就是说,每秒能读多少 G 内存,基本就决定了每秒能出多少 token。

拿这个尺子量市面上几类机器,一下就清楚了:

  • N150 这类小主机:四核四线程,核显,没有 NPU,内存是单通道,而且只有一个插槽、上限就锁在 16G。DDR5 版本带宽约 38GB/s。公开测试的口径是 7B 模型每秒 6 到 9 个 token,1B 到 3B 的小模型倒是挺快。
  • Ryzen 7 8845HS 这一档:32G 双通道 DDR5-5600,带宽约 89GB/s,7B 模型每秒 18 到 25 个 token。这是「能对话」的门槛。
  • Mac mini M4 Pro:统一内存,带宽能到 270GB/s 上下,7B 模型每秒 25 到 35 个 token,但 24G 那档官方起价一千三百多美元。
  • Strix Halo 这类 128G 统一内存的机器:带宽约 215GB/s,看着很猛,可跑 70B 的稠密模型每秒只有 5 个 token 左右。装得下和跑得快,是两笔账。

所以旧笔记本慢,不是因为它「老」,是因为它多半是单通道内存或者低频 DDR4。核数在这里几乎不起作用——四个核跑推理,和八个核差不了多少,瓶颈在内存那头。

电视柜上放着一台巴掌大的深色小主机,旁边是电源适配器和盘好的网线
这类小主机安静、省电,缺点是内存上限一开始就定死了。

知识库这件事,其实是两样东西抢一块内存

回到知识库。上一篇讲的是软件怎么配,这里补一句机器那头容易被忽略的:它同时要跑两个模型。

一个是向量化模型,把几百份文档切成块、算成向量,这是一次性的批量活,吃 CPU 和内存带宽,不吃显卡。另一个是对话模型,就是那个 7B。两个同时开工,16G 的机器会直接卡死——很多人第一次导文件就遇到程序无响应、报 502,原因在这儿,不在软件。

所以低配机器的正确用法是串行:白天导文件、建索引,让它慢慢跑,晚上再问。总共两三百分文档的话,这个流程其实能忍。真正难受的是你边导边问。

今年这波涨价,把账彻底改了

前两年遇到这种问题,答案很干脆:加内存,换机器。今年不能这么说了。

内存这一轮涨得离谱。消费级 DDR5 相对 2024 年的低点涨了三到六倍,32G 套条从八十到一百二十美元涨到三百七十五美元上下,64G 套条从一百五到两百涨到六百以上;2026 年一季度单季就涨了九成。国内柜台上,一根 16G DDR5 报到一千四到一千六,去年年中还是三四百。内存占整机物料成本的比例,从一成半涨到三成半左右。

原因不复杂:HBM 和普通内存抢同一批晶圆,同样容量下 HBM 占的芯片面积是普通内存的两三倍,厂子把产能挪去数据中心,消费级这边就少了。集邦 11 月 11 日的口径是四季度 PC 内存合约价还要再涨 13% 到 18%,比三季度的 18% 到 23% 缓了一点,但方向没变。至于什么时候回落,高盛说 2027 年见顶、2028 年腰斩,IDC 说 2027 年底之前看不到缓解,差别很大,谁也别当准话。

落到具体机器上:一台 N150、16G 内存、512G 固态的小主机,现在电商上两千四起步;华硕那台 NUC 同芯片、16G 加 1T 的要三千八。这些价格一天一个样,以官方现价为准。

我的意思是:今年为「以后可能要用」多加的内存,是全市场最贵的那部分溢价。

装得下,不等于跑得快

今年有份实测挺值得看。Artificial Analysis 九月底放出的那套工具,用真实的智能体任务回放——一百六十八轮对话,上下文一路涨到五万多 token,比单报一个「每秒多少 token」接近实际得多。

结果不太好看:一张 32G 显存的 RTX 5090 跑 27B 的模型,四点九分钟跑完;128G 统一内存的 DGX Spark,同一个模型要二十四分钟。同一批测试里,一个每次只激活 3B 参数的 MoE 模型,在所有设备上都比 27B 的稠密模型快 2.5 到 3.3 倍,而它 32G 就装得下。

这条对买机器的人是有用的:低带宽的机器上,优先选「总参数大、每次只激活一小部分」的 MoE 模型,别硬上稠密的大模型。同样一块内存,前者体验好得多。这也是为什么我劝人别拿「能装下 70B」当卖点——装得下,一秒五个字,你也不会用。

那到底该买什么

按用途分,我给三个档,都能在公开测试里找到对应数字:

  • 先用手上有的。旧笔记本、办公机、甚至一台闲置的台式机,16G 双通道就能跑 7B。慢,但足够验证「这套东西你到底会不会用」。一分钱不花,先跑一周。
  • 真要买,买双通道 32G。8845HS 这类小主机,7B 每秒十八到二十五个 token,已经能一边看一边改。这是目前性价比最合理的一档,也是我不建议越过的线。
  • 128G 统一内存那一档,先问自己跑不跑 70B 以上。不跑,那些钱等于买了个更贵的内存条。跑,那也得接受它跑长任务并不快。

至于 NAS,别指望。群晖、威联通这些机器的 CPU 是给存储和容器准备的,跑 7B 属于为难它;它们适合当「放模型文件和文档的地方」,不适合当算力。本地 AI NAS 值不值得买那篇里算过这台账,结论今天没变。

墙边一个白色插线板上插着几个电源适配器,线缆顺着踢脚线走
二十四小时开着的机器,电费和噪音都得提前想一下。

我为什么不推荐为这件事专门买机器

说几句劝退的:

  • 一年用不到十次。那就用在线服务,或者干脆把问题攒起来一次问清楚。为十次使用买一台两千多的机器,账算不过来。
  • 模型半年换一代。今年七月还是主流的模型,到年底可能已经被更省内存的同门替掉。硬件押错方向,比买贵了更难受。
  • 低功耗不等于没声音。小主机放卧室,风扇在长任务时会一直转;笔记本更是。要 24 小时挂着,位置比配置更值得先想。
  • 二手显卡这条路,我不建议新手走。价格今年确实诱人,但矿卡、驱动、功耗、机箱,每一项都能让人折腾一周。
  • 你真正想要的可能是「查得到」,不是「本地」。如果文件本身不敏感,云端方案又快又省事,本地这套的意义在于文件不出门,别的都是次要的。

顺序倒过来想

先用手上的机器跑一周,把文件导进去,问十几个真问题。回答得对不对,跟机器没关系,那是分块和取回的事;回答得慢不慢,才是机器的事。等你确认这套流程值得天天用,再去算双通道 32G 那笔钱——到那时候你已经有自己的速度基准,不用听别人说「够不够用」。

十六G 内存的机器,用法就只能这么土:索引晚上建,白天只问。能用,但别指望它像聊天窗口那样秒回。

广告 · 本文含推广链接

要动手折腾,先有台机器

下面这些命令和服务,都需要一台长期在线的服务器。

阿里云服务器活动入口 →

拿不准要买什么配置,先看这篇:个人云服务器怎么选(配置、带宽、续费价)

通过这个链接购买,我不会向你多收任何费用(推广佣金由阿里云结算),下单页面显示的价格即为实际支付价格。机型、价格与活动规则以阿里云页面显示为准,本文不承诺折扣力度,也不构成购买建议。

THE END