本地知识库怎么搭:一个文件夹,加一个桌面程序

上周朋友把他三年的合同 PDF 打包丢过来,说想让 AI 读一下,以后问一句「去年那单尾款怎么约定的」就直接出答案。四百多份,2.7G。我打开翻了十分钟,发现麻烦不在模型,在文件本身:一半是扫描件,另一半名字叫「合同(1)(1)最终版」。
最近问这类事的人不少。我自己的结论是:本地知识库配起来比想象中简单,用好比想象中难。简单在于它其实只要三样东西,难在于它的失败基本不报错。
它并没有「读过」你的文件
把机制说清楚,后面所有「为什么答不上来」你自己就能推。
你问一句话的时候,程序干的是这几件事:把这句问题算成一个向量,拿这个向量去向量库里找最相近的几段文字,再把这几段原文拼进提示词一起发给模型。模型每次看到的只是被取回来的那几段,不是整份文件。
AnythingLLM 这类桌面工具,默认取回 4 段(设置里叫 top-K)。所以「它明明读过我这份文件」这句话是不成立的——它读到的是四个片段。答不上来,多数时候是那一段根本没被取回来,不是模型不懂中文。
这个认识挺值钱。它把排查方向从「换个更强的模型」挪到了「改分块、加取回数量」,而后者不花钱。
最小可用的一套,三样东西
一个文件夹。先别急着建「知识库」,把手头要问的那批文件归到一个目录,按主题分三五个子文件夹就够了。原件不动,索引跟着目录走。名字怎么起、目录留几层,我在桌面文件那篇里写过,这套东西对知识库同样成立——检索质量有一半取决于文件能不能被读懂。
一个桌面程序。AnythingLLM 桌面版是这条路上省事的那个:MIT 许可,GitHub 上六万多 star,装完自带运行时,不用先装 Docker,也不用注册账号。2026 年 10 月 26 日发的 v1.19.0 是目前的最新版。向量默认存 LanceDB(早几个版本用的是 Chroma,看你装的是哪个),一个 workspace 一套独立索引,互不串味。
硬件门槛说清楚:官方系统要求建议 16G 内存、8 核处理器,Windows 上还想顺手跑本地模型的话,显存 8 到 12G 起步。Docker 版文档写的最低是 2G 内存、10G 硬盘,但那是「能启动」,不是「能干活」——一份两百页的文档喂进去,内置的 CPU 向量化能让内存直接顶到天花板,程序卡死或者干脆报 502。
一个向量化模型。这一步最容易被跳过,也最影响中文效果。换成本地的更稳:BGE-M3 是 MIT 许可、1024 维、能吃 8192 个 token,一次给出稠密和稀疏两种表示;Qwen3-Embedding 系列是 Apache-2.0,0.6B 到 8B 都有,上下文 32K。纯中文的老牌选择 bge-large-zh-v1.5 也能用,但它的最大输入只有 512 个 token,块切大了会被悄悄截断。

真正值得调的只有三个参数
翻完设置面板,影响结果的其实就三个。
分块大小
默认在 1000 个字符上下、块之间重叠 20 个字符。不同版本口径不一样,有的按 token 算成 512、重叠 0,以你界面上显示的数字为准。重叠的作用是防止一句话正好被切在边界上,两边都不完整。
合同、条款、标准这类「一个字都不能错」的文件,我建议降到 400 到 600;说明书、技术文档这种上下文依赖强的,可以提到 1500。
这里有个坑:改分块参数只对新加进去的文档生效。已经索引过的老文件保持原来的切法,得重新嵌入一遍才会变。不少人调完参数说「没变化」,就是这个原因。
取回数量
默认 4。答案总差半句、明明文档里有却不引用,就往上调到 6 到 8。代价是塞进提示词的原文变多,占了模型的上下文,也更容易把不相干的段落混进来。拿你自己那批文件试两轮最准。
Chat 还是 Query
Chat 带聊天历史,回答更自然,也更容易顺着你的话往下编。Query 是严格检索,文档里找不到就不答。要它照着合同、制度、说明书回答,用 Query;闲聊和头脑风暴用 Chat。这个开关比换模型管用,而且很多人根本没发现它存在。
第一个坑:扫描件里根本没有字
这个坑不响,不报错,就是查不到。
PDF 分两种:一种文字是真的字符,一种整页就是一张图。后一种你用什么工具都抽不出字,因为它里面确实没有字。判断办法很土但可靠——在阅读器里选一句话试试,选不中、复制不出来,就是没有文字层。
要批量看,装个 poppler,一条命令:
pdftotext -enc UTF-8 -layout 某文件.pdf -
输出空白就是纯图片。输出有字但读着像乱码,是字体映射坏了,得重新生成或重新识别。补文字层用 OCRmyPDF,它给扫描页盖一层看不见的可搜索文字,页面外观不变。
更麻烦的是混合 PDF:前面一张电子封面,后面全是扫描件。整份文件「能抽出字」,检查一通过,后面那几十页等于没进索引——你以为它在库里,问它永远没反应。这种只能一页页看。

数字、型号、表格,它天生不擅长
语义检索比的是「意思像不像」。「三年」和「五年」在向量空间里离得很近,合同写的到底哪个,它分不出来。型号、编号、金额、日期这些精确串,恰好是这类检索最弱的地方。
所以问这类问题,我会把关键词原样写进问题里,或者干脆用全文检索去核对。指望它替你在四百份合同里找「第 7.2 条」,不现实。
表格是第二个受害者。PDF 里的表格抽出来常常变成一串流水文字,行列关系没了。问「这个型号的单价是多少」,它拿到的是错位的数。Excel 直接进库会好些,但跨表计算仍然别指望。
还有个天花板值得提前知道:AnythingLLM 这类工具没有原生的混合检索和重排。公开实测的口径是,默认配置五百份文档左右开始吃力,参数调过能撑到两三千份,再往上就会出现「文档对了、段落错了」——引用了正确的那份文件,却引了不相干的段落。到那个规模,该换的是检索层,不是模型。
想让几个人一起用,代价不一样
桌面版是一个人用的。要让同事或家里人也能进,就得放到一台常开的机器上:NAS、小主机,或者一台 VPS。这时候两个常见选择,许可都得看一眼。
- Open WebUI:界面最像 ChatGPT,2026 年 11 月 4 日发的 v0.13.0。许可以 BSD-3 为底加了品牌条款——从 v0.6.6(2025 年 4 月 19 日)起,30 天内服务超过 50 个用户的部署不许改掉它的品牌标识,除非买企业授权。因为这个条款,它不算 OSI 认可的开源许可。自己家里用完全没问题,但「源码可见」和「能改成自己的产品对外卖」是两件事。
- Dify:v1.18.0(2026 年 10 月 23 日),Apache-2.0 另加两条:拿它做多租户对外服务,一个 workspace 算一个租户,需要书面授权;控制台和前端里的 LOGO 也不能去掉。官方写的最低配置是 2 核 4G,但默认那套编排起的是 API、worker、前端、Postgres、Redis、沙箱、插件守护、代理、Nginx 加上向量库,真跑起来比这个数字重不少。
机器放哪儿是三个不同的问题:能不能常开、有没有定时备份、出门在外怎么连回来。放家里 NAS 上省事,但要解决外网访问,第一台 NAS 那篇里算过一头一尾的钱;放 VPS 上省心,数据却出了家门。想自己用 Docker 起的话,n8n 那篇里的持久化、时区、重启策略是同一套东西,换个镜像就能用。至于这台机器该买多大、买哪种,云服务器怎么挑那页有按场景算的口径,我这儿不重复。
我为什么不推荐所有人都装
写得像测评,就得说缺点。下面这几种情况,装了大概率白装:
- 一年只查两三次。系统自带搜索加一个全文检索工具,五分钟出结果,不用调参数,也不用重新嵌入。
- 文件里全是别人的隐私。身份证、病历、工资表、客户合同,进了向量库就等于进了一个随时能被检索的池子。桌面版是本机;Docker 版一旦把 3001 或 8080 映射出去,同一网段谁都能打开,别为了方便把它怼到公网上。
- 在意遥测。AnythingLLM 默认开匿名使用统计(走 PostHog,不含聊天内容),设置里能关,环境变量 DISABLE_TELEMETRY=true 也行。介意就先关掉再导文件。
- 指望它替你做判断。它能把相关段落摆到你面前,条款怎么解读、数字对不对,还是你的事。
- 不愿意维护。文件改名、换目录、删掉旧版本,索引里那些路径就指向不存在的位置。加文件、删文件、重新嵌入,这些活一年总要碰几次。
我的判断是:它适合「有一批固定的、自己写或自己签的文件,需要反复回去查」的人。合同、标准、产品手册、就诊记录、自己攒了几年的笔记,都算。文件是活的、天天在变的,这套东西的维护成本会超过收益。
今天就能做的三件事
挑一个目录,把要问的文件放进去,先别超过两百份。装桌面版,接一个本地模型(Ollama 现在到 v0.40.16,MIT 许可),把内置的向量化模型换成 BGE-M3 一类中文友好的。然后拿三个你心里已经有答案的问题去问它——答对了说明路走通了,答错了正好去看它引用了哪几段,那几段就是你要动手的地方。
别一上来就 Docker、多人、权限。等你真的每天都想问它一句,再考虑把它搬到一台常开的机器上。
广告 · 本文含推广链接
要动手折腾,先有台机器
下面这些命令和服务,都需要一台长期在线的服务器。
拿不准要买什么配置,先看这篇:个人云服务器怎么选(配置、带宽、续费价)
通过这个链接购买,我不会向你多收任何费用(推广佣金由阿里云结算),下单页面显示的价格即为实际支付价格。机型、价格与活动规则以阿里云页面显示为准,本文不承诺折扣力度,也不构成购买建议。

