本地知识库的核心不是模型,而是「资料整理 + 检索 + 生成」三步。

第一步是整理资料。把 PDF、网页、会议纪要统一成纯文本或 Markdown,去掉页眉页脚和重复内容。资料越干净,后面检索越准。

第二步是切分与索引。按语义段落切分,每段保留标题和来源;这样模型回答时才能给出处。不要简单按固定字数硬切,容易把一句话切成两半。

第三步才是生成。让模型只根据检索到的片段回答,并明确要求「资料中没有就说没有」。这一步能显著减少胡编。

本地部署时,先把知识库规模控制在几百份文档以内,验证流程跑通,再考虑增量更新与权限。硬件不够时,检索和生成可以分开:轻量嵌入模型跑在本机,生成调用远端 API。