PSPERSONAL SIGNAL

chinese / --:--:-- ONLINE

PROJECT NOTE / FIELD LOG

从信息噪声到可用知识:先治理,再检索

以 LFN Knowledge 为例,记录资料如何经过版本、审核与索引,变成能回查来源的知识。

资料越多,找到一句相似的话反而越容易让人误判。它可能来自旧版本、未经审核的草稿,也可能属于当前用户无权访问的空间。建设 LFN Knowledge 时,我更关心的问题因此不是“怎么把文件喂给模型”,而是“哪些内容有资格成为答案的依据”。

先决定什么知识可以被使用

原件只是来源。维护者需要把资料放进有用途和成员权限的知识空间,形成不可变的正文版本,再完成索引与审核。只有审核通过、索引就绪的版本才会发布。新版本处理中,旧的发布版本继续提供检索;下架或权限变化则会改变后续查询的范围。

这让“文件上传成功”“向量生成成功”和“知识可以对外使用”成为三个不同的状态。每一步都有可检查的条件,也给失败和返工留出空间。

让检索保留原文的上下文

把一篇长文切成片段后,单独的一段话可能失去标题、章节和出处。切片时保留文档标题、章节路径与原文位置,再建立全文和向量两条召回路径:关键词照顾精确术语,向量帮助找到不同表述下的相近含义。候选结果经过融合与可选重排,最终引用仍指向文档、版本和具体切片。

因此回答不应只是一段流畅的话。读者需要能够打开依据,确认它是不是当前版本、是否真的支持这个结论。找不到足够证据时,承认缺口比补出一个看似完整的答案更有价值。

更新知识也需要退路

切片策略或 Embedding 模型改变时,直接覆盖正在使用的索引会让效果变化难以定位。索引代际把模型、配置和构建过程记录下来,新一代先在后台构建和评测,达标后再切换;失败时保持旧代,必要时可回滚。

这套代码链路已经覆盖版本、审核发布、混合检索和引用。接下来仍需要用真实业务语料检验召回、无答案识别与引用准确性。知识中心的成熟度,最终要由这些可复查的结果来证明。